В этой статье мы рассмотрим, почему так важна достоверность A/B-тестов и как платформа AI Персонализации Gravity Field стала частью международного исследования под руководством Рона Кохави — одного из главных мировых экспертов по онлайн-экспериментам. Вместе с командой METRO мы провели один из крупнейших в мире экспериментов по проверке известного UX-паттерна и подтвердили надежность платформы на уровне международных научных стандартов.
Когда вопрос не в том, какая кнопка лучше
Каждый год в eCommerce появляются десятки публикаций о том, как небольшие изменения интерфейса увеличивают конверсию на десятки процентов.
«Сделайте кнопку более заметной», «Измените цвет CTA», «Скруглите углы кнопки — и получите +55% кликов». Подобные рекомендации быстро становятся отраслевыми стандартами. Их цитируют на конференциях, используют в редизайнах и внедряют без дополнительной проверки.
Но действительно ли эти эффекты существуют? И можно ли доверять исследованиям, если они проводились на небольших выборках? Именно этим вопросом задалась международная группа исследователей во главе с Роном Кохави.
| Клиент | METRO |
| Платформа | Gravity Field |
| Период эксперимента | 16 недель |
| Пользователи | 7,4 млн |
| Гипотеза | Скругленная кнопка «В корзину» против прямоугольной |
| Соавторы исследования | Ron Kohavi, Lukas Vermeer, Jakub Linowski |
| Научная публикация | Trustworthy A/B Patterns and the Winner’s Curse, KDD 2026 |
Кто такой Рон Кохави и почему его мнение в мире A/B-тестов имеет значение
Если в мире персонализации есть человек, который определил современные стандарты A/B-тестирования, то это Рон Кохави.
Более двадцати лет он занимался развитием культуры онлайн-экспериментов в крупнейших технологических компаниях мира, включая Microsoft, Amazon и Airbnb. Его книга Доверительное A/B-тестирование (Trustworthy Online Controlled Experiments) считается одной из главных работ по проведению A/B-тестов и используется продуктовыми командами по всему миру.
Именно благодаря подходам Рона Кохави сегодня миллионы продуктовых решений принимаются не на основе мнений, а на основе статистически достоверных экспериментов.
Поэтому участие в совместном исследовании с его командой — это не просто публикация. Это независимая проверка качества всей экспериментальной платформы.
Международное исследование Trustworthy A/B Patterns
В 2026 году исследование Trustworthy A/B Patterns and the Winner’s Curse было принято на конференцию KDD 2026 — одну из наиболее авторитетных научных конференций в области машинного обучения, анализа данных и искусственного интеллекта.
Авторы исследования поставили перед собой необычную задачу. Они решили перепроверить известные UX-паттерны, которые годами считались доказанными и активно распространялись в профессиональном сообществе. Одним из таких паттернов стало утверждение:
Скругленные кнопки «В корзину» увеличивают количество добавлений товара.
Первоначальное исследование сообщало о росте кликабельности более чем на 55%. Для практиков eCommerce такой эффект выглядел слишком большим, чтобы быть правдой. Поэтому было принято решение воспроизвести эксперимент на крупнейших интернет-площадках с существенно большей статистической мощностью.
До проекта METRO аналогичные эксперименты уже проводились на сайтах Coop Norway и SeaWorld Orlando. Во всех случаях эффект оказался практически в сто раз меньше первоначально заявленного и статистически незначимым. Следующим участником исследования стала METRO.
Почему для A/B-теста была выбрана платформа Gravity Field
Для участия в международном исследовании требовалась не просто возможность изменить внешний вид кнопки. Необходимо было обеспечить проведение эксперимента по всем современным требованиям экспериментальной науки:
- случайное распределение пользователей между вариантами;
- отсутствие перекоса трафика (SRM);
- заранее зарегистрированный дизайн эксперимента;
- заранее определенные метрики успеха;
- фиксированную продолжительность теста;
- корректный статистический анализ результатов.
Именно поэтому эксперимент проводился на платформе Gravity Field, которая используется для проведения A/B-тестов на на сайте и в мобильных приложениях METRO.
Для Gravity Field это стало независимой международной проверкой качества платформы. Фактически исследователи проверяли не только UX-гипотезу, но и корректность работы всей экспериментальной инфраструктуры.
Что тестировали в METRO с помощью A/B-теста
Изменение было предельно простым.
50% Контрольная группа — пользователь видел привычную кнопку «В корзину» со слегка скругленными углами.
50% Тестовая группа — пользователь видел кнопку с полностью скругленной формой.
Вводные данные эксперимента:
- Эксперимент проводился на страницах каталога и листингах товаров (PLP и SRP);
- Трафик распределялся поровну между двумя вариантами;
- Основной метрикой стала доля пользователей, добавивших товар в корзину;
- Дизайн эксперимента был зарегистрирован заранее, а его параметры не менялись после запуска — один из важнейших принципов проведения достоверных A/B-тестов.
Один из крупнейших экспериментов такого типа в мире
Эксперимент продолжался 16 недель — с сентября по декабрь 2025 года. За это время в исследовании приняли участие более 7,4 миллиона пользователей.
Это сделало эксперимент METRO крупнейшей репликацией данного UX-паттерна на момент проведения исследования.
При этом платформа Gravity Field успешно прошла проверку качества распределения трафика — тест SRM не выявил статистически значимых отклонений между контрольной и тестовой группами.
Именно корректное распределение пользователей является одним из ключевых критериев доверия к результатам любого A/B-теста.
Что показали результаты
Результаты оказались показательными. Ни одна из заранее определенных метрик не продемонстрировала статистически значимого преимущества скругленной кнопки. Иными словами, изменение формы кнопки практически не влияло на поведение пользователей.
Это не означает, что дизайн интерфейса кнопок не имеет значения. Напротив, эксперимент показал гораздо более важную вещь. Многие широко известные UX-рекомендации могут оказаться следствием исследований с недостаточной выборкой, где случайные колебания были ошибочно приняты за реальный эффект.
Именно поэтому современная продуктовая разработка требует воспроизводимых экспериментов с миллионами пользователей, а не единичных успешных кейсов.
Что этот проект означает для Gravity Field
Для Gravity Field участие в исследовании стало важным профессиональным признанием.
Платформа успешно использовалась в эксперименте, который вошел в научную публикацию международного уровня и проводился совместно с ведущими мировыми экспертами в области онлайн-экспериментов.
Насколько нам известно, Gravity Field стала первой и на сегодняшний день единственной российской платформой A/B-тестирования, результаты которой вошли в подобное международное исследование, посвященное надежности онлайн-экспериментов.
Для наших клиентов это означает главное — решения, принимаемые на основе экспериментов в Gravity Field, опираются на корректную методологию, воспроизводимые результаты и надежную статистическую основу.
Почему A/B-тестирование остается стратегическим инструментом METRO
Для METRO экспериментирование давно стало частью процесса развития цифровых продуктов.
Каждая гипотеза проходит проверку на реальных пользователях, а изменения внедряются только после получения статистически достоверных результатов.
«Для нас A/B-тестирование — это не способ подтвердить собственную правоту, а инструмент принятия решений на основе данных. Именно поэтому участие в международном исследовании стало логичным продолжением нашей культуры экспериментов. Особенно ценно, что результаты проекта вошли в научную работу вместе с ведущими мировыми экспертами в области онлайн-экспериментов»
Андрей Андреев, руководитель отдела электронной коммерции METRO
Главное
История этого эксперимента — не про скругленные кнопки. Она про доверие к данным.
Сегодня многие сервисы позволяют запустить A/B-тест. Гораздо сложнее гарантировать, что его результаты действительно отражают поведение пользователей, а не статистический шум.
Именно такую проверку платформа Gravity Field прошла в рамках международного исследования Trustworthy A/B Patterns, результаты которого были представлены на конференции KDD 2026 вместе с Роном Кохави, Лукасом Вермеером, Джейкобом Линовски и другими ведущими мировыми специалистами в области онлайн-экспериментов.
Если для вашей команды важно принимать решения на основе достоверных данных, а не отраслевых мифов, запросите демо Gravity Field. Платформа, подтвердившая надежность в рамках международного исследования с участием ведущих мировых экспертов по A/B-тестированию, поможет выстроить системный процесс проверки гипотез и ускорить развитие вашего цифрового продукта.
