Вариант и контроль: базовая структура
Каждый A/B-тест состоит как минимум из двух групп:
- Контроль (Control / A) — текущая версия без изменений. Базовый уровень, относительно которого измеряется эффект.
- Вариант (Variant / Treatment / B) — версия с изменением. Цель — измерить, улучшает ли изменение ключевую метрику.
Пользователи распределяются между группами случайно и фиксируются в своей группе на весь период теста (sticky assignment).
Принцип одного изменения
Ключевое требование: один вариант — одно изменение. Это единственный способ установить причинно-следственную связь.
| Гипотеза | Правильный вариант | Неправильный вариант |
|---|---|---|
| «Изображение влияет на CR» | Только другое фото | Другое фото + текст + цвет кнопки |
| «Заголовок влияет на CTR» | Только другой заголовок | Другой заголовок + переработанный описание |
| «Позиция виджета важна» | Только другая позиция | Позиция + дизайн виджета |
Нарушение принципа не делает тест «бесполезным» — можно увидеть суммарный эффект пакета изменений. Но определить причину эффекта невозможно.
A/B/n: несколько вариантов
В A/B/n-тесте один контроль сравнивается с несколькими вариантами одновременно:
Контроль (A): текущий рекомендательный алгоритм
Вариант B: Коллаборативная фильтрация
Вариант C: Content-based
Вариант D: Смешанная стратегия (50/50)
Преимущество: экономия времени по сравнению с последовательным тестированием. Недостаток: каждый вариант требует своей квоты трафика — при 4 группах с нужными 10К на группу общий трафик составит 40К.
Распределение трафика
По умолчанию трафик делится равномерно (50/50 для A/B или 25/25/25/25 для A/B/C/D). Неравное распределение (например 80/20 в пользу контроля) применяется при высоком риске варианта: меньше пользователей видят потенциально негативный опыт.