Длительность теста

Два фактора длительности теста

Длительность определяется независимо двумя параметрами, и реальная длительность — это максимум из двух:

1. Статистический фактор — сколько пользователей нужно набрать по расчёту (зависит от MDE, уровня значимости и мощности теста).

2. Временной фактор — минимум 2 полные недели, независимо от трафика. Это нужно, чтобы захватить как минимум два полных бизнес-цикла (будни + выходные × 2).

Трафик: 20 000 уникальных/неделю
CR baseline: 2.5%
MDE: 10% (относительный) → 2.75%
Нужная выборка: ~65 000 на вариант

Расчётная длительность: 65 000 / 10 000 = 6.5 недель
Минимальная длительность: 2 недели
Итог: 6.5 недель ≈ 7 недель

Почему важны полные недели

Поведение покупателей существенно различается по дням недели. Выходные часто дают более высокую конверсию в одних категориях и более низкую — в других. Тест, начавшийся в среду и остановленный в следующий понедельник, включает 2 выходных в одной группе и 1 в другой — это структурное смещение выборки.

Правило: запускайте тест в начале недели (понедельник–вторник) и планируйте остановку на то же время через N полных недель.

Длительность и MAB (автопилот)

Multi-Armed Bandit не имеет фиксированной длительности в классическом смысле — трафик динамически перераспределяется в пользу лучшего варианта. Однако даже при MAB рекомендуется выдержать минимальный период (7–14 дней) до начала агрессивного перераспределения, чтобы исключить влияние novelty effect — кратковременного роста метрик у любого нового варианта.

Длительность при низком трафике

При трафике менее 3–5К уникальных в неделю классическое A/B-тестирование теряет смысл — тест займёт месяцы. В таких случаях рассматривайте экспертное внедрение изменений с последующим когортным анализом.