Что такое MDE и как он связан с другими параметрами

MDE — не произвольный порог, а математически связанная с тремя другими параметрами теста величина:

Параметры теста:
α (уровень значимости) — обычно 0.05
β (вероятность ошибки 2-го рода) — обычно 0.20
1-β (мощность теста) — обычно 0.80
Baseline CR — текущая конверсия

Из этих параметров выводится:
n (размер выборки) ↔ MDE

Если фиксированы α, β и трафик (→ n), то MDE определяется однозначно. Если фиксированы α, β и желаемый MDE — определяется требуемый n.

Как MDE влияет на длительность теста

Baseline CR = 2.0%, α = 0.05, β = 0.20

MDE = 20% (CR с 2.0% до 2.4%):  n ≈ 5 000 на группу
MDE = 10% (CR с 2.0% до 2.2%):  n ≈ 20 000 на группу
MDE = 5%  (CR с 2.0% до 2.1%):  n ≈ 80 000 на группу

При трафике 5 000 уникальных в день и split 50/50:
— MDE 20% → тест готов примерно за 2 дня (плюс минимум 14 дней на полный цикл)
— MDE 5% → тест потребует 32+ дней только по объёму выборки

Совет: не выбирайте MDE «как можно меньше» — это ловушка. Задайте вопрос: «Какой минимальный прирост конверсии обоснует внедрение этого изменения?» Этот прирост и есть ваш MDE.

Практическое применение

Ситуация Рекомендуемый MDE
Главная страница, высокий трафик 5–10%
Карточка товара, средний трафик 10–15%
Страница категории, низкий трафик 15–25%
Рекомендательный виджет (по RPV) 5–10%

Типичные ошибки

  • Занижение MDE без расчёта трафика — тест растянется на месяцы, данные устареют
  • MDE ниже экономически значимого порога — даже при значимом результате внедрение не окупится
  • Игнорирование MDE при peeking — досрочная остановка при видимом эффекте ниже MDE даёт ложноположительный результат