Зачем нужен A/A тест
A/A тест — это технический «чекап» платформы перед любым экспериментом. Обе группы получают идентичную версию страницы. Если система работает корректно, разница в метриках должна быть статистически незначимой.
Без A/A теста команда рискует получать ложноположительные или ложноотрицательные результаты в A/B тестах — и принимать неверные продуктовые решения на их основе.
Что проверяет A/A тест
- Корректность рандомизации — одинаковое ли распределение трафика между группами
- Стабильность метрик — нет ли аномальных колебаний CR, AOV, RPV без каких-либо изменений
- Работу атрибуции — правильно ли засчитываются конверсии в окне атрибуции
- Sample Ratio Mismatch (SRM) — совпадает ли фактическое соотношение групп с ожидаемым
Интерпретация результатов
| Результат | Интерпретация | Действие |
|---|---|---|
| p > 0.05, группы близки | Платформа работает корректно | Можно запускать A/B тесты |
| p < 0.05, значимая разница | Ошибка в системе | Проверить рандомизацию и трекинг |
| SRM обнаружен | Фильтрация или блокировка искажают выборку | Исправить условия сплита |
Типичные причины ошибок в A/A тесте
- Пользователи «прыгают» между группами при каждом визите (отсутствует sticky assignment)
- Боты или внутренний трафик не отфильтрованы
- Конверсионное событие трекается дважды (дублирование)
- Инициализация JavaScript-тега A/B платформы происходит с задержкой (flickering)