Как возникает эффект новизны
Пользователь видит изменение интерфейса — новый блок рекомендаций, переработанную карточку товара, другой формат CTA. Любопытство к «чему-то новому» усиливает внимание и может временно увеличить клики или конверсию — не потому что изменение лучше, а потому что оно непривычно.
Через несколько визитов пользователи адаптируются. Эффект исчезает, и метрики возвращаются к базовому уровню или падают ниже. Если тест остановить в период пика новизны — команда внедрит «победителя», который не даст долгосрочного улучшения.
Как выглядит эффект новизны на графике
Конверсия варианта B по дням:
День 1–3: 3.8% ← пик новизны
День 4–7: 3.1% ← снижение
День 8–14: 2.7% ← плато (реальный уровень)
Контроль (постоянно): 2.5%
Итог: реальный lift всего +8%, а не +52% в первые дни
Методы диагностики
Временная сегментация. Сравните результаты первой недели и второй-третьей. Сильное уменьшение преимущества B — признак новизны.
Новые vs. вернувшиеся. Новые пользователи не знают старого интерфейса — для них нет «нового», только «первое знакомство». Сравните их поведение с вернувшимися: если эффект есть только у вернувшихся — это новизна.
| Сегмент | CR варианта B | CR контроля | Lift |
|---|---|---|---|
| Новые пользователи | 2.6% | 2.5% | +4% |
| Вернувшиеся (нед. 1) | 3.9% | 2.5% | +56% |
| Вернувшиеся (нед. 3) | 2.7% | 2.5% | +8% |
Важно: Высокий lift у вернувшихся в первую неделю при низком у новых — классическая подпись эффекта новизны. Реальный lift показывает только «Вернувшиеся нед. 3» и новые пользователи.
Типичные ошибки
- Peek-and-stop на 3–5-й день. Тест «значим» → команда останавливает. Половина этой «значимости» — артефакт новизны.
- Один бизнес-цикл. Неделя — это половина полного цикла покупательского поведения (будни + выходные). Нужно минимум две.
- Крупные изменения без учёта disruption effect. Полный редизайн страницы сначала снизит метрики — не интерпретируйте это как «изменение плохое» в первые дни.