Что такое uplift и как его считать

Uplift — относительный прирост метрики в тестовом варианте по сравнению с контрольной группой. Формула:

Uplift = (Метрика_варианта − Метрика_контроля) / Метрика_контроля × 100%

Пример:

CR(Контроль) = 2.0%
CR(Вариант)  = 2.4%
Uplift(CR)   = (2.4 − 2.0) / 2.0 × 100% = +20%

RPV(Контроль) = 300 ₽
RPV(Вариант)  = 330 ₽
Uplift(RPV)   = +10%

Совет: в e-commerce используйте RPV как основную метрику для расчёта uplift — она одновременно учитывает конверсию и средний чек. CR может расти при падении AOV, и наоборот.

Относительный vs абсолютный прирост

Оба числа нужны для полноты картины:

Метрика Формула Пример
Относительный uplift (B − A) / A × 100% +20%
Абсолютный прирост B − A +0.4 п.п.
Денежный эффект Трафик × RPV_base × Uplift +7.5 млн ₽/мес

Относительный uplift удобен для сравнения тестов между собой. Абсолютный прирост — для расчёта денежного эффекта и бизнес-кейса. При годовой выручке 1 млрд руб. uplift RPV на 1% — это +10 млн руб. в год.

Инкрементальный uplift в персонализации

В персонализации важно отделять «органическое» поведение пользователя от эффекта алгоритма. Для этого используют holdout-группу — когорту, намеренно исключённую из персонализации на длительный период.

Инкрементальный uplift = разница в метрике между персонализированной аудиторией и holdout. Это честная оценка ценности платформы персонализации, очищенная от сезонности и других факторов.

Типичные ошибки при интерпретации uplift

  • Peeking — остановка теста при первом «красивом» uplift без накопления достаточной выборки. Ложноположительный результат обеспечен.
  • Игнорирование SRM — если фактическое соотношение групп не совпадает с ожидаемым, uplift искажён.
  • Неправильный период — тест во время распродажи или праздников даёт нерепрезентативную аудиторию и нереалистичный uplift.
  • Одна метрика — uplift по CR без проверки AOV может скрыть снижение среднего чека. Всегда смотрите на RPV.