A/B TESTING & OPTIMIZATION

A/B-тесты мирового уровня — с байесом и автопилотом

Неограниченные тесты в любых каналах, байесовская статистика, динамическая аллокация трафика (MAB) и предиктивный таргетинг по сегментам. Client-side и server-side в одной платформе.

Байесовский A/B MAB-автопилот Сегменты Client + Server
app.gravityfield.ai / experiments / cart-cta
RUNNING
A — контрольbaseline3.10%
22% трафика
B — «Купить в 1 клик»P(best) 3%3.28%
18% трафика
C — таймер + рекомендацииP(best) 96%3.94%
60% трафика
MAB динамически перелил трафик на лидера+27% CVR
как это работает

Тестирование и персонализация — в одном движке

Байесовская статистика вместо порогов

Вероятность, что вариант — лучший, и ожидаемый убыток от ошибки. Решения принимаются раньше и увереннее, чем на классических p-порогах.

P(best)expected losscustom metrics
posterior · 3 варианта96% → C

Динамическая аллокация (MAB)

Multi-Armed / Contextual Bandit в реальном времени переливает трафик на выигрывающий вариант и учитывает контекст пользователя. A/B + персонализация одновременно.

multi-armed banditcontextualreal-time
allocation · автоt → лидер

Тесты в разрезе сегментов

Гипотеза, победившая на одном сегменте, может проиграть на другом. Смотрим результаты по аудиториям и таргетируем на каждый сегмент свой вариант.

VIPnewchurn-risk
segments · победители
VIP → вариант C+31%
Новые → вариант B+12%

Предиктивный таргетинг

ML предсказывает, какая гипотеза будет успешна для каждого сегмента, и прогнозирует потенциальный аплифт — тестирование становится управляемым и дешевле.

ML-прогнозuplift forecastэкономия трафика
forecast · аплифт
Сегмент A
+24%
Сегмент B
+9%
Сегмент C
±0%
все возможности модуля

Шесть опор A/B-тестирования и оптимизации

01

Проводите A/B-тесты в любых каналах

Gravity Field позволяет проводить неограниченное количество тестов во всех форматах онлайн-коммуникаций: контентных блоках, товарных рекомендациях, баннерах, всплывающих окнах, уведомлениях и множестве других.

Тестируйте любые элементы UX в любых каналах: на сайте, в мобильном приложении и даже в офлайн-магазинах — в киосках самообслуживания, на устройствах продавцов-консультантов в зале и на кассе.

02

Включайте динамическое распределение трафика

Динамическая аллокация — движок на алгоритмах машинного обучения («Multi-Armed Bandit» и «Contextual Bandit»), который в автоматическом режиме показывает наиболее релевантные предложения каждому пользователю в каждый момент времени.

Движок сам выбирает оптимальный вариант: учитывая персональные интересы и правила таргетинга и автоматически выбирая варианты, которые в реальном времени оптимизируют метрику — конверсию, выручку, CTR и т.д. Это объединяет A/B-тестирование с единовременной персонализацией.

03

Запускайте тесты для отдельных сегментов

Аналитика Gravity Field даёт возможность посмотреть результаты тестов в разрезе различных аудиторий. Разные сегменты часто по-разному реагируют на одну кампанию, и гипотеза, победившая для одного сегмента, может проиграть для другого.

После получения статистически значимых результатов для ключевых сегментов можно таргетировать на каждый сегмент наиболее успешные вариации и начать тестирование новых гипотез.

04

Используйте предиктивный таргетинг

Предиктивный таргетинг — логичное продолжение A/B-тестирования в разрезе аудиторий. Движок на основе машинного обучения предсказывает, какая гипотеза будет наиболее успешна для каждого сегмента, и даже прогнозирует потенциальный аплифт по ключевой метрике.

Это делает процесс тестирования более управляемым и помогает оптимизировать затраты на проверку гипотез.

05

Оптимизируйте весь путь, а не отдельные страницы

С Gravity Field вы показываете релевантные предложения не только в рамках одной страницы, но и на протяжении всей сессии и даже следующих сессий.

Платформа позволяет выстроить сквозной персонализированный путь для отдельных сегментов по всему сайту или приложению и измерить эффект от каждого взаимодействия в воронке.

06

Тестируйте на стороне клиента и сервера в одной платформе

В Gravity Field можно одновременно запускать кампании на стороне клиента (в браузере) и с сервера через API. Client-side даёт высокую скорость разработки и запуска — оптимально для быстрого тестирования точечных изменений интерфейса.

Серверные кампании обеспечивают более высокую производительность сайта и используются при значительных структурных изменениях страниц.

Запустите первый байесовский тест

Покажем, как настроить эксперимент, включить автопилот MAB и читать результаты по сегментам.

Заполните форму, чтобы
получить персонализированное демо

Заполните поле

Заполните поле

Заполните поле

Заполните поле

Заполните поле

Заполните поле

Заполните поле

Заполните поле