A/B TESTING & OPTIMIZATION

A/B-тесты мирового уровня — с байесом и автопилотом

Неограниченные тесты в любых каналах, байесовская статистика, динамическая аллокация трафика (MAB) и предиктивный таргетинг по сегментам. Client-side и server-side в одной платформе.

Байесовский A/B MAB-автопилот Сегменты Client + Server
app.gravityfield.ai / experiments / cart-cta
RUNNING
A — контрольbaseline3.10%
22% трафика
B — «Купить в 1 клик»P(best) 3%3.28%
18% трафика
C — таймер + рекомендацииP(best) 96%3.94%
60% трафика
MAB динамически перелил трафик на лидера+27% CVR
как это работает

Тестирование и персонализация — в одном движке

Байесовская статистика вместо порогов

Вероятность, что вариант — лучший, и ожидаемый убыток от ошибки. Решения принимаются раньше и увереннее, чем на классических p-порогах.

P(best)expected losscustom metrics
posterior · 3 варианта96% → C

Динамическая аллокация (MAB)

Multi-Armed / Contextual Bandit в реальном времени переливает трафик на выигрывающий вариант и учитывает контекст пользователя. A/B + персонализация одновременно.

multi-armed banditcontextualreal-time
allocation · автоt → лидер

Тесты в разрезе сегментов

Гипотеза, победившая на одном сегменте, может проиграть на другом. Смотрим результаты по аудиториям и таргетируем на каждый сегмент свой вариант.

VIPnewchurn-risk
segments · победители
VIP → вариант C+31%
Новые → вариант B+12%

Предиктивный таргетинг

ML предсказывает, какая гипотеза будет успешна для каждого сегмента, и прогнозирует потенциальный аплифт — тестирование становится управляемым и дешевле.

ML-прогнозuplift forecastэкономия трафика
forecast · аплифт
Сегмент A
+24%
Сегмент B
+9%
Сегмент C
±0%
все возможности модуля

Шесть опор A/B-тестирования и оптимизации

01

Проводите A/B-тесты в любых каналах

Gravity Field позволяет проводить неограниченное количество тестов во всех форматах онлайн-коммуникаций: контентных блоках, товарных рекомендациях, баннерах, всплывающих окнах, уведомлениях и множестве других.

Тестируйте любые элементы UX в любых каналах: на сайте, в мобильном приложении и даже в офлайн-магазинах — в киосках самообслуживания, на устройствах продавцов-консультантов в зале и на кассе.

02

Включайте динамическое распределение трафика

Динамическая аллокация — движок на алгоритмах машинного обучения («Multi-Armed Bandit» и «Contextual Bandit»), который в автоматическом режиме показывает наиболее релевантные предложения каждому пользователю в каждый момент времени.

Движок сам выбирает оптимальный вариант: учитывая персональные интересы и правила таргетинга и автоматически выбирая варианты, которые в реальном времени оптимизируют метрику — конверсию, выручку, CTR и т.д. Это объединяет A/B-тестирование с единовременной персонализацией.

03

Запускайте тесты для отдельных сегментов

Аналитика Gravity Field даёт возможность посмотреть результаты тестов в разрезе различных аудиторий. Разные сегменты часто по-разному реагируют на одну кампанию, и гипотеза, победившая для одного сегмента, может проиграть для другого.

После получения статистически значимых результатов для ключевых сегментов можно таргетировать на каждый сегмент наиболее успешные вариации и начать тестирование новых гипотез.

04

Используйте предиктивный таргетинг

Предиктивный таргетинг — логичное продолжение A/B-тестирования в разрезе аудиторий. Движок на основе машинного обучения предсказывает, какая гипотеза будет наиболее успешна для каждого сегмента, и даже прогнозирует потенциальный аплифт по ключевой метрике.

Это делает процесс тестирования более управляемым и помогает оптимизировать затраты на проверку гипотез.

05

Оптимизируйте весь путь, а не отдельные страницы

С Gravity Field вы показываете релевантные предложения не только в рамках одной страницы, но и на протяжении всей сессии и даже следующих сессий.

Платформа позволяет выстроить сквозной персонализированный путь для отдельных сегментов по всему сайту или приложению и измерить эффект от каждого взаимодействия в воронке.

06

Тестируйте на стороне клиента и сервера в одной платформе

В Gravity Field можно одновременно запускать кампании на стороне клиента (в браузере) и с сервера через API. Client-side даёт высокую скорость разработки и запуска — оптимально для быстрого тестирования точечных изменений интерфейса.

Серверные кампании обеспечивают более высокую производительность сайта и используются при значительных структурных изменениях страниц.

Запустите первый байесовский тест

Покажем, как настроить эксперимент, включить автопилот MAB и читать результаты по сегментам.

Complete the form to get
a personalized demo

This field is required

This field is required

This field is required

This field is required

This field is required

This field is required

This field is required

This field is required