Как найти потери в воронке ИИ-консультанта, выбрать прокси-метрику и проверить гипотезу роста. Пошаговый алгоритм и пример интернет-магазина.
Рост количества диалогов помогает бизнесу, если новые обращения приближают покупателей к покупке. Чтобы улучшать ассистента последовательно, команда находит ограничение в воронке, проверяет конкретную гипотезу и подтверждает результат по продажам.
В первой статье серии о метриках ИИ-консультанта мы разобрали, что измерять и как интерпретировать показатели. Теперь рассмотрим, как принимать решения по отчёту: что менять первым, какой ранний показатель выбрать и когда считать изменение успешным.
Через статью пройдёт условный пример магазина бытовой техники. Все числа в нём придуманы для объяснения расчётов и не являются результатами клиента или рыночными ориентирами.
1. Разложить результат на составляющие
У команды две связанные задачи: привлекать покупателей к разговору и помогать им завершать выбор. Для первой задачи полезно разложить количество диалогов:
Посетители × охват показом × доля открывших × доля начавших × диалоги на начавшего пользователя.
В формуле используются уникальные пользователи одного периода. Каждый следующий шаг считается среди прошедших предыдущий. Она описывает путь через показ и открытие; прямой переход в разговор из другой точки входа требует отдельной ветки.
Предположим, за месяц в магазин пришли 100 000 человек. Вход в ассистента увидели 80 000, открыли 4 000, первый запрос отправили 1 600. Каждый начавший провёл в среднем 1,25 диалога.
Получается 2 000 диалогов:
100 000 × 80% × 5% × 40% × 1,25 = 2 000.
Связанная с ассистентом выручка тоже раскладывается:
Диалоги × атрибутированные заказы на диалог × средний чек этих заказов.
Каждый заказ учитывается один раз. Если к 2 000 диалогов отнесено 200 заказов со средним чеком 10 000 рублей, assisted revenue составляет 2 млн рублей, или 1 000 рублей на диалог.
Разложение помогает объяснить изменение результата. Дополнительный вклад ассистента в продажи проверяется отдельным экспериментом.
2. Проверить, что потери существуют в поведении
Перед поиском причин стоит проверить измерение. Иногда падение конверсии появляется после обновления счётчика, а не после изменения поведения покупателей.
Для нашего магазина команда сверяет несколько цепочек событий с реальными разговорами. Фиксируется ли показ только тогда, когда вход виден? Не считается ли приветствие первым сообщением? Сохраняется ли связь с товаром при переходе из чата? Не пропадают ли заказы при возвращении на сайт?
Также важно дать покупкам время попасть в отчёт. Если окно наблюдения составляет семь дней, сегодняшние диалоги ещё не накопили сопоставимый результат. Изменение окна или учёта возвратов способно сдвинуть выручку без изменений в продукте.
На этом этапе полезен небольшой согласованный словарь событий. Он экономит время: маркетолог, аналитик и разработчик обсуждают одну и ту же долю начавших разговор.
3. Выбрать ограничение с наибольшим потенциалом
Open rate в примере равен 5%, а доля начавших среди открывших — 40%. Из этого не следует, что сначала нужно улучшать открытия. Проценты относятся к разным действиям и аудиториям.
Для выбора важны четыре вещи: число затронутых пользователей, причина потери, реалистичный размер улучшения и стоимость проверки.
Расширение охвата с 80% до 90% при сохранении остальных показателей даст около 250 дополнительных диалогов. Рост доли начинающих с 40% до 50% даст около 500. Это сценарные оценки: новые пользователи могут вести себя иначе, поэтому неизменность остальных коэффициентов остаётся допущением.
Теперь нужны основания для гипотезы. В нашем примере команда замечает, что на телефонах окно часто открывают и закрывают без запроса. При просмотре интерфейса видно: поле ввода находится низко, а над ним — общее приветствие без примеров задач.
Команда предполагает, что покупатели не понимают, с чего начать. Проверка стартового экрана выглядит перспективнее расширения показа, поскольку у гипотезы есть наблюдаемая причина и доступное изменение.
Диагностику стоит проводить отдельно по устройствам, точкам входа и задачам. Сравнение новых и повторных посетителей тоже может помочь. При этом маленькие сегменты дают нестабильные проценты: единичную покупку легко принять за закономерность.
4. Сформулировать гипотезу и выбрать прокси-метрику
Прокси-метрика — ранний показатель, по которому команда проверяет движение к ожидаемому результату. Она полезна, когда покупки происходят позже или их пока мало для уверенного вывода.
Гипотеза для магазина звучит так: «Если на стартовом экране мобильного ассистента показать примеры подбора и сделать поле ввода заметнее, больше открывших отправят первый запрос, потому что поймут, с чем можно обратиться».
Для такого изменения подходит conversation start rate. Но его рост ещё не подтверждает пользу: подсказка может запускать разговор, который покупатель сразу бросает. Поэтому следующий показатель — доля открывших, которые начали диалог и совершили полезное действие.
Для подбора техники таким действием можно считать переход к рекомендованному товару или добавление в корзину. Оно определяется до теста. Простое нажатие на стартовую подсказку не должно автоматически засчитываться как успех подбора.
Кандидат в прокси проходит четыре проверки:
- Близость к гипотезе. Изменение действительно способно повлиять на показатель.
- Скорость. Событие появляется раньше итоговой покупки.
- Связь с задачей. Действие означает продвижение покупателя к выбору.
- Проверяемость по бизнесу. Команда может сопоставить изменение прокси с результатом эксперимента по продажам.
Корреляции недостаточно. Люди, добавившие товар в корзину, могут чаще покупать изначально. Более убедительное основание — повторяющаяся связь между изменениями прокси и коммерческим эффектом в проведённых экспериментах. Даже такую связь стоит перепроверять при смене сценария.
5. Связать симптом, причину и следующую проверку
Таблица помогает выбрать направление работы. Каждый симптом допускает несколько объяснений; разговоры и события нужны, чтобы сузить круг причин.
| Что видно в отчёте | Что стоит проверить | Ранний показатель |
|---|---|---|
| Вход видят, но редко открывают | Понятность пользы и уместность приглашения | Начавшие диалог среди увидевших вход |
| Открывают, но не отправляют запрос | Поле ввода, подсказки, ошибки интерфейса | Начавшие среди открывших |
| После запроса сразу уходят | Скорость, ошибки и соответствие первого ответа задаче | Диалоги с полезным действием |
| Видят подборку, но не выбирают товар | Бюджет, характеристики и наличие моделей | Диалоги с переходом или добавлением |
| Переходят к товару, но не добавляют | Размер, комплектацию, цену и обещания карточки | Добавления среди перешедших |
| Добавляют, но не покупают | Доставку, оплату и оформление заказа | Покупки среди пользователей с добавлением |
Последняя проблема может находиться за пределами ассистента. Если доставка недоступна в регионе покупателя, изменение ответа не исправит условия магазина. Команде нужно передать причину владельцу соответствующего этапа.
Для вопроса о сроке гарантии клик по товару вообще не обязателен. Покупатель может получить ответ и продолжить оформление. Поэтому одна прокси для подбора, консультации и вопросов о заказе будет плохо отражать результат.
6. Подготовить эксперимент под вопрос команды
В нашем примере проверяется стартовый экран. Контрольная группа получает текущий интерфейс, экспериментальная — новый. Пользователь закрепляется за одним вариантом, чтобы повторные визиты не смешивали опыт.
Если изменение появляется только после открытия окна, можно распределять пользователей при первом открытии, до показа различающегося экрана. Тогда открытие не зависит от варианта и подходит для определения аудитории теста. При изменении самого приглашения распределение происходит раньше, а основной знаменатель включает всех подходящих посетителей.
До запуска команда фиксирует аудиторию, основную метрику, минимальный полезный эффект, необходимую выборку и правило завершения теста. Длительность учитывает цикл покупки и окно наблюдения. Досрочное завершение по первому удачному результату повышает риск ошибочного решения. Подготовка подробнее разобрана в гайде по A/B-тестам.
Рядом с прокси нужны показатели, которые нельзя ухудшить сверх согласованного уровня: ошибки, задержки, жалобы, выручка на участника и стоимость работы ассистента. Такие ограничения определяются экономикой и требованиями магазина.
Возможности проверки вариантов представлены в обзоре A/B-тестирования Gravity Field, а закрепление пользователей между визитами описано в документации по распределению трафика.
7. Проверить, что изменилось после роста диалогов
Предположим, новый экран увеличил долю начинающих с 40% до 50%. Если перенести показатель на прежний объём открытий и сохранить частоту обращений, получится 2 500 диалогов вместо 2 000: рост на 25%.
Дальше команда смотрит, что произошло с действиями и продажами. Допустим, атрибутированных заказов стало 230 при прежнем среднем чеке. Assisted revenue достигла 2,3 млн рублей, а выручка на диалог снизилась с 1 000 до 920 рублей.
Снижение среднего не обязательно означает неудачу. Новая точка входа могла привлечь людей, которым сложнее выбрать товар. Общая связанная выручка при этом выросла на 15%. Но и она не доказывает дополнительный доход: изменение могло просто перенести уже готовых покупателей в канал ассистента.
Поэтому итог интерфейсного теста определяется сравнением всей выручки на назначенного участника нового и прежнего вариантов. Если наблюдение пока совместимо и с ростом, и с заметным снижением, результат по деньгам остаётся неопределённым. Доказанный рост начала диалогов можно зафиксировать отдельно.
Чтобы оценить вклад ассистента целиком, нужен другой контроль: посетители без доступа к нему. Все назначенные пользователи входят в анализ, включая не открывших окно. Такой подход сохраняет сопоставимость групп. Методика Microsoft.
8. Выбрать следующее ограничение
После успешного изменения полезно заново посмотреть воронку. Например, покупатели стали чаще начинать разговор, но ассистент регулярно предлагает модели без нужного размера или комплектации. Следующая гипотеза будет касаться качества подбора, а её ранним показателем может стать добавление подходящего товара в корзину.
Для каждого завершённого теста стоит сохранить короткую запись: проблема, аудитория, изменение, результат по прокси, результат по продажам и решение. Если прокси выросла без коммерческого эффекта, запись помогает не повторять ту же логику под другим названием.
Рабочий цикл получается последовательным: проверка данных → поиск причины → гипотеза → ранний показатель → эксперимент → бизнес-результат.
Начать можно с одного участка, где уже видны потери и есть объяснение поведения. Такой подход даёт команде конкретную следующую проверку и позволяет накапливать знания о том, какие изменения помогают покупателям и приносят магазину дополнительную выручку.
