Какие метрики показывают пользу ИИ-консультанта: от открытия диалога и выбора товара до дополнительной выручки. Формулы, примеры и стартовые ориентиры.
Метрики ИИ-консультанта помогают оценить путь от первого открытия до покупки. Для управления продуктом нужны показатели вовлечения, качества ответов и работы с товарами, а для оценки вклада в бизнес — дополнительная выручка, подтверждённая экспериментом.
Покупатель просит подобрать пылесос для квартиры с собакой. Ассистент уточняет бюджет, объясняет разницу между моделями и предлагает три варианта. Ответ выглядит полезным. Но отчёт должен показать, что произошло дальше: человек открыл товар, добавил его в корзину, купил или ушёл продолжать поиск.
В статье разберём четыре группы метрик. Английские названия оставим рядом с русскими, чтобы показатели было проще найти в отчётах разных систем. Формулы ниже — предлагаемая схема измерения: определения конкретного сервиса могут отличаться.
Перед расчётом: единые правила
Для каждой метрики важно зафиксировать период, единицу учёта и событие. Пользователи, визиты, диалоги и показы карточек дают разные знаменатели. Например, конверсия среди открывших окно будет отличаться от конверсии среди отправивших сообщение.
Началом диалога будем считать первый запрос покупателя, включая отправку стартовой подсказки. Автоматическое приветствие ассистента диалог не начинает. Границу между продолжением разговора и новым диалогом команда определяет заранее и сохраняет во всех сравнениях.
Для покупок также нужны окно атрибуции — срок, в течение которого заказ связывается с взаимодействием, — и правило учёта выручки. Оно определяет, считаем ли мы весь заказ или только рекомендованные товары, как обрабатываем отмены и возвраты. Один заказ не должен повторно увеличивать общую выручку из-за нескольких диалогов.
Сравнение имеет смысл при одинаковых правилах расчёта. Например, семидневное окно даёт покупателю больше времени на заказ, чем однодневное. Чтобы оценить изменение продукта, команда сохраняет окно и правила атрибуции между периодами.
Числовые ориентиры ниже — предлагаемые стартовые цели для консультаций перед покупкой. Это не результаты измерений: команда уточняет цели по собственным данным. Проценты сравниваются при одинаковом окне покупки и правилах учёта.
1. Вовлечение и глубина использования
Первая группа отвечает на вопрос, находят ли покупатели ассистента и начинают ли пользоваться им. Здесь удобна последовательная воронка по уникальным пользователям: увидел вход → открыл → начал диалог.
Assistant impression rate — охват показом
Пользователи, увидевшие вход в ассистента / пользователи сайта × 100%.
Показатель отражает доступность точки входа. Отдельно полезно считать охват аудитории, которой ассистент положен по правилам показа. Так можно отличить намеренное ограничение страниц от ошибки загрузки виджета.
Например, консультант помогает выбирать технику, но вход виден только на главной странице. Покупатели, пришедшие из поиска сразу на карточку пылесоса, до него не добираются. Низкий охват в таком случае указывает на размещение: улучшение ответов не поможет людям, которые не видят возможности задать вопрос.
Ориентир: 95–100% аудитории, которой вход должен показываться по правилам размещения. Это технический охват целевой аудитории; доля от всех посетителей сайта зависит от выбранных страниц.
Open rate — доля открывших
Пользователи, открывшие ассистента после показа / пользователи, увидевшие вход × 100%.
Помогает оценить заметность и понятность предложения. Автоматическое раскрытие окна учитывается отдельно: оно не доказывает интерес покупателя.
Надпись «Нужна помощь?» не объясняет, какую задачу решает консультант. Предложение «Подберём пылесос под вашу квартиру» конкретнее. Можно проверить, привлекает ли оно больше покупателей, но затем важно посмотреть на начало диалогов: интерес к обещанию ещё не означает готовность общаться.
Ориентир: 3–8% увидевших вход. Учитываются добровольные открытия; автоматическое раскрытие окна исключается.
Conversation start rate — доля начавших диалог
Пользователи, отправившие первый запрос / пользователи, открывшие ассистента × 100%.
Показывает, помогает ли стартовый экран перейти к разговору. Если человек открывает окно и уходит, возможные причины — неясная польза, неудобный ввод или отсутствие подходящих подсказок.
Пустое поле требует от человека самому сформулировать задачу. Подсказки «Для квартиры с животными» или «Сравнить две модели» дают точку старта. Если после их появления запросов стало больше, а разговоры сразу обрываются, стоит проверить, соответствует ли первый ответ ожиданию от подсказки.
Ориентир: 40–60% открывших. Рост показателя стоит проверять вместе с дальнейшими действиями: отправка подсказки должна запускать полезный разговор.
Dialogs per user — диалоги на пользователя
Начатые диалоги / пользователи, начавшие хотя бы один диалог.
Показывает частоту обращений за выбранный период. Рост может означать возвращение за новой покупкой или повторные попытки решить прежний вопрос. Разбор тем диалогов помогает различить причины.
Один человек сегодня выбирает пылесос, а через неделю возвращается за фильтрами. Другой трижды начинает подбор заново, потому что не получил подходящих вариантов. В отчёте оба увеличивают частоту обращений. Различить полезное возвращение и повторную попытку помогают темы запросов и результат каждого разговора.
Ориентир: 1,2–1,8 диалога за 30 дней среди начавших разговор. Повторные обращения по нерешённому вопросу разбираются отдельно.
Messages per dialog — сообщения на диалог
Сообщения покупателей / начатые диалоги.
В этой схеме учитываются сообщения пользователя; ответы ассистента исключены. Длина разговора помогает диагностике: покупатель может долго собирать комплект или безуспешно объяснять запрос. Среднее полезно дополнять медианой и просмотром затянувшихся разговоров.
Фразы «Мне нужен беспроводной» и «Я уже писал, что нужен беспроводной» добавляют по одному сообщению, но говорят о разном опыте. Поэтому длинные разговоры полезно читать: уточняет ли покупатель требования или вынужден исправлять консультанта. Короткий диалог с покупкой может быть лучшим результатом, чем подробная беседа без подходящего товара.
Ориентир: 2–5 сообщений покупателя при подборе одного товара, 4–8 — при сборке комплекта. Длина служит диагностике: увеличивать её ради попадания в диапазон не нужно.
2. Оценка ответов
Обратная связь помогает находить ответы, которыми покупатель доволен или недоволен. Для двух вариантов оценки примем следующие определения.
Like rate — положительные оценки
Ответы с лайком / оценённые ответы × 100%.
Лайк помогает находить ответы, которые покупатели сочли полезными. Например, консультант объяснил, чем турбощётка отличается от обычной насадки, и человек отметил ответ. Такие примеры стоит сохранять: они показывают, какие объяснения помогают разобраться в товаре.
Рост доли лайков после правки ответа — положительный сигнал. Но он не доказывает ни покупку, ни точность всех фактов: человек может оценить понятное объяснение, не заметив ошибки в характеристиках.
Ориентир: 80–90% оценённых ответов. Рядом с долей нужны количество оценок и покрытие обратной связью.
Dislike rate — отрицательные оценки
Ответы с дизлайком / оценённые ответы × 100%.
Дизлайк помогает найти место, где ожидание покупателя разошлось с ответом. Причины могут различаться: предложен товар вне бюджета, перепутана характеристика, ответ оказался слишком общим. Для команды полезнее знать повторяющуюся причину, чем только общий процент.
Если отрицательные оценки сосредоточены в одной категории, стоит проверить её каталог и правила подбора. Несколько подтверждённых ошибок в совместимости уже требуют исправления, даже когда общая доля дизлайков невелика.
Ориентир: не выше 10–20% оценённых ответов. При двух вариантах реакции это обратная сторона цели по like rate.
Feedback rate — покрытие оценками
Оценённые ответы / ответы с показанной возможностью оценки × 100%.
Показывает, на какой части разговоров основаны выводы о качестве. Если оценки стоят только под последним ответом, ранние ошибки могут остаться без обратной связи: покупатель уйдёт раньше. Размещение кнопок и момент предложения оценить ответ влияют на то, какие мнения команда собирает.
Рост покрытия полезен для анализа, но не равен росту удовлетворённости. После изменения интерфейса оценок доля лайков может снизиться просто потому, что отзыв начали оставлять другие покупатели.
Ориентир: 3–10% ответов с возможностью оценки. При смене интерфейса важно учитывать изменение состава отвечающих.
При одной итоговой оценке на ответ like rate и dislike rate дают в сумме 100%. При смене реакции учитывается последняя оценка.
90% лайков при десяти оценённых ответах и при десяти тысячах — разная доказательная база. Но и большой объём не устраняет самоотбор: мнение оставивших оценку может отличаться от мнения остальных покупателей. Поэтому рядом с процентами нужны количество оценок и покрытие.
Эти показатели не проверяют фактическую точность ответа. Ошибку в совместимости аккумулятора и инструмента покупатель может заметить после заказа. Для таких сценариев нужен отдельный разбор ответов и проверка по каталогу.
3. Работа с товарами
В подборе товаров важно связать конкретную рекомендацию с последующим действием. Для воспроизводимого расчёта можно использовать пару «диалог — рекомендованный товар»: повторный показ одной модели внутри разговора не создаёт новую пару. Это выбранное правило учёта, а не единый стандарт рынка.
Product CTR — переходы к товарам. Число пар с хотя бы одним кликом, делённое на число показанных пар, × 100%. Помогает оценивать интерес к рекомендациям.
Предположим, ассистент показал три пылесоса и покупатель открыл один. В выбранной схеме это одна пара с кликом из трёх. Если показать десять вариантов вместо трёх, знаменатель вырастет: CTR может снизиться даже при сохранении интереса. Поэтому показатель полезно дополнять долей диалогов, в которых был хотя бы один переход.
Ориентир: 15–30% показанных пар «диалог — товар». Рост переходов проверяется вместе с добавлениями и покупками.
Add-to-cart rate — добавления в корзину. Число пар с добавлением рекомендованного товара после показа, делённое на число показанных пар, × 100%. Событие может произойти в чате или на странице товара.
Добавление в корзину показывает, что человек готов рассмотреть товар для заказа. Если рекомендации получают клики, но редко доходят до корзины, стоит проверить, что покупатель обнаруживает на странице: другую комплектацию, неподходящий размер или условия доставки. Причина может находиться и в рекомендации, и за пределами чата.
Ориентир: 5–12% показанных пар «диалог — товар». Учитываются добавления после рекомендации в согласованном окне.
Recommendation → purchase conversion — покупка рекомендованного товара. Число пар с покупкой в заданном окне, делённое на число показанных пар, × 100%. Если один товар рекомендовали в нескольких диалогах, заранее выбранное правило определяет, какому разговору зачесть покупку.
Если из трёх предложенных моделей купили одну, остальные две не обязательно были плохими: консультант мог помочь выбрать между подходящими альтернативами. Важен итог подборки. Дополнительный разрез по диалогам с покупкой помогает оценить результат консультации, не наказывая её за наличие выбора.
Ориентир: 2–5% показанных пар «диалог — товар». Учитывается покупка именно рекомендованного товара без дублирования между диалогами.
Товарная воронка помогает заметить потери между этапами. Однако покупатель может добавить товар прямо из чата, пропустив клик. Такой путь учитывается отдельной веткой, иначе отчёт покажет несуществующий отказ.
Высокий CTR при редких добавлениях в корзину — повод проверить соответствие запросу, цену, наличие и содержание страницы. По одному показателю определить причину нельзя.
4. Коммерческий результат
Для бизнес-отчёта нужны показатели масштаба продаж и показатели в пересчёте на пользователя или диалог. Логику совместного анализа выручки, конверсии и среднего чека раскрывает обзор аналитики Gravity Field.
Assisted revenue — выручка, связанная с ассистентом
Это сумма заказов, отнесённых к взаимодействию по принятому правилу. Она показывает объём продаж, в пути к которым участвовал ассистент. Доля такой выручки в продажах магазина помогает сравнивать периоды разного масштаба.
Покупатель мог выбрать модель заранее и спросить только о гарантии. Заказ попадёт в связанную выручку, хотя без консультации тоже мог состояться. Показатель помогает оценить масштаб участия ассистента в покупках; вопрос о дополнительных продажах решается через контрольную группу.
Ориентир: 1–3% онлайн-выручки магазина при широком размещении ассистента. Это сценарная цель по связанной выручке, а не ожидаемый дополнительный прирост.
Revenue per dialog — выручка на диалог
Assisted revenue / начатые диалоги соответствующей когорты.
Помогает сравнивать сценарии и периоды. Покупки должны успеть попасть в окно наблюдения: диалоги последнего дня нельзя оценивать наравне с разговорами, после которых уже прошла неделя.
Если консультантом начали пользоваться люди на ранней стадии выбора, средняя выручка на разговор может снизиться. Это не обязательно ухудшение: при большем числе диалогов общая выручка способна вырасти. Полезно одновременно смотреть объём обращений и результат в пересчёте на диалог.
Ориентир: 5–10% среднего чека магазина. При чеке 10 000 ₽ — 500–1 000 ₽ на диалог. Сравниваются одинаковые категории и задачи покупателей.
Revenue per user — выручка на пользователя
Assisted revenue / пользователи, начавшие диалог в соответствующей когорте.
Показывает результат в пересчёте на человека, независимо от числа его разговоров.
Предположим, покупатель сделал заказ на 15 000 рублей после трёх разговоров. На диалог приходится 5 000 рублей, на пользователя — 15 000. Такая пара показателей помогает заметить, когда консультация требует нескольких обращений, но в итоге приводит к покупке.
Ориентир: 6–18% среднего чека магазина за 30 дней. При чеке 10 000 ₽ — 600–1 800 ₽ на пользователя ассистента. Диапазон следует из целей по выручке на диалог и частоте обращений.
Conversion rate пользователей ассистента
Пользователи с покупкой после взаимодействия / пользователи, начавшие диалог × 100%.
Покупка учитывается в согласованном окне. В отличие от товарной конверсии здесь может учитываться любой заказ пользователя.
Запрос «Какая модель подойдёт для шерсти?» и вопрос «Можно оплатить выбранный пылесос частями?» отражают разную готовность купить. Если выросла доля второго типа обращений, общая конверсия может подняться без улучшения ответов. Для интерпретации важно учитывать, с какими задачами приходят пользователи.
Ориентир: 5–10% начавших диалог. Результат оценивается после завершения окна покупки и отдельно по задачам с разной готовностью к заказу.
AOV после взаимодействия — средний чек
Выручка атрибутированных заказов / количество таких заказов.
Позволяет заметить изменение состава покупки. Рост среднего чека стоит проверять вместе с конверсией: более дорогие предложения могут подходить меньшему числу покупателей.
Консультант может предложить запасной фильтр вместе с пылесосом и объяснить, когда потребуется замена. Если покупатель добавит фильтр, чек вырастет за счёт дополнения. Другой путь — предложение более дорогой модели. Разбор состава заказов помогает понять, какую покупку поддержало изменение и сохранилась ли маржа.
Ориентир: 100–110% среднего чека сопоставимых заказов магазина. Цель — сохранить чек или увеличить его до 10% без ухудшения конверсии и маржи.
Как измерить дополнительный эффект
Пользователи ассистента выбирают его сами. У них могут быть более сложные задачи, дорогие корзины или высокая готовность купить. Поэтому сравнение с остальной аудиторией не отвечает на вопрос, сколько продаж создал продукт.
Для оценки подходит эксперимент со случайным распределением: одной группе доступен ассистент, другой — нет. Основной результат считается по всем назначенным участникам, включая тех, кто не открыл окно. Отбор только воспользовавшихся функцией нарушает сопоставимость. Методика Microsoft.
Incremental conversion — разница конверсий экспериментальной и контрольной групп. В условном примере 4,5% против 4,0% дают +0,5 процентного пункта, или +12,5% относительно контроля. Цель теста — обнаружить прирост, который оправдывает затраты на внедрение и поддержку.
Если консультант только перенаправил в чат людей, которые и так собирались купить, конверсия его пользователей будет высокой, а разница между экспериментальными группами — небольшой. Показатель помогает отличить удачно выбранную аудиторию от изменения вероятности покупки.
Ориентир для гипотезы: +3–5% относительно контроля. При базовой конверсии 4% это 4,12–4,20%, или +0,12–0,20 процентного пункта. Такой эффект закладывается в расчёт теста, но не обещается заранее.
Incremental revenue оценивается через разницу всей выручки на пользователя между группами. Умножение разницы на размер экспериментальной группы даёт оценку дополнительной выручки на её аудитории. Для решения о развитии продукта оценивается, покрывает ли дополнительная маржа затраты на ассистента. Результат сопровождается доверительным интервалом, который показывает неопределённость оценки.
Дополнительная выручка может появиться за счёт новых заказов, более дорогих покупок или сочетания обоих факторов. Например, конверсия почти не изменилась, но покупатели чаще собирают комплект. Тогда эффект проявится в выручке; разбор среднего чека и состава корзины поможет объяснить механизм.
Ориентир для гипотезы: +2–5% всей выручки на участника эксперимента относительно контроля. Минимальный полезный прирост уточняется по затратам и марже.
Порядок подготовки такого исследования разобран в гайде по A/B-тестам в интернет-магазине.
Главная метрика и рабочие показатели
Дополнительная выручка помогает принять решение о развитии ассистента. Остальные показатели объясняют, где покупателям нужна помощь и что команда может улучшить. Для оценки окупаемости к выручке добавляются маржа, возвраты и стоимость работы продукта.
Первый практический шаг — согласовать определения и собрать воронку с едиными правилами. После этого можно переходить к следующей задаче: найти узкое место и выбрать метрику для проверки изменения. Ей посвящена вторая статья серии — «Как найти и устранить слабые места ИИ-консультанта».
