Коротко: какие цифры смотреть
Работу ИИ-агента показывают семь метрик: доля полностью решённых диалогов, доля эскалаций на менеджера, время первого ответа, конверсия диалога в заявку, доля обращений вне рабочего времени, повторные обращения по тому же вопросу и доля «не знаю». Количество сообщений и «охват бота» к делу не относятся — по ним нельзя принять ни одного решения.
Семь метрик, которые реально работают
- Доля решённых диалогов. Сколько обращений закрыто без участия человека. Главная метрика разгрузки.
- Доля эскалаций. Сколько ушло менеджеру и почему. Растёт — значит, база знаний отстала от жизни.
- Время первого ответа. У агента это секунды; ценность метрики в сравнении с тем, что было до внедрения.
- Конверсия диалога в заявку. Доля разговоров, закончившихся квалифицированным лидом, записью или сделкой в CRM.
- Обращения вне рабочего времени. Прямой ответ на вопрос «а что мы вообще теряли ночью».
- Повторные обращения по тому же вопросу. Признак, что ответ формально дан, но клиента не устроил.
- Доля «не знаю». Как часто агент честно признаёт незнание. Ноль — это не успех, а подозрение на выдумку.
Ориентиры и как читать цифры
| Метрика | Что показывает | Куда смотреть |
|---|---|---|
| Решено без человека | Разгрузка первой линии | Растёт после каждого обновления базы |
| Эскалации | Границы компетенции агента | Стабильна, причины повторяются |
| Время первого ответа | Скорость реакции | Секунды в любом канале и в любой час |
| Конверсия в заявку | Коммерческий эффект | Сравнивать с периодом до внедрения |
| Ночные обращения | Ранее потерянный спрос | Считать в деньгах, а не в штуках |
| Повторы по теме | Качество ответов | Снижается по мере правок сценариев |
| Доля «не знаю» | Честность агента | Небольшая, но не нулевая |
Абсолютные значения бессмысленно сравнивать между нишами: у клиники, автосалона и B2B-производства разная доля типовых вопросов. Смысл есть только в динамике внутри вашего проекта.
Что замерить до запуска
Самая частая ошибка — включить агента и через месяц спорить, стало ли лучше. Сравнивать будет не с чем. Поэтому до внедрения фиксируются четыре цифры:
- среднее время первого ответа менеджера, отдельно днём и вечером;
- сколько обращений приходит вне рабочего времени и сколько из них остались без ответа;
- текущая конверсия обращения в заявку;
- сколько времени менеджеры тратят на повторяющиеся вопросы.
Эти четыре числа и есть базовая линия. Без неё любой отчёт об эффективности превращается в ощущения. Как считать окупаемость на их основе — в материале «Окупаемость ИИ-бота».
Метрики-обманки
Если в отчёте подрядчика первым пунктом стоит «обработано 12 400 сообщений» — это не результат, а расход. Спросите, сколько из них закончились заявкой.
- Число сообщений. Растёт от многословности агента, а не от пользы.
- «Точность модели» в процентах. Без описания методики — цифра ни о чём.
- Средняя длина диалога. Может расти и от хорошей квалификации, и от того, что клиент не может добиться ответа.
- Оценка «нравится/не нравится» без объёма. Десять оценок из тысячи диалогов не репрезентативны.
Логи важнее дашборда
Цифры показывают, где искать, но причину видно только в переписках. Рабочая практика — раз в неделю просматривать выборку: все эскалации, все диалоги с «не знаю» и случайные двадцать обычных. Именно оттуда приходят правки в базу знаний и сценарии.
Отдельно стоит смотреть, не выдумывает ли агент факты — по этому поводу у нас есть разбор про галлюцинации ИИ-агента. Аналитика диалогов как инструмент описана в статье «Аналитика диалогов ИИ-бота».
Как это выглядит в проекте
При внедрении под ключ (от 49 990 ₽, 14–21 день) мы фиксируем базовую линию до запуска, настраиваем передачу событий в amoCRM или Битрикс24 и разбираем логи в первые недели работы — там же вылавливаются недостающие куски базы знаний. Конкретный процент роста конверсии заранее не обещаем: он зависит от ниши, среднего чека и качества самой воронки. Обещаем измеримость — вы видите, что происходит с обращениями, а не верите на слово.
Хотите посмотреть, как агент ведёт диалог до заявки? Откройте демо в Telegram и пройдите путь клиента целиком.
FAQ
Какая метрика ИИ-агента главная?
Доля диалогов, полностью решённых без человека, в связке с конверсией в заявку. Первая показывает разгрузку, вторая — деньги.
Через сколько времени после запуска судить о результате?
Первые выводы — через две-три недели, когда накопится достаточно диалогов и пройдёт первая волна правок базы знаний. Раньше цифры отражают недонастройку, а не работу агента.
Нормально ли, что агент часто передаёт диалог менеджеру?
Если эскалации идут по заранее оговорённым темам (цена нестандартного заказа, договор, спорная ситуация) — это правильная работа. Тревожно, когда причины эскалаций каждый раз новые.
Нужен ли отдельный дашборд?
Чаще достаточно событий в CRM и выгрузки логов. Отдельная панель нужна, когда каналов много и требуется сводка по всем сразу.