Метрики ИИ-агента: что мерить после запуска бота

Коротко: какие цифры смотреть

Работу ИИ-агента показывают семь метрик: доля полностью решённых диалогов, доля эскалаций на менеджера, время первого ответа, конверсия диалога в заявку, доля обращений вне рабочего времени, повторные обращения по тому же вопросу и доля «не знаю». Количество сообщений и «охват бота» к делу не относятся — по ним нельзя принять ни одного решения.

Семь метрик, которые реально работают

• Доля решённых диалогов. Сколько обращений закрыто без участия человека. Главная метрика разгрузки.
• Доля эскалаций. Сколько ушло менеджеру и почему. Растёт — значит, база знаний отстала от жизни.
• Время первого ответа. У агента это секунды; ценность метрики в сравнении с тем, что было до внедрения.
• Конверсия диалога в заявку. Доля разговоров, закончившихся квалифицированным лидом, записью или сделкой в CRM.
• Обращения вне рабочего времени. Прямой ответ на вопрос «а что мы вообще теряли ночью».
• Повторные обращения по тому же вопросу. Признак, что ответ формально дан, но клиента не устроил.
• Доля «не знаю». Как часто агент честно признаёт незнание. Ноль — это не успех, а подозрение на выдумку.

Ориентиры и как читать цифры

Абсолютные значения бессмысленно сравнивать между нишами: у клиники, автосалона и B2B-производства разная доля типовых вопросов. Смысл есть только в динамике внутри вашего проекта.

Что замерить до запуска

Самая частая ошибка — включить агента и через месяц спорить, стало ли лучше. Сравнивать будет не с чем. Поэтому до внедрения фиксируются четыре цифры:

• среднее время первого ответа менеджера, отдельно днём и вечером;
• сколько обращений приходит вне рабочего времени и сколько из них остались без ответа;
• текущая конверсия обращения в заявку;
• сколько времени менеджеры тратят на повторяющиеся вопросы.

Эти четыре числа и есть базовая линия. Без неё любой отчёт об эффективности превращается в ощущения. Как считать окупаемость на их основе — в материале «Окупаемость ИИ-бота».

Метрики-обманки

Если в отчёте подрядчика первым пунктом стоит «обработано 12 400 сообщений» — это не результат, а расход. Спросите, сколько из них закончились заявкой.

• Число сообщений. Растёт от многословности агента, а не от пользы.
• «Точность модели» в процентах. Без описания методики — цифра ни о чём.
• Средняя длина диалога. Может расти и от хорошей квалификации, и от того, что клиент не может добиться ответа.
• Оценка «нравится/не нравится» без объёма. Десять оценок из тысячи диалогов не репрезентативны.

Логи важнее дашборда

Цифры показывают, где искать, но причину видно только в переписках. Рабочая практика — раз в неделю просматривать выборку: все эскалации, все диалоги с «не знаю» и случайные двадцать обычных. Именно оттуда приходят правки в базу знаний и сценарии.

Отдельно стоит смотреть, не выдумывает ли агент факты — по этому поводу у нас есть разбор про галлюцинации ИИ-агента. Аналитика диалогов как инструмент описана в статье «Аналитика диалогов ИИ-бота».

Как это выглядит в проекте

При внедрении под ключ (от 49 990 ₽, 14–21 день) мы фиксируем базовую линию до запуска, настраиваем передачу событий в amoCRM или Битрикс24 и разбираем логи в первые недели работы — там же вылавливаются недостающие куски базы знаний. Конкретный процент роста конверсии заранее не обещаем: он зависит от ниши, среднего чека и качества самой воронки. Обещаем измеримость — вы видите, что происходит с обращениями, а не верите на слово.

Хотите посмотреть, как агент ведёт диалог до заявки? Откройте демо в Telegram и пройдите путь клиента целиком.

FAQ

Какая метрика ИИ-агента главная?

Доля диалогов, полностью решённых без человека, в связке с конверсией в заявку. Первая показывает разгрузку, вторая — деньги.

Через сколько времени после запуска судить о результате?

Первые выводы — через две-три недели, когда накопится достаточно диалогов и пройдёт первая волна правок базы знаний. Раньше цифры отражают недонастройку, а не работу агента.

Нормально ли, что агент часто передаёт диалог менеджеру?

Если эскалации идут по заранее оговорённым темам (цена нестандартного заказа, договор, спорная ситуация) — это правильная работа. Тревожно, когда причины эскалаций каждый раз новые.

Нужен ли отдельный дашборд?

Чаще достаточно событий в CRM и выгрузки логов. Отдельная панель нужна, когда каналов много и требуется сводка по всем сразу.

Похожие статьи

• Окупаемость ИИ-бота: как считать
• Аналитика диалогов ИИ-бота
• ROI ИИ-агента