Коротко: что значит «протестировать»
Тест ИИ-агента — это не «поговорили пять минут, вроде отвечает». Это прогон по заранее составленному набору вопросов, где на каждый известно правильное поведение, включая честное «не знаю» и передачу менеджеру. Такой набор собирается один раз и потом используется после каждого обновления базы знаний.
Без него запуск превращается в эксперимент на живых клиентах, а любая правка может тихо сломать то, что работало.
Откуда брать вопросы для теста
Не выдумывайте — возьмите реальные. Лучший источник: переписки менеджеров за последний месяц. Выпишите 20–30 обращений, включая неудобные, и добавьте к ним специально сконструированные проверки.
- Частые вопросы. Цена, сроки, наличие, как работаете, где находитесь.
- Формулировки не по шаблону. С опечатками, сленгом, без знаков препинания, в две строки подряд.
- Вопросы без ответа в базе. Проверяем, признаёт ли агент незнание.
- Ложные предпосылки. «У вас же есть рассрочка на 24 месяца?» — агент не должен подтверждать несуществующее.
- Рискованные точки. Индивидуальная скидка, юридический вопрос, претензия — должна срабатывать передача человеку.
- Попытки увести в сторону. Разговоры не по теме, провокации, грубость.
Что именно проверяем в ответе
| Проверка | Правильное поведение |
|---|---|
| Фактическая точность | Ответ совпадает с базой знаний, без домысла |
| Реакция на пробел в данных | Честное «уточню» и передача менеджеру |
| Соблюдение стоп-тем | Не отвечает там, где запрещено |
| Действия в CRM | Сделка создана, поля заполнены верно |
| Тон общения | Соответствует принятому в компании |
| Длина ответа | По делу, без простыней текста |
| Работа с контекстом | Не переспрашивает то, что клиент уже сказал |
Отдельная категория — выдумка. Как её ловить и чем лечить, разобрано в материале про галлюцинации ИИ-агента.
Кто должен тестировать
Обязательно тот, кто реально общается с клиентами. Разработчик проверит, что система работает; менеджер увидит, что ответ формально верный, но клиента он не устроит.
Оптимально в три пары глаз: подрядчик прогоняет технические сценарии, менеджер — содержательные, руководитель — рискованные точки, где цена ошибки высокая. Кто за что отвечает дальше, описано в разборе поддержки после запуска.