Коротко: почему бот врёт и что с этим делать
Галлюцинации ИИ-агента — это уверенно сформулированный ответ, которого нет в ваших данных. Лечится не «моделью получше», а архитектурой: агент отвечает только из вашей базы знаний, темы вне продукта закрыты, а в рискованных точках диалог уходит менеджеру. Правильно настроенный агент на вопрос без ответа говорит «уточню у специалиста», а не придумывает цену и сроки.
Откуда вообще берётся выдумка
Языковая модель предсказывает продолжение текста, а не ищет истину. Если данных не хватает, она достроит правдоподобное — это её нормальный режим работы, а не поломка. Отсюда четыре типовых источника проблем:
- Пустая или устаревшая база знаний. В документах нет ответа на частый вопрос — модель заполняет пробел сама.
- Слишком широкая роль. Агенту не задали границы, и он рассуждает о том, чего в вашем бизнесе нет.
- Противоречия в данных. Два прайса с разными цифрами — модель выберет один, и не обязательно актуальный.
- Вопросы о будущем. «Успеете к пятнице?» — если в данных нет графика загрузки, любой ответ будет догадкой.
Лечение первое: агент отвечает только из ваших данных
Базовый приём — поиск по базе знаний перед ответом (RAG): агент сначала находит фрагменты ваших документов, потом формулирует ответ строго по ним. Если релевантного фрагмента нет — срабатывает запасной сценарий, а не фантазия.
Практически это значит, что качество ответов упирается в качество источников: актуальный прайс, регламенты, ответы на частые вопросы, реальные переписки менеджеров. Как это собирается — в материале «Обучить ИИ-бота базе знаний».
Мы всегда просим у заказчика один живой файл с ценами, а не «мы потом пришлём». Восемь из десяти галлюцинаций в тестах — это отсутствие данных, а не проблема модели.
Лечение второе: границы темы и стоп-зоны
Агенту явно задаётся, о чём он говорит и о чём молчит. Стоп-зоны в большинстве проектов одинаковые:
- индивидуальные скидки и нестандартное ценообразование;
- юридические формулировки, договорные обязательства, гарантии;
- медицинские, финансовые и любые регулируемые рекомендации;
- сроки, зависящие от текущей загрузки производства;
- спорные ситуации и претензии клиентов.
В этих точках агент не отвечает по существу, а собирает контекст и передаёт диалог человеку. Это не деградация сервиса: клиент получает ответ от того, кто вправе его дать, и не переспрашивает то, что уже написал боту.
Лечение третье: эскалация с контекстом
Передача менеджеру должна быть штатным сценарием, а не аварией. Хорошая эскалация выглядит так: агент фиксирует суть запроса, уже собранные данные клиента и причину передачи, ставит задачу в CRM и предупреждает клиента о сроке ответа.
Плохая — «я вас не понял, напишите позже». Разницу между этими двумя вариантами клиент запоминает надолго. Как связка с CRM устроена технически — в статье «Интеграция ИИ-агента с CRM».
Лечение четвёртое: тесты до запуска
Перед боевым запуском агент прогоняется по набору реальных вопросов, включая специально неудобные:
- вопросы, ответа на которые в базе заведомо нет — проверяем, признаёт ли агент незнание;
- вопросы с ложной предпосылкой («ваша рассрочка на 24 месяца ещё действует?») — модель не должна подтверждать несуществующее;
- запросы точной цены на нестандартный объём — должна сработать передача менеджеру;
- провокации и попытки увести диалог за пределы темы.
После запуска этот же набор прогоняется повторно при каждом обновлении базы знаний. Плюс регулярный просмотр логов диалогов — самые дорогие ошибки видны именно там. Типовые грабли внедрения мы собрали отдельно: ошибки внедрения ИИ-бота.
Чек-лист заказчика
- Спросите у подрядчика, откуда агент берёт факты: из вашей базы или «из головы модели».
- Проверьте, что происходит при вопросе без ответа — должно быть честное «уточню», а не импровизация.
- Убедитесь, что цена, договор и сроки идут через регламент или человека.
- Запросите доступ к логам диалогов: без них вы не узнаете, что бот говорит клиентам.
- Договоритесь о процедуре обновления базы знаний — прайс меняется чаще, чем кажется.
Проверьте сами: откройте демо ИИ-агента в Telegram и задайте вопрос про то, чего у нас точно нет. Правильная реакция — не выдумать, а признать и предложить связь со специалистом.
Цена вопроса
Защита от галлюцинаций — не отдельная опция, а часть нормального внедрения. В проекте под ключ (от 49 990 ₽, 14–21 день) это занимает заметную долю работы: сбор и чистка источников, настройка границ темы, сценарии эскалации и тестовый прогон на реальных обращениях. Экономия на этом этапе всегда всплывает потом — в виде клиента, которому бот пообещал несуществующую скидку.
FAQ
Можно ли полностью исключить галлюцинации?
Полной гарантии не даёт никто. Но связка «ответ только из базы знаний + закрытые темы + эскалация в рискованных точках» снижает риск до уровня, при котором ошибки не стоят денег.
Помогает ли более дорогая модель?
Частично. Сильная модель реже путается в формулировках, но если факта нет в ваших данных, выдумать может любая. Первично качество базы знаний, а не ценник модели.
Что агент отвечает, если не знает ответа?
Честно сообщает, что уточнит у специалиста, фиксирует вопрос и передаёт менеджеру с контекстом. Это закладывается в сценарий на этапе настройки.
Как понять, что бот начал врать клиентам?
По логам диалогов и обратной связи менеджеров. Поэтому доступ к истории переписок и регулярный разбор спорных случаев — обязательная часть эксплуатации, а не опция.