Коротко: почему бот врёт и что с этим делать
Галлюцинации ИИ-агента — это уверенно сформулированный ответ, которого нет в ваших данных. Лечится не «моделью получше», а архитектурой: агент отвечает только из вашей базы знаний, темы вне продукта закрыты, а в рискованных точках диалог уходит менеджеру. Правильно настроенный агент на вопрос без ответа говорит «уточню у специалиста», а не придумывает цену и сроки.
Откуда вообще берётся выдумка
Языковая модель предсказывает продолжение текста, а не ищет истину. Если данных не хватает, она достроит правдоподобное — это её нормальный режим работы, а не поломка. Отсюда четыре типовых источника проблем:
- Пустая или устаревшая база знаний. В документах нет ответа на частый вопрос — модель заполняет пробел сама.
- Слишком широкая роль. Агенту не задали границы, и он рассуждает о том, чего в вашем бизнесе нет.
- Противоречия в данных. Два прайса с разными цифрами — модель выберет один, и не обязательно актуальный.
- Вопросы о будущем. «Успеете к пятнице?» — если в данных нет графика загрузки, любой ответ будет догадкой.
Лечение первое: агент отвечает только из ваших данных
Базовый приём — поиск по базе знаний перед ответом (RAG): агент сначала находит фрагменты ваших документов, потом формулирует ответ строго по ним. Если релевантного фрагмента нет — срабатывает запасной сценарий, а не фантазия.
Практически это значит, что качество ответов упирается в качество источников: актуальный прайс, регламенты, ответы на частые вопросы, реальные переписки менеджеров. Как это собирается — в материале «Обучить ИИ-бота базе знаний».
Мы всегда просим у заказчика один живой файл с ценами, а не «мы потом пришлём». Восемь из десяти галлюцинаций в тестах — это отсутствие данных, а не проблема модели.
Лечение второе: границы темы и стоп-зоны
Агенту явно задаётся, о чём он говорит и о чём молчит. Стоп-зоны в большинстве проектов одинаковые:
- индивидуальные скидки и нестандартное ценообразование;
- юридические формулировки, договорные обязательства, гарантии;
- медицинские, финансовые и любые регулируемые рекомендации;
- сроки, зависящие от текущей загрузки производства;
- спорные ситуации и претензии клиентов.
В этих точках агент не отвечает по существу, а собирает контекст и передаёт диалог человеку. Это не деградация сервиса: клиент получает ответ от того, кто вправе его дать, и не переспрашивает то, что уже написал боту.
Лечение третье: эскалация с контекстом
Передача менеджеру должна быть штатным сценарием, а не аварией. Хорошая эскалация выглядит так: агент фиксирует суть запроса, уже собранные данные клиента и причину передачи, ставит задачу в CRM и предупреждает клиента о сроке ответа.
Плохая — «я вас не понял, напишите позже». Разницу между этими двумя вариантами клиент запоминает надолго. Как связка с CRM устроена технически — в статье «Интеграция ИИ-агента с CRM».