Галлюцинация (ИИ)

Коротко: Галлюцинация — это убедительно звучащий, но ложный или выдуманный ответ языковой модели.

Подробнее: Языковые модели предсказывают наиболее вероятный следующий токен; фактов они не проверяют. Когда знаний не хватает, они заполняют пробел чем-то правдоподобным, например выдуманными источниками, числами или законами.

Подробности

• Часто бывает при: редких фактах, точных числах, цитатах, ссылках, юридических вопросах.
• Средства: RAG с источниками, уточняющие вопросы, проверка по второму источнику, низкая температура.
• Как распознать: слишком гладкие ответы без сомнений, источники, которые невозможно найти.
• Ответственность: тот, кто использует ответы ИИ, остаётся ответственным за их правильность.

См. также: Температура и сэмплирование, Промпт-инжиниринг