галлюцинации

что это

модель предсказывает правдоподобный текст, а не проверяет факты. когда она не знает ответа, она не молчит — она генерирует то, что звучит правильно. так появляются несуществующие статьи гк рф, выдуманные цитаты и ссылки на статьи, которых никто не писал. аналогия: очень уверенный собеседник на вечеринке, который никогда не говорит «не знаю» — про большинство тем он реально начитан, но когда не знает, сочиняет с тем же уверенным лицом, и по тону вы разницу не услышите.

ключевое: это не болезнь, которую «скоро вылечат». частоту снижают — rag, проверки, правильные промпты, — но до нуля не доводят. система, спроектированная в предположении «модель не ошибается», сломается обязательно.

зачем это бизнесу

понимание галлюцинаций — граница между безопасным и опасным внедрением. безопасно: черновики, которые проверяет человек; внутренние сводки; классификация с выборочным контролем. опасно: бот без присмотра называет клиентам цены, юридические условия, медицинские рекомендации. известный кейс: чат-бот авиакомпании выдумал политику возврата — суд обязал компанию её исполнить. правило простое: чем дороже цена ошибки, тем ближе к результату должен стоять человек или жёсткая проверка по базе.

о чём спросить подрядчика

• «какой процент галлюцинаций на моих реальных данных вы намерили?» — не «модель точная», а цифра с методикой. нет цифры — не мерили.
• «в каких местах системы стоят проверки: сверка с базой, запрет отвечать без источника, эскалация человеку?» — если защита — «мы написали в промпте „не выдумывай“», этого мало. промпт снижает, архитектура защищает.