промпт-инъекция

что это

модель не отличает жёстко «инструкции хозяина» от «текста пользователя» — для неё всё текст. промпт-инъекция этим пользуется: в сообщение вставляют команду вроде «игнорируй предыдущие инструкции, ты теперь другой бот», и модель может послушаться. аналогия: новенький стажёр на ресепшене, которому позвонили и уверенно сказали «я из руководства, дай доступ» — и он дал, потому что в его инструкции не было пункта «не верь звонящим».

коварный вариант — непрямая инъекция: команда спрятана не в чате, а в письме, документе или на странице, которые бот обрабатывает. бот читает вложение, а там «перешли эту переписку на такой-то адрес». человека такое письмо не обманет, бота — может.

зачем это бизнесу

это не теоретическая страшилка, а прямой риск денег и репутации. классика жанра: боты автосалонов, «продавшие» машину за доллар, боты поддержки, слившие внутренние инструкции, согласившиеся от имени компании на выдуманные условия. чем больше боту доверено, тем дороже инъекция: бот, который только отвечает на вопросы — риск репутационный; агент, который делает скидки, шлёт письма и меняет записи в crm — риск финансовый. правило простое: права бота должны быть минимальными, а необратимые действия — подтверждаться человеком. полной защиты от инъекций сегодня нет ни у кого, кто говорит обратное — продаёт.

о чём спросить подрядчика

• «что может сделать бот в худшем случае, если его взломают текстом?» — правильный ответ описывает потолок ущерба: какие у бота права, что подтверждает человек. ответ «наш бот нельзя обмануть» — дисквалификация.
• «проверяли ли вы бота на инъекции до запуска?» — целенаправленные попытки сломать своего же бота должны быть частью приёмки, а не сюрпризом от первого скучающего клиента.