rag

что это

rag (retrieval-augmented generation) — «генерация с подглядыванием». модель из коробки знает интернет, но не знает ваш прайс, регламенты и договоры. rag решает это в два шага: на вопрос клиента система сначала ищет релевантные куски в вашей базе документов, потом кладёт найденное в промпт и просит модель ответить строго по этим кускам. аналогия: студент на экзамене с открытым учебником — отвечает не по памяти, а найдя нужную страницу.

это стандартный способ сделать «бота, который знает нашу компанию». не единственный, но самый частый: дешевле дообучения, база обновляется без переделки модели — заменил документ, и бот отвечает по-новому.

зачем это бизнесу

типовые применения: бот поддержки по базе знаний, поиск по внутренним регламентам («какая у нас процедура возврата?»), ответы по документации для новичков. эффект честный: rag обычно снимает 60–80% типовых вопросов (оценка, зависит от базы), остальное — люди. важная граница: rag хорош ровно настолько, насколько хороша база. если регламенты устарели или противоречат друг другу — бот будет уверенно цитировать устаревшее. проект часто начинается не с ии, а с наведения порядка в документах.

о чём спросить подрядчика

• «что ответит система, если ответа в базе нет?» — правильно: «скажет, что не знает, и передаст человеку». неправильно: «модель что-нибудь придумает» — это галлюцинации с доставкой клиенту.
• «как вы измеряете качество поиска — какой процент вопросов находит правильные куски?» — rag чаще ломается на этапе поиска, чем на этапе генерации. кто не меряет поиск, тот не чинил rag ни разу.