кэширование промптов

что это

у типового бота каждый запрос устроен одинаково: большой постоянный кусок — инструкции, правила, справка о компании — и маленький переменный, собственно вопрос клиента. без кэширования модель обрабатывает весь этот объём заново на каждом запросе, и вы платите за него каждый раз. кэширование позволяет «запомнить» постоянную часть: провайдеры моделей берут за закэшированные токены заметно меньше — порядка десятой части цены, у разных провайдеров по-разному.

аналогия: охранник на проходной. можно на каждом входе заново рассказывать ему всю инструкцию с нуля, а можно один раз выдать инструкцию, и дальше он сверяется с ней — вы платите только за «вот пропуск, я к иванову».

зачем это бизнесу

это самый скучный и самый верный способ срезать счёт за ии — иногда в несколько раз, без потери качества, потому что меняется только тариф, а не ответы. особенно заметно там, где постоянная часть большая: бот с длинной инструкцией и вшитой базой знаний, обработка потока документов по одному и тому же регламенту. подвох один: кэширование не случается само — систему нужно строить так, чтобы постоянная часть запроса действительно была постоянной и лежала в начале. это решение подрядчика на этапе разработки, и если о нём не подумали, вы молча платите полный тариф за одни и те же инструкции тысячи раз в день.

о чём спросить подрядчика

• «включено ли кэширование промптов и какой процент токенов идёт из кэша?» — это видно в статистике использования. если подрядчик не знает цифру — не смотрел.
• «сколько мы платили бы без кэша?» — полезный вопрос-лакмус: тот, кто проектировал экономику осознанно, ответит сразу.