токен

что это

модель не видит буквы и слова — она видит токены, кусочки текста. для русского языка грубая прикидка: одно слово — примерно два-четыре токена, страница текста — около тысячи. аналогия: сотовый оператор считает не «разговоры», а минуты. ии-провайдер считает не «запросы», а токены — отдельно те, что вы отправили (вход), и те, что модель написала (выход). выходные обычно дороже в несколько раз.

отсюда растут почти все цифры в счетах и ограничениях: «контекст 200 тысяч токенов» — это сколько модель может держать в голове, «1 доллар за миллион токенов» — это тариф.

зачем это бизнесу

токены — это себестоимость вашей ии-фичи, и её можно считать заранее. пример: агент разбирает входящее письмо (одна страница, ~1000 токенов входа) и пишет ответ (~500 токенов выхода). при типовых тарифах это доли рубля за письмо — даже на тысяче писем в день расходы копеечные. а вот «скармливать модели всю базу знаний на 500 страниц при каждом вопросе» — уже рубли за запрос, и на масштабе это тысячи в день. половина оптимизации ии-систем — это не магия, а «перестаньте отправлять лишние токены».

о чём спросить подрядчика

• «посчитайте себестоимость одного обращения в токенах и рублях при моих объёмах» — если подрядчик не может, он не проектировал систему под нагрузку, а собрал демо.
• «что вы делаете, чтобы не гонять лишние токены — кэширование, короткие промпты, выбор модели подешевле для простых шагов?» — по ответу видно, думал ли человек про ваши деньги.