rate limit

что это

провайдеры моделей ограничивают каждый аккаунт: столько-то запросов в минуту, столько-то токенов. упёрлись в потолок — следующие запросы получают отказ «слишком часто, подождите». аналогия: полоса на въезде. пока машин мало, все проезжают сразу; в час пик — очередь, сколько ни сигналь. лимиты у провайдеров растут вместе с историей трат аккаунта: новый аккаунт получает скромные, обжитой — просторные.

важно: это не поломка и не жадность, а нормальная механика любого api. вопрос только в том, учла её ваша система или падает от неё.

зачем это бизнесу

потому что лимиты бьют ровно в пиковый момент — когда пришла рассылка и триста клиентов написали боту одновременно, или ночная обработка документов разогналась на весь архив. плохо спроектированная система в этот момент молча теряет запросы: клиент не получил ответ, документ не обработался, в статистике дыра. хорошо спроектированная — ставит запросы в очередь, повторяет с паузой, а некритичное откладывает на потом. клиент подождёт три лишние секунды и не заметит. отдельный сюжет: лимиты — аргумент против ключа на аккаунте подрядчика, где вы делите полосу с другими его клиентами: их пиковый день может стать вашим простоем.

о чём спросить подрядчика

• «что происходит с запросом, который упёрся в лимит — очередь и повтор или потеря?» — правильный ответ произносится уверенно и содержит слово «очередь». мнётся — значит, узнает вместе с вами, в продакшене.
• «хватит ли лимитов нашего аккаунта на пиковую нагрузку и что делать, если нет?» — пиковую, не среднюю. запрос повышения лимитов у провайдера занимает время — об этом думают до запуска.