контекстное окно

что это

модель не помнит ничего между разговорами и держит в голове только то, что лежит в контекстном окне прямо сейчас. аналогия: рабочий стол. можно разложить на нём документы и работать со всеми сразу, но стол конечный — когда места нет, что-то приходится убирать. «модель забыла, о чём мы говорили час назад» — это не глупость, это старые сообщения вытеснились со стола.

размер окна меряют в токенах: у современных моделей — сотни тысяч и больше, то есть сотни страниц текста. звучит как «влезет всё», но есть нюанс: чем больше в окне намешано, тем хуже модель находит нужное. как и с реальным столом — на заваленном работать можно, но искать неудобно.

зачем это бизнесу

контекстное окно определяет архитектуру решения и счёт. хотите, чтобы бот отвечал по вашей базе знаний? вариант «положить всю базу в контекст при каждом вопросе» — работает, но вы платите за все эти токены каждый раз, и качество плывёт. вариант «находить и подкладывать только релевантные куски» — это rag, стандартное решение. понимая это, вы сможете отличить осмысленную архитектуру от «мы всё запихнули в промпт, вроде отвечает».

о чём спросить подрядчика

• «что попадает в контекст при каждом запросе и сколько это токенов?» — если ответ «вся база знаний», спросите, что будет со стоимостью и качеством, когда база вырастет втрое.
• «как система поведёт себя в длинном диалоге — что будет, когда история перестанет влезать?» — правильный ответ содержит стратегию: суммаризация истории, обрезка, а не «ну, окно большое».