Как устроено контекстное окно
Контекстное окно — это «рабочая память» модели на один запрос. Всё, что модель должна учесть, передаётся ей заново при каждом вызове и измеряется в токенах — фрагментах слов, на которые текст разбивает токенизатор. В окно входят:
- системные инструкции — роль ассистента, тон, запреты;
- описания инструментов, которые модель может вызвать;
- история диалога;
- данные, найденные поиском по каталогу;
- текущий вопрос покупателя;
- ответ модели, включая токены рассуждений, если они есть.
Размер окна: порядок величин
| Дата | Что известно | Источник |
|---|---|---|
| Февраль 2024 | Gemini 1.5 Pro: стандартное окно 128 тыс. токенов, до 1 млн в превью; у Gemini 1.0 было 32 тыс. | Блог Google |
| Сентябрь 2026 | Актуальные модели Claude — 1 млн токенов, часть предыдущих (например, Claude Sonnet 4.5) — 200 тыс. | Документация Anthropic |
Цифры меняются с каждым поколением моделей, поэтому архитектуру ассистента стоит строить так, чтобы она не зависела от конкретного размера окна.
Почему большое окно не решает задачу
- Стоимость. Входные токены оплачиваются в каждом запросе. Чем длиннее контекст, тем дороже каждая реплика диалога.
- Задержка. Длинный вход дольше обрабатывается на этапе инференса, а покупатель ждёт ответа в чате.
- Потеря в середине. В статье «Lost in the Middle» (Liu et al., 2023) модели лучше всего использовали сведения из начала и конца входа и заметно хуже — из середины. Anthropic называет общее падение точности с ростом контекста context rot.
Отсюда стандартное решение: не расширять окно, а отбирать в него данные через RAG. Что и в каком порядке класть в окно, решает контекст-инжиниринг.
Пример: бюджет окна шопинг-ассистента
Числа ниже условные — реальный расход считают токенизатором выбранной модели.
| Что кладём в окно | Токены (оценка) |
|---|---|
| Системные инструкции и правила мерчандайзинга | 1 500 |
| Описания трёх инструментов: поиск, корзина, статус заказа | 1 000 |
| История диалога, 8 реплик | 1 500 |
| 20 карточек товаров по 250 токенов | 5 000 |
| Ответ модели | 500 |
| Итого | 9 500 |
Такой запрос помещается в окно любой современной модели с большим запасом. Узкое место — не размер окна, а то, какие 20 карточек в него попали и сколько стоит каждая реплика.
Чек-лист:
- передавайте в карточке только нужные поля — название, цену, наличие, 3–5 ключевых атрибутов, а не полный HTML описания;
- ставьте правила и самые релевантные товары в начало, а текущий вопрос — в конец;
- сжимайте старые реплики в саммари, а долгосрочные сведения о покупателе храните вне окна — см. память агента;
- измеряйте токены на реплику так же, как задержку и конверсию: это прямая статья затрат.