От промпта к контексту

Пока LLM использовали для разовых вопросов, качество ответа определялось формулировкой промпта. В ассистентах и агентах модель на каждом шаге получает гораздо больше, чем инструкцию:

Слой контекста Что в нём Кто за него отвечает
Системные инструкции Роль, тон, запреты, правила ответа Продуктовая команда
Данные Карточки товаров, найденные через RAG Поиск и фид
История Реплики текущего диалога Приложение
Инструменты Описания функций, которые можно вызвать через function calling Разработка
Память Предпочтения покупателя из прошлых сессий Профиль и хранилище

Контекст-инжиниринг — это работа со всеми слоями сразу: что взять, сколько, в каком порядке и что не брать.

Базовые приёмы

LangChain в июле 2025 года разложил практики на четыре группы; к ним стоит добавить порядок.

  • Запись. Сохранять сведения вне окна, чтобы вернуть их позже: заметки агента, саммари сессии, память агента.
  • Отбор. Подтягивать в окно только нужное: 10–20 релевантных карточек вместо категории целиком, 2–3 инструмента вместо всех.
  • Сжатие. Оставлять только токены, нужные для задачи: саммари старых реплик, короткие карточки без HTML-разметки.
  • Изоляция. Делить задачу между подагентами с отдельными чистыми окнами — например, поиск совместимых аксессуаров отдельно от основного диалога.
  • Порядок. Модели хуже используют середину длинного входа («Lost in the Middle», Liu et al., 2023), поэтому правила ставят в начало, а текущий вопрос — в конец контекстного окна.

Практика: контекст шопинг-ассистента

Класть в контекст Не класть
Правила ответа и мерчандайзинга: приоритетные бренды, запрет на товары без наличия Весь каталог или категорию целиком
Текущий запрос и последние реплики диалога Полную историю всех прошлых сессий
10–20 карточек: название, цена, наличие, 3–5 ключевых атрибутов Полные HTML-описания и SEO-тексты
Корзину и выбранные фильтры Сырые логи событий
Краткую сводку предпочтений: размер, бюджет, любимые категории Телефон, адрес и другие персональные данные, не нужные для ответа
Описания инструментов, нужных на этом шаге Цены и наличие из прошлых реплик без обновления

Важно: каждое изменение контекста — это изменение продукта. Новые правила, другой набор полей карточки или другой объём истории сравнивают A/B-тестом по конверсии и выручке на визит, а не на глаз.