Контекст является бюджетом внимания
Reasoning работает по тому, что видит, а видит он ограниченное окно. Большое context window не значит, что любой объём данных одинаково полезен: задача инженера - выбрать минимальный набор высокосигнальных tokens под конкретный шаг.
Полезно различать, что вообще попадает в context.
- Стабильное - system instructions, определения tools, glossary, сводка policy, output schema.
- Динамическое - текущий запрос, session state, retrieved chunks, tool results, временный план.
- История - только те сообщения и события, что реально меняют решение на текущем шаге.
Большинство проблем с контекстом - это привычка отправлять всё подряд. У каждой есть рабочая замена.
- Длинная переписка. Вместо "каждый раз слать всё" - факты в state, summary с provenance и последние релевантные turns.
- Большая база знаний. Вместо "вставить документы целиком" - hybrid retrieval, фильтры, rerank и компактные chunks.
- Много tools. Вместо "загрузить сотни schemas" - минимальный набор, namespaces или deferred tool search.
- Долгая agent task. Вместо надежды на чат-историю - явный план, checkpoints, artifacts и resumable state.
- Повторяющийся prefix. Вместо смены порядка секций каждый раз - стабильные данные в начале, ради prompt caching.
Отдельно про размещение длинных данных. Anthropic и Google советуют класть большой корпус до конкретного вопроса, а саму задачу формулировать ближе к концу.
<documents>
{{long_context_with_source_metadata}}
</documents>
# Task
На основе документов выше сравни две политики.
Для каждого различия укажи source_id и дату действия.
Если версии нельзя упорядочить по дате, верни policy_conflict.Это не универсальный закон для любого API, а разумная стартовая конфигурация для длинных документов, которую стоит подтвердить на своих evals. И память - не то же самое, что истина.
Memory не равна истине. Сводка прошлой беседы может содержать ошибку. Храните факты отдельно от интерпретаций, добавляйте provenance и не позволяйте памяти повышать права пользователя.
Сводка прошлой беседы говорит, что клиенту одобрен возврат. Можно ли на неё опереться?