Выберите простейшую систему, которая проходит eval
Когда "хорошо" определено, возникает соблазн сразу строить агента. Но сила модели не отменяет архитектуру - она позволяет её упростить. Правило простое: берите лучшую доступную модель и минимальный harness, а усложняйте только под конкретный наблюдаемый failure mode.
Ориентироваться удобно по сигналу задачи - он подсказывает, с чего начать и чего пока не добавлять.
- Один вход и один проверяемый результат - хватит одного вызова со schema. Agent loop здесь лишний.
- Нужны доменные знания - retrieval плюс один вызов, а не исследовательская команда агентов.
- Есть чёткие последовательные этапы - workflow в коде, а не LLM-оркестратор ради порядка шагов.
- Надо выбрать один из стабильных маршрутов - классификатор или router, а не свободное планирование.
- Путь меняется по промежуточным открытиям - агент с tools и max steps, но не неограниченная автономность.
- Есть независимые дорогие ветви - parallel workers и synthesizer, а не общий чат всех агентов.
Логика во всех строках одна: добавляем ровно тот механизм, который требует задача, и ни одним больше.
Сначала сильная модель. Эвристика Anthropic: прогнать минимальный prompt на лучшей модели, потом добавлять только то, что чинит найденные ошибки. Когда система стабилизировалась, можно измерять, какие запросы безопасно отдать модели подешевле.