Глава 4

Выберите простейшую систему, которая проходит eval

Когда "хорошо" определено, возникает соблазн сразу строить агента. Но сила модели не отменяет архитектуру - она позволяет её упростить. Правило простое: берите лучшую доступную модель и минимальный harness, а усложняйте только под конкретный наблюдаемый failure mode.

Ориентироваться удобно по сигналу задачи - он подсказывает, с чего начать и чего пока не добавлять.

  • Один вход и один проверяемый результат - хватит одного вызова со schema. Agent loop здесь лишний.
  • Нужны доменные знания - retrieval плюс один вызов, а не исследовательская команда агентов.
  • Есть чёткие последовательные этапы - workflow в коде, а не LLM-оркестратор ради порядка шагов.
  • Надо выбрать один из стабильных маршрутов - классификатор или router, а не свободное планирование.
  • Путь меняется по промежуточным открытиям - агент с tools и max steps, но не неограниченная автономность.
  • Есть независимые дорогие ветви - parallel workers и synthesizer, а не общий чат всех агентов.

Логика во всех строках одна: добавляем ровно тот механизм, который требует задача, и ни одним больше.

Сначала сильная модель. Эвристика Anthropic: прогнать минимальный prompt на лучшей модели, потом добавлять только то, что чинит найденные ошибки. Когда система стабилизировалась, можно измерять, какие запросы безопасно отдать модели подешевле.

Ссылки