Сигнал из хука LLMScience: материал по Harness Engineering — проектированию инфраструктуры для ИИ-агентов. В фокусе не «какая модель умнее», а то, что вокруг модели: контекст и память, инструменты и MCP, оркестрация, разрешения, валидация, наблюдаемость, обработка ошибок. Документ прямо полезен тем, кто уже сидит в Claude Code и Codex. Витрина — vibe-studio.uk.
Соседи: JIT agent harness, структура репо ИИ-приложения, кеш субагентов Claude Code, CABRA: где ломаются агенты.
Harness — это не модель
Модель отвечает на токены. Harness решает: какие файлы попали в контекст, какие инструменты разрешены, кто оркестрирует субагентов, как ловятся ошибки и как вы видите трассировку. Claude Code и Codex ощущаются «умными» во многом потому, что harness уже собран: рабочая директория, shell, диффы, политики, циклы retry.
Если вы меняете только system prompt и ждёте чуда — вы крутите 10% системы. Harness Engineering предлагает смотреть на остальные 90%.
Контекст и память
Темы из материала: как агент помнит задачу между шагами, что выкидывается из окна, где лежит долговременная память. На практике это:
- сжатие истории и summary между ходами;
- явные «источники истины» (README, ADR, тесты), а не весь монорепо в промпт;
- отдельный бюджет под субагентов — см. соседний разбор TTL кеша субагентов.
Без политики контекста даже сильная модель тупеет на шаге 15: забыла контракт API и переписала половину модуля.
Инструменты и MCP
Harness даёт агенту руки: файлы, терминал, браузер, тикеты, БД. MCP (Model Context Protocol) — способ подключать эти руки единообразно. Инженерный вопрос не «подключить всё», а:
- минимальный набор инструментов под задачу;
- чёткие схемы входа/выхода;
- отказ по умолчанию на опасных действиях (prod DB, rm -rf, внешний SSH).
Чем шире toolbelt без политики, тем выше шанс, что агент «решит задачу» через дыру — см. ниже про разрешения и соседний кейс overnight sandbox.
Оркестрация агентов
Один агент пишет код. Несколько — делят роли: исследователь, реализатор, ревьюер. Harness Engineering описывает, как их стыковать: очереди, handoff контекста, кто имеет право мержить. На практике в Claude Code это субагенты и advisor-паттерны; в своих системах — явный граф шагов, а не «запусти трёх и молись».
Оркестрация без наблюдаемости слепа: вы не отличите «модель тупит» от «субагент не получил нужный файл».
Безопасность и разрешения
Материал отдельно поднимает permissions. Для вайб-кодинга это:
- allowlist путей и команд;
- сеть: когда агенту вообще нужен интернет (и когда вреден) — рядом агенты без интернета;
- human-in-the-loop на деструктивных шагах.
Harness, который «для удобства» ставит auto-approve на всё, экономит клики ценой инцидента. Разбор разрешений Claude: auto-permissions и снос диска.
Валидация, observability, ошибки
Три слоя, без которых агент в проде — лотерея:
- Валидация — тесты, линтеры, schema на выход инструмента, приёмка до merge.
- Observability — трассировка шагов, latency, стоимость токенов, какой tool вызван.
- Ошибки — retry с бюджетом, эскалация человеку, а не бесконечный цикл «ещё раз с тем же промптом».
CABRA от Microsoft показывает, где агенты ломаются по сложности задач: CABRA. Harness как раз и должен ловить эти точки до продакшена.
Что сделать на этой неделе
- Выпишите, какой harness у вас уже есть (Claude Code / Codex / свой).
- Закройте дыры: сеть, shell, секреты — явный deny по умолчанию.
- Добавьте один слой валидации после каждого крупного хода агента.
- Разложите репо по зонам ответственности — ориентир продакшен-структура.
- Не копируйте «ещё один GPT-враппер»: сначала harness, потом смена модели.
Коротко
Harness Engineering — про инфраструктуру агента, не про выбор «самой умной» LLM. Контекст и память, MCP-инструменты, оркестрация, разрешения, валидация и observability — то, что делает Claude Code и Codex рабочими продуктами, а не демо-чатом. Усильте harness раньше, чем снова смените модель. Источник — материал по Harness Engineering из LLMScience (док про устройство агентов).