Сигнал из хука LLMScience (~1102): Hugging Face завершила серию Training Agents — шесть практических воркшопов про оценку и обучение ИИ-агентов. Путь в ленте: бенчмарки → SFT на трассах → дистилляция → GRPO → обучение в реальных средах. Финал: среда на OpenEnv, связка с TRL, агент для программирования OpenCode через Harbor в песочницах HF. Плейлист бесплатный (в хуке — 300k+ просмотров), код открыт. Цифры просмотров — сигнал канала.

Соседи: pass@k / pass^k, JIT-Agent harness, RL на Mac mini, изоляция sandbox. Витрина — vibe-studio.uk; трафик — TG Lead Finder.

Чем это не является

Что сказал хук простыми словами

Сначала меришь агента (бенчмарки, трассы), потом учишь (SFT, дистилляция, GRPO), потом сажаешь в среду (OpenEnv + Harbor) и снова меришь. Финальный пример — кодовый агент OpenCode, не чат-бот «просто ответь».

Eval→train как привычка вайб-кодера

  1. Без метрики нет обучения. Сначала критерий (тесты, pass@k), потом fine-tune.
  2. Трассы важнее промпт-фольклора. SFT на реальных прогонах.
  3. Среда = правда. Песочница/Harbor ловит то, что чат скрывает.
  4. Открытый плейлист — учебник, не пресс-релиз: смотри и повторяй кусок.

Связка с pass@k и sandbox

pass@k — язык оценки; серия HF — как от оценки перейти к обучению. Sandbox напоминает: среда для train ≠ дырявый прод.

Как взять кусок за вечер (без выдумок)

  1. Открой плейлист из хука, выбери один воркшоп (eval или SFT).
  2. Повтори минимальный пример из их репо, не весь GRPO сразу.
  3. Acceptance: свой прогон метрики до/после на одной задаче.
  4. Не утверждай цифры HF сверх «серия есть, код открыт».

Когда серия бесполезна прямо сейчас

Антипаттерны

Чеклист

  1. Понял цепочку eval → SFT/GRPO → среда?
  2. Взял один воркшоп, не все шесть?
  3. Есть своя метрика до/после?
  4. Sandbox не выключен «для удобства»?
  5. Не выдаёшь хук за paper-review?

Коротко

Хук LLMScience: HF Training Agents закрыли цикл от бенчмарков до OpenCode в Harbor. Урок — eval→train в среде, не ещё один чат. Витрина — vibe-studio.uk.