Хук из LLMScience: работа про Falcon / Fast Weight Attention (ByteDance Seed + Princeton/Tsinghua и др., arXiv 2608.27763). Идея в одном предложении: модель может доучиваться на инференсе через fast-weight память фиксированного размера, вместо того чтобы бесконечно раздувать KV-кэш. Это не обзор учебника и не «ставь Falcon в прод завтра» — эксперименты на масштабе порядка ~130M параметров. Угол для вайб-кодера: почему длинные агенты упираются в KV-стену и что означает фиксированное состояние для harness’ей, роутеров и локальных кластеров.
Соседи: NVIDIA PAIR, JIT-Agent harness, pass@k / pass^k, TTFT и инференс, Qwen локально на 3090. Dwarkesh / HuggingFace exploit deep-dive сознательно пропускаем — вне скоупа блога.
Какую боль агента это вообще трогает
Длинный вайб-агент (Claude Code, Codex, свой harness) живёт в мире, где «память шага» = контекст + KV-кэш. Чем дольше прогон, тем:
- больше токенов на вход каждого следующего шага;
- выше латентность и стоимость (см. угол TTFT);
- сильнее давление выкинуть старое — и агент «забывает» acceptance mid-run;
- чаще хочется просто поднять окно до 1M и надеяться (соседняя тема пачки про Codex/Astra).
Классический Transformer с растущим KV хорошо масштабируется по качеству на длинном контексте до тех пор, пока ты готов платить памятью и временем. Fast Weight Attention ставит другой акцент: держать адаптивное состояние фиксированного размера и обновлять его на инференсе — continual / online learning at inference, размытие границы train/inference (Test-Time Learning).
Fast Weight Memory одной рабочей метафорой
Грубо (без претензии на конспект статьи):
- KV-кэш — дневник, который толстеет с каждой страницей. Читать всё подряд становится дорого.
- Fast weights — блокнот фиксированной толщины: новые наблюдения переписывают состояние, а не дописывают бесконечный хвост.
Для агентного harness’а метафора важнее формул: ты уже интуитивно делаешь что-то похожее руками — суммаризируешь историю, выкидываешь сырые логи, оставляешь «карту репо». Исследование спрашивает: а может ли сама архитектура внимания нести сжатое адаптивное состояние, которое учится по ходу последовательности?
Это не замена тебе как постановщику цели. Это намёк, что будущие рантаймы агентов могут меньше зависеть от «просто дайте миллион токенов контекста».
Цифры из хука — ориентир масштаба, не бенчмарк прод-модели
Из сигнала LLMScience / бумаги (ориентиры эксперимента, не маркетинг SaaS):
- эксперименты около ~130M параметров — это research-scale, не «замени GPT/Claude в IDE»;
- на number-add extrapolation: Transformer около 65.8% vs Falcon-3A около 87.2%;
- на 48-значных числах: порядка 49% vs 69%.
Читай цифры правильно: они показывают, что на задаче экстраполяции длины фиксированное fast-weight состояние может бить обычный Transformer-baseline. Они не говорят «завтра Falcon закроет твой монорепо лучше Codex». Перенос на code-agents — гипотеза уровня архитектуры, не ready-made drop-in.
Почему вайб-кодеру не «гнать Falcon в прод завтра»
- Масштаб. 130M — другой мир относительно моделей, которыми ты пишешь код ежедневно.
- Стек. У тебя уже есть Claude Code / Codex / локальный Qwen — с тулами, харнессами, квотами.
- Оценка. Number-add ≠ зелёный e2e на фиче. Для приёмки агентов смотри pass@k и pass^k, а не только paper-accuracy.
- Операционка. Локальный кластер и роутинг инференса — про PAIR и железо, не про замену attention в чужой закрытой модели — см. NVIDIA PAIR и Qwen на 3090.
Правильная реакция на хук: обновить ментальную модель «память агента», не форкнуть репо в пятницу вечером.
Что это меняет в голове про harness
JIT-Agent уже учит: тащи в контекст только то, что нужно сейчас. Fast weights в исследовании — аппаратно-математический родственник той же идеи: адаптация без бесконечного дневника.
Практические следствия для твоих прогонов уже сегодня (без ожидания Falcon в API):
- Сжимай состояние явно. После смены гипотезы — короткий brief «что решили / что запрещено», а не хвост из десяти неудачных диффов.
- Отделяй факты от проб. Факты (карта модулей, failing test) держи; пробы (отвергнутые подходы) выкидывай.
- Не лечи KV-боль только шириной окна. 1M помогает, но это плата; архитектура прогона важнее.
- Считай латентность. Каждый лишний блок в контексте бьёт TTFT и стоимость шага.
- Оценивай стабильность. Модель, которая «иногда умеет» (pass@k), всё ещё может врать на повторе (pass^k) — test-time learning в статье не отменяет эту рамку.
Train/inference boundary и Test-Time Learning
Классическая сказка: обучение закончилось → веса заморожены → инференс только читает. Агентный мир давно её нарушает снаружи: RAG, память диалога, tool results, fine-tune на лету. Falcon Fast Weight бьёт в ту же тему изнутри внимания: состояние может обновляться по ходу последовательности как форма online learning.
Для вайб-кодера перевод:
- «модель выучила мир» ≠ «агент выучил твою задачу»;
- то, что агент «понял» репо за час, живёт в контексте/памяти сессии — и дорого хранится;
- будущие рантаймы, возможно, будут носить часть этого понимания в компактном состоянии, а не только в сыром чате.
Пока этого нет в твоём IDE-стеке как кнопки — имитируй снаружи: structured memory, краткие state files, harness, который обновляет summary вместо dump’а всего лога.
Связка с локальным инференсом и роутингом
Если ты уже крутишь локальные модели для кода, узкое место часто не «умность 7B», а как долго держать сессию тёплой без убийства VRAM. Фиксированный state vs растущий KV — как раз язык этой боли. PAIR раскидывает инференс по LAN; Qwen на 3090 даёт локальную полку; TTFT объясняет, почему длинный префилл бесит. Fast Weight — research-намёк, что архитектуры могут стать добрее к длинным агентным сессиям. Не путай намёк с доступным сегодня продуктом.
Антипаттерны чтения таких хуков
- «Accuracy 87% → переезжаем прод на Falcon».
- «Значит KV-кэш умер» — нет, он жив в каждом твоём API-вызове.
- «Test-time learning = можно не писать acceptance» — наоборот, без критерия нечего «доучивать».
- Склеивать с exploit/hype-тредами недели — мы их пропускаем сознательно.
- Игнорировать, что 130M и code-agent — разные дивизионы.
Короткий вывод
Falcon Fast Weight Attention (arXiv 2608.27763) — research-сигнал: фиксированная fast-weight память и обучение на инференсе могут обходить часть боли растущего KV на длинных последовательностях. Цифры вроде 65.8%→87.2% на number-add и 49%→69% на 48 цифрах — про экстраполяцию на малом масштабе (~130M), не про замену твоего IDE-агента. Для вайб-кодера вывод практический: проектируй harness и память сессии так, будто бесконечный дневник всегда дорог; сверяй агентов через pass@k/pass^k; локаль и роутинг держи на PAIR / Qwen. Не жди кнопку «Enable Falcon» в пятницу — обнови модель мышления про состояние агента.