AI: дайджест за 10 мая 2026
1. FADE: попараметрический adaptive weight decay для continual learning
В работе «Learning to Forget» предложен FADE — online-алгоритм метаобучения, который назначает динамический коэффициент weight decay отдельно для каждого параметра, используя forward-mode дифференцирование. Это помогает лучше балансировать стабильность и пластичность в нестационарных потоках данных и, по описанию авторов, примерно вдвое снижает tracking error по сравнению со стандартными подходами вроде AdamW при вычислительной сложности O(d).
Источники: t.me/gonzo_ML
2. Рекурсия/looped transformers как тренд: меньше памяти и test-time scaling
В обсуждении рекуррентных/«looped» трансформеров (в духе Universal Transformer, HRM/TRM и более поздних работ) выделены два практических эффекта: заметно меньший memory footprint за счет шаринга весов по глубине и возможность улучшать качество на инференсе, увеличивая число итераций (test-time scaling). Также отмечено, что в обзорах темы часто упускают важные предшественники и более свежие работы, которые, по мнению автора, дают сильные результаты.
Источники: t.me/gonzo_ML
