AI: дайджест за 25 июля 2026

1. Loopie: рекуррентные MoE-LLM с compute-matched масштабированием

IQuest Research представили семейство Loopie — рекуррентные LLM с MoE и «зацикливанием» отдельных слоёв (layer-loop), где масштабирование подбирается так, чтобы сравнение с нерекуррентными бейзлайнами было честным при фиксированном вычислительном бюджете. Авторы утверждают, что при таком учёте рекуррентная глубина может быть более эффективным направлением масштабирования, а также даёт практический выигрыш по памяти активаций и утилизации GPU.

Источники: t.me/gonzo_ML

2. Anthropic выпустила Claude Opus 5: упор на кодинг и цену

Сообщается о релизе Claude Opus 5: модель показывает новый SOTA на Frontier-Bench v0.1 и заметный прирост относительно Opus 4.8, а на CursorBench близка к Fable 5 при заявленной вдвое более низкой стоимости. Также упоминаются сильный результат на ARC-AGI 3 и выводы внутреннего поведенческого аудита Anthropic о согласованности модели.

Источники: t.me/How2AI, t.me/cgevent, t.me/gonzo_ML, t.me/denissexy

3. CrossBERT от LeCun и соавторов: разделение репрезентации и реконструкции в текстовых энкодерах

В работе предложен CrossBERT — двудольная архитектура, которая отделяет обучение репрезентаций от реконструкции токенов, используя глубокий энкодер и лёгкий cross-attention предиктор, что позволяет повышать долю маскирования (≥50%). Заявлено, что это устраняет деградацию качества финальных слоёв при масштабировании BERT-подобных моделей и ускоряет обучение (до 1.68x), улучшая пригодность замороженных эмбеддингов для поиска и RAG.

Источники: t.me/gonzo_ML