AI: дайджест за 5 июля 2026
1. HOLA: «гиппокамп» для линейного внимания с точной эпизодической памятью
В работе «A Hippocampus for Linear Attention» предложена архитектура Hippocampal Linear Attention (HOLA): к рекуррентной state-space основе добавляется небольшой точный KV-кэш, который сохраняет наиболее «удивительные» токены по метрике из остатка дельта-правила. Это снижает перплексию на Wikitext-103 на 16,1% и позволяет масштабироваться до 32k контекста при почти нулевых накладных расходах по параметрам и памяти, закрывая слабое место линейных моделей в ассоциативном поиске.
Источники: t.me/gonzo_ML
