Анализ трансформеров и рекурсивных алгоритмов
Исследование показывает ограничения трансформеров в обобщении рекурсивных алгоритмов.
- Трансформеры демонстрируют слабые результаты в обобщении рекурсивных алгоритмов.
- Модели не способны эффективно работать с различными длинами последовательностей.
- Каждая длина требует отдельного обучения, что снижает универсальность.
- RNN и SSM показывают лучшие результаты в данной области.
- Важность правильного induction