🌟 Mixture-of-Recursions: концепция селективного ризонинга.

Архитектура Mixture-of-Recursions (MoR), предложенная Google в соавторстве с KAIST AI объединяет в едином фреймворке традиционные подходы разделения параметров и адаптивные вычисления, заставляя модель думать над каждым токеном с разной глубиной.

Под капотом MoR - рекурсивный трансформер, который прогоняет входные данные через один и тот же блок слоев несколько раз. Но главная фишка в том, что количество этих прогонов, или глубина рекурсии, не фиксированное, а динамическое и определяется для каждого токена индивидуально.

Легковесный обучаемый роутер анализирует токен и решает, сколько вычислительных усилий на него потратить. Простые слова могут пройти всего один цикл рекурсии, в то время как семантически нагруженные термины отправятся на более глубокую обработку из нескольких циклов.

Это дает два главных преимущества:

🟢Во-первых, модель тратит вычислительные ресурсы только на те токены, которые все еще активны на данной глубине рекурсии. Токены, которые вышли раньше, в дальнейших вычислениях не участвуют. Это уже само по себе сокращает объем вычислений.

🟢Во-вторых, что самое интересное для инженеров, MoR позволяет реализовать очень эффективное KV caching. Вместо того чтобы хранить в памяти огромный кеш для каждого виртуального слоя, модель кеширует KV-пары только для активных в данном цикле рекурсии токенов. Это кардинально снижает требования к памяти и ускоряет инференс, решая одну из главных головных болей при развертывании LLM.

При одинаковом бюджете на обучение (в FLOPs) и меньшем размере самой модели MoR показывает более низкую перплексию и лучшие результаты в few-shot задачах, чем стандартные и рекурсивные аналоги.

▶️ Попробовать MoR можно на практике - код для трейна и оценки доступен в репозитории проекта на Github.


📌Лицензирование: Apache 2.0 License.


🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Architecture #MoR

🚀 MLE‑STAR от Google Research — новый state‑of‑the‑art агент для ML-инжиниринга

Google представил MLE‑STAR — агент на основе LLM, который автоматизирует ML-задачи разных типов (табличные данные, изображения, текст и др.) и достигает высот в сравнении с предыдущими подходами.

Что нового:

• Использует веб‑поиск для поиска современных моделей и примеров кода, чтобы создать начальное решение
• Делает абляционный анализ (ablation study), чтобы определить наиболее влиятельный компонент в ML-пайплайне, и итеративно дорабатывает его
• Развивает энсемблирование: генерирует несколько решений и собирает их в одно улучшенное, опираясь на стратегию агента
• Включает модули контроля: дебаггер, проверку утечек данных и контроль использования всех источников данных, чтобы избежать плохих практик

🧪 Результаты:
MLE‑STAR выигрывает медали в 63–64 % из бенчмарка MLE‑Bench‑Lite (Kaggle), обгоняя лучшие существующие методы (~25–26 %)

🛠 В чем плюсы:
- Снижает порог входа в ML для инженеров и организаций
- Обеспечивает адаптивность: агент извлекает свежие знания из сети, поэтому решения автоматически улучшаются с развитием ML
- Открытый исходный код — можно протестировать или встроить в собственные пайплайны

💡 Как работает:
1. Поиск нужных моделей через веб
2. Генерация и слияние лучших кандидатов
3. Абляционный анализ → выбор блока → уточнение этого блока
4. Итеративное улучшение и объединение ансамблей
5. Контрольные модули: дебаг, утечки, использование данных

🔜 Подробнее

@machinelearning_interview

#Google #GoogleResearch #ml #mle #llm