Transformer²: Самоадаптирующиеся трансформеры

Статья демонстрирует силу LLM, которая может самостоятельно адаптировать свои веса к своей среде. Вероятно в будущем граница между «предварительным обучением» и «после обучения» исчезнет, ​​и наши модели и агенты будут постоянно адаптироваться и самосовершенствоваться. Такие системы проложат путь для нового поколения адаптивного ИИ, способного изменять свои собственные веса и архитектуру, чтобы адаптироваться к изменяющейся природе задач, с которыми они сталкиваются в среде.

https://arxiv.org/abs/2501.06252

https://sakana.ai/transformer-squared/

«TinySwallow-1.5B» - отличный пример того что эффективная языковая модель это не всегда облачный сервис. Это может быть локальным продуктом даже на смартфоне без необходимости доступа в интернет.

Новый метод извлечения знаний под названием «Временно адаптивная интерполированная извлечение (TAID)» эффективно переносит знания из крупномасштабных языковых моделей (LLM) в более мелкие модели. Этот метод обеспечивает эффективную передачу знаний путем переноса знаний из крупномасштабной модели в соответствии с процессом обучения маломасштабной модели. Данное исследование было принято на ICLR 2025 — международной конференции в области машинного обучения.
Используя TAID, были перенесены знания из 32B параметров LLM в мелкомасштабную языковую модель с 1,5B параметрами, что составляет около 1/20 размера LLM. Затем превратилось в японскую модель TinySwallow. Компактный «TinySwallow-1.5B» позволяет вам общаться прямо на вашем смартфоне или ПК, не прибегая к внешнему API.
Демо: https://pub.sakana.ai/tinyswallow/
Бумага: https://arxiv.org/abs/2501.16937
ГитХаб: https://github.com/SakanaAI/TAID

Сверточная нейронная сеть (CNN) предсказывающая рукописные цифры. Все полностью на glsl и шейдерах. Модель состоит из 2023 параметров и слои активации отображаются по мере рисования
https://www.shadertoy.com/view/msVXWD

Интерактивная визуализация сверточной нейронной сети
можно смотреть что именно происходит на каждом шаге прямо в браузере
https://poloclub.github.io/cnn-explainer/

PolyDiff: Создание 3D-полигональных сеток с использованием моделей диффузии»

Модель работает непосредственно с полигонами трехмерных сеток и генерирует новые формы в качестве выходных данных посредством итеративного процесса диффузии.
arxiv.org/abs/2312.11417
https://youtu.be/Dzdu4cQlS2k

Исследуйте модели трансформеров в вашем браузере

Интерактивная система визуализации, призванная помочь исследователям и практикам NLP анализировать и сравнивать весовые коэффициенты внимания в моделях на основе трансформаторов с лингвистическими знаниями.
https://poloclub.github.io/dodrio/

Модель трансформера с интерактивной визуализацией
https://poloclub.github.io/transformer-explainer/