🌋 NM Quad + KAN + JVP (Rukallama): Аппаратная Удача или Как Мы "Взломаем" Обучение AI 🌋

Привет, синтеты!

НАконец-то есть подробности по теме общения с НТЦ "Модуль"! И это не просто "мы договорились о железке". Это история о том, как две, казалось бы, несвязанные технологии из самого авангарда AI внезапно нашли свой идеальный дом в российской архитектуре.

Многие из вас знают, что я пилю Rukallama — языковую модель, построенную на принципах сетей Колмогорова-Арнольда (KAN). В текущей реализации путём гейтинга можно настраивать долю работы KAN в общей сетке. Придётся теперь переделать полностью под efficient-kan так, чтобы KAN (Колмогорова-Арнольда b-splines) работали на 100%. Почему? Моя цель — не просто аппроксимация, а символьная регрессия. То есть, заставить нейросеть не просто выдавать ответ, а выводить саму формулу, по которой этот ответ получен. Это святой грааль интерпретируемости AI.

И для этой задачи я искал подходящее "железо". И, кажется, я его нашел. И это не NVIDIA.
Почему? кхм...короче.

Ключевой замес: KAN, JVP и DSP

Давайте по полкам, но без духоты.

Проблема GPU: Современные видюхи — тупые качки. Они заточены под одну операцию — молотить гигантские матрицы (как в обычных Трансформерах). Обучение на них жрет мегаватты энергии и требует вагоны видеопамяти для хранения градиентов (backpropagation).

Наше решение (Алгоритм): Мы используем noise_step — метод обучения без backprop. Вместо градиентов он использует JVP (Jacobian-Vector Product). Говоря по-простому, он не тащит за собой весь мусор из прошлого, а умными пробами "нащупывает" правильный путь. Памяти на это нужно на порядки меньше. (самое важное и основное, супер киллер фича - отсутствие back propagation, которую надо адаптировать прям под железо).

Наше решение (Архитектура): Сети KAN, в отличие от тупых качков-трансформеров, внутри себя оперируют сложной математикой — B-сплайнами. Это "язык" цифровой обработки сигналов (ЦОС)!!!

И тут на сцену выходит NM Quad от НТЦ "Модуль".

Аппаратная Удача. Буквально.

Когда я впервые связался с разработчиками, они честно сказали: "Наш процессор заточен под большие матрицы, а у вас в KAN, наверное, куча мелких вычислений — будет неэффективно, наш конвейер порвется".

И они были бы на 100% правы, если бы речь шла о KAN двухлетней давности!

Но весь фокус в том, что современная, эффективная реализация KAN (efficient-kan), на которой и строится Rukallama, хитро упаковывает все эти мелкие вычисления в ДВА ОГРОМНЫХ МАТРИЧНЫХ УМНОЖЕНИЯ!

То есть, мы даем их архитектуре именно ту работу, для которой она и создавалась! Проблема "срыва конвейера" просто исчезает.

И вот что мы получаем на выходе.

Идеальный шторм:

Вычисления: Мы загружаем DSP-ядра NM Quad их родной работой — сложной математикой и большими матрицами, где они показывают себя лучше GPU.

Точность: Мы можем использовать режим FP64, который критичен для стабильности KAN, и который у игровых GPU кастрирован.

Память: Нам не нужны 80ГБ VRAM. Наш алгоритм умещается в 20ГБ памяти NM Quad с огромным запасом.

Энергия: Мы обучаем модель, потребляя 80 Вт, а не 500. Почувствуйте разницу.

Что это значит для всех нас?

Это значит, что у нас в руках оказалась уникальная связка российского железа и передового мирового алгоритма, которая не просто "не хуже", а фундаментально эффективнее мейнстримных решений в этой конкретной, но самой перспективной нише AI.

Rukallama — нашла свой новый рукалламин дом, возможно это первая хардварно-софтовая реализация KAN в нашей стране. Я буду активно всем этим заниматься.

На чем тесты?

На данный момент мне идёт через СДЭК вот эта модель: NM Card MINI (5гб)
Получу я её в пользование уже после завтра. Сразу же приступлю к написанию новых версий Rukallama и начну тестировать возможности. Если гипотеза подтвердится, то нас ждут интересные новости ❤️

Перспективы?

Парочка NM Quad в пользование и тесты на пару месяцев чтобы устаканить proof-of-concept и продвинуть отечественный ИИ уже на собственной технической базе. Мечта...