📢 Всем привет!

🙋 Меня зовут Миле Митрович и я рад приветствовать вас на канале "ML with MiLE"

🧑‍💻🧑‍🎓 Я исполнительный директор по исследованию данных в Sber AI Lab (Сбербанк). Обладатель PhD в области искусственного интеллекта. Являлся соучредителем 3 стартапов в области искусственного интеллекта в Германии, Сербии и Канаде. Родом из Сербии, но уже несколько лет прожил в Москве. Являюсь членом Serbian AI Society.

📢 На этом канале буду делится новостями из мира искусственного интеллекта и своей жизнью инженера и исследователя.

🙂 Присоединяйтесь!

📢 Alibaba обучила QwQ 32b с RL который достигает уровень Deepseak-R1 671b в ризонинг и кодинг. Это означает, что 20 раз меньшая модель достигает тоже самую точность. 🤔

👌 Также говорят что они активно исследуют использование агентов с RL чтобы обеспечило long-horizon резонинг с масштабированием времени инференса

https://qwenlm.github.io/blog/qwq-32b/

📢 Inception Labs представила Mercury, первую коммерческую диффузионную LLM, которая генерирует текст параллельно, а не последовательно, как другие авторегрессионные модели.

👉 Таким образом, она делает инференс с очень высокой скоростью. Она может генерировать более 1000 токенов в секунду на GPU H100, что в 5-10 раз быстрее авторегрессионных LLM

👌 Тесты показывают, что генерирует токены очень быстро. Похоже на будущее LLM-ках

https://www.inceptionlabs.ai/

Привет всем!

📢 Сегодня в 17ч в ТеДо состоится панельная дискуссия по LLM-Агентах. В том числе один из спикеров буду я.

👉 Присоединяйтесь по ссылке

📢 В понедельник (10. марта) в Технологии Доверия (ТеДо) прошла  панельная дискуссия на тему LLM-агентах.

⚡Среди спикеров, таких как Юрий Симонов, Валентин Малых, Марк Паненко и Антон Воронов, я принял участие.

👆Не много атмосфери можно увидет на видео.

👌 Большое спасибо Юрию и команде ТеДо за отличную организацию!

📢 Уже завтра в Сколково пройдет IT Purple Conf.

🥁 Я буду одним из спикеров, где буду рассказывать на тему LLMs и AI Agents.

🤝 Если вы будете на конференции завтра, буду рад встретиться!

📢 Yann LeCun и его команда представили Dynamic Tanh (DyT) в качестве замены традиционных слоев нормализации в моделях глубокого обучения. Этот новый подход, основанный на функции масштабированного tanh, показывает производительность, сравнимую или превосходящую такие методы, как LayerNorm и RMSNorm. Самым захватывающим аспектом является его потенциал для снижения вычислительных затрат при сохранении эффективности модели.

🤔 DyT заменяет слои нормализации масштабированной функцией tanh (tanh(αx)), где параметр α (альфа) управляет коэффициентом масштабирования функции tanh. DyT имитирует поведение слоев нормализации, сжимая экстремальные значения, сохраняя линейный центр

Преимущества:
👉 DyT снижает затраты на обучение и инференс.
👉 Требуется только один обучаемый параметр масштабирования (α).
👉 Работает быстрее, чем RMSNorm на графических процессорах H100

После моего выступления на открытом семинаре Sber AI Lab (6. марта) было много хороших отзывов и вопросов о записи.

👉 Запись выступления вы можете посмотреть сейчас по ссылке.

🥁 Майские праздники давно прошли и пришло время новых рабочих побед. Уже завтра стартует Data Fest, но в этом году впервые у меня дома в Сербии в Белграде 🥳 🇷🇸

🤝 Буду рад встрече, если вы планируете приехать на трек в Белград! Если нет, ждите фотографии атмосферы из Белграда 👌

А вы собираетесь посетить Data Fest в этом году?