Forwarded from Machinelearning
Исследователи из из Гонконгского университета и инженеры Alibaba научили LLM генерировать семантически разные ответы, заставляя их «думать» в ортогональных направлениях.
Наверняка каждый, кто работает с LLM, сталкивался с их любовью к самоповторам. Запрашиваешь несколько вариантов решения, а получаешь одну и ту же мысль, просто перефразированную.
Стандартные подходы к декодированию,
temperature sampling или diverse beam search, создают лишь лексическое разнообразие, но пасуют, когда требуется семантическое. Это серьезная проблема для Best-of-N или RLHF. Ведь без по-настоящему разных идей и подходов к решению задачи эти методы теряют свою силу: выбирать лучший вариант не из чего, а обучать модель на однотипных примерах неэффективно.Решение предложили в методе SemDiD (Semantic-guided Diverse Decoding). Его суть, если кратко, перестать играть с токенами на поверхности и начать управлять генерацией напрямую в пространстве эмбеддингов.
Сначала, на старте, он принудительно направляет разные группы beams по ортогональным векторам в семантическом пространстве. Грубо говоря, это как дать команду разным поисковым группам двигаться строго на север, юг и запад, чтобы они гарантированно разошлись.
По мере генерации, когда жесткие директивы могут стать неоптимальными, включается второй механизм -
inter-group repulsion. Он просто следит, чтобы смысловые траектории ответов не сближались, сохраняя их уникальность до самого конца.Но как, гоняясь за разнообразием, не получить на выходе бессвязный бред?
SemDiD подходит к контролю качества уникально. Он не пытается слепо максимизировать вероятность последовательности, а использует ее лишь как нижнюю границу, чтобы отсечь совсем уж плохие варианты.
Кроме того, алгоритм корректирует системные искажения, когда вероятность токенов искусственно завышается в зависимости от их позиции в тексте.
Для баланса между качеством и разнообразием используется адаптивный механизм на основе гармонического среднего, который в каждый момент времени уделяет больше внимания той метрике, которая проседает.
На бенчмарках для Best-of-N, от MMLU-Pro+ до GSM8K, SemDiD увеличивает покрытие (шанс найти верный ответ) на 1.4%-5.2% по сравнению с аналогами.
Генерируя для GRPO или RLOO семантически богатые наборы ответов, SemDiD предоставляет им более качественный материал для обучения. Это ускоряет сходимость на 15% и повышает финальную точность моделей.
@ai_machinelearning_big_data
#AI #ML #LLM #SemDiD
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤11👍7🔥4
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
Власти КНДР объявили о реформе системы образования, в рамках которой в ведущих университетах страны создаются новые специальности, связанные с искусственным интеллектом. Согласно официальной партийной газете «Нодон синмун», это нужно для подготовки талантов, необходимых для «требований времени».
Этот шаг подтверждает давний интерес страны к передовым технологиям. Исследовательский институт ИИ при Университете имени Ким Ир Сена уже заявил о цели «использовать технологию GPT для замены умственного труда человека». Ранее сообщалось об использовании в институте американского ChatGPT, а научные издания страны посвящали спецвыпуски этой технологии. Аналитики полагают, что Пхеньян намерен применять ИИ не только для технологического развития, но и для укрепления государственного контроля и в разведывательной деятельности.
Lianhe Zaobao
OpenAI готовится в течение нескольких недель запустить собственный веб-браузер с глубокой интеграцией искусственного интеллекта. Новый продукт будет построен на Chromium, но предложит уникальные функции: встроенное окно для общения в стиле ChatGPT и поддержку ИИ-агентов. Эти агенты смогут автономно выполнять задачи пользователей, от бронирования отелей до заполнения онлайн-форм.
Ключевая идея состоит в удержании пользователя внутри интерфейса браузера, а не перенаправлять на внешние сайты. как это происходит сейчаc в ChatGPT. Если OpenAI удастся привлечь хотя бы часть из 500 миллионов еженедельных пользователей ChatGPT, это может серьезно пошатнуть рекламную бизнес-модель Google, которая во многом опирается на данные, собираемые через Chrome.
reuters.com
Модель генерации изображений в стиле аниме основана на Stable Diffusion 1.5, генерирует в разрешении до 1024x1024 пикселей и использует предпоследний слой энкодера CLIP.
Diffusion Anime V2 распространяется под двойной лицензией, которая допускает только некоммерческое использование с обязательным указанием авторства. NovelAI напоминает, что V2 является устаревшей версией, а все новые модели остаются проприетарными и эксклюзивными для их веб-сервиса. Веса Diffusion Anime V2 доступны на Hugging Face.
blog.novelai.net
С 15 июля YouTube вводит более строгие правила для своей партнерской программы, нацеленные на борьбу с массово создаваемыми и повторяющимися видео. Это ответ сервиса на рост генеративных ИИ-инструментов, которые значительно упрощают производство подобного контента.
Хотя представители платформы называют это «незначительным обновлением» и утверждают, что такой контент и раньше не подлежал монетизации, новые правила вносят больше ясности. Ужесточение рассматривается как превентивная мера для защиты YouTube от наплыва низкокачественных видео, способных нанести ущерб репутации и ценности платформы.
techcrunch.com
Google начала развертывание своего ИИ-ассистента Gemini на умных часах, заменяя Google Assistant на носимых устройствах. Обновление уже доступно для Pixel Watch и в ближайшие недели появится на моделях от Samsung, OPPO, OnePlus, Xiaomi и других производителей под управлением Wear OS 4 или новее.
Новый ассистент на часах поддерживает текстовые, голосовые и графические запросы. Активировать Gemini можно привычной командой «Hey Google» или долгим нажатием боковой кнопки. Благодаря глубокой интеграции с сервисами Google, пользователи смогут выполнять многошаговые команды прямо с запястья: просить создать плейлист в YouTube Music или кратко изложить содержание последних писем в Gmail.
Вместе с этим, компания улучшила функцию визуального поиска Circle to Search, добавив в нее специальный "AI Mode" для получения контекстной информации. Улучшение доступно пока только для США и Индии на Android и iOS.
9to5google.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤2🔥2🥰2
🍏 Apple всерьёз задумалась о покупке Mistral — Bloomberg / Марк Гурман
По информации Bloomberg, Apple серьёзно рассматривает покупку французского стартапа Mistral AI, чтобы наконец войти в ИИ-гонку.
Это очень поздний шаг — но он показывает, насколько сильно Apple отстала от OpenAI, Google и даже xAI.
Пока другие выкатывают публичные LLM, мультимодальные ассистенты и интеграции в поиске, Apple остаётся в роли наблюдателя.
📌 Почему это важно:
- Mistral — один из главных open-source игроков на рынке ИИ (выпускают мощные LLM и Mixture of Experts-модели)
- У Apple пока нет ни собственной модели, ни сильной стратегии в области ИИ
- Приобретение Mistral может стать экстренной попыткой догнать конкурентов
Если сделка состоится — это будет крупнейший AI-манёвр Apple за всё время.
#Apple #Mistral #AI #LLM #ГонкаИИ
@machinelearning_interview
По информации Bloomberg, Apple серьёзно рассматривает покупку французского стартапа Mistral AI, чтобы наконец войти в ИИ-гонку.
Это очень поздний шаг — но он показывает, насколько сильно Apple отстала от OpenAI, Google и даже xAI.
Пока другие выкатывают публичные LLM, мультимодальные ассистенты и интеграции в поиске, Apple остаётся в роли наблюдателя.
📌 Почему это важно:
- Mistral — один из главных open-source игроков на рынке ИИ (выпускают мощные LLM и Mixture of Experts-модели)
- У Apple пока нет ни собственной модели, ни сильной стратегии в области ИИ
- Приобретение Mistral может стать экстренной попыткой догнать конкурентов
Если сделка состоится — это будет крупнейший AI-манёвр Apple за всё время.
#Apple #Mistral #AI #LLM #ГонкаИИ
@machinelearning_interview
❤6👍4🔥2
🚀 15 AI‑инструментов, которые стоит взять на вооружение
Подборка популярных инструментов, которые уже сегодня помогают создавать, автоматизировать и масштабировать работу быстрее в разы:
🎬 Работа с видео
1. Runway.ml — генерация видео по тексту
2. Veed.io — монтаж, субтитры, озвучка онлайн
3. Invideo.io — создание роликов за минуты
🧠 Помощь в мышлении и генерации
4. ChatGPT.com — ассистент для ресёрча, генерации и правок
5. Grok.com — AI-помощник с быстрым доступом к знаниям
6. Deepseek.ai — генерация и анализ текста
7. Claude.ai — диалоговый ассистент от Anthropic
8. Perplexity.ai — умный поисковик с цитируемыми источниками
💻 Код, задачи и коммуникации
9. Cursor.com — AI-помощник для программиста
10. Notion.com — организация, заметки, задачи с AI-поддержкой
11. HubSpot.com — маркетинг, автоматизация и CRM
12. Canva.com — графика, презентации, визуал для соцсетей
13. Figma.com — интерфейсы, прототипы, совместная работа
🎨 Творчество
14. Midjourney.com — генерация изображений по промптам
15. RecCloud.com — быстрые AI-клипы и нарезки видео
#AI #FutureOfWork #Productivity #AItools #Automation
@machinelearning_interview
Подборка популярных инструментов, которые уже сегодня помогают создавать, автоматизировать и масштабировать работу быстрее в разы:
🎬 Работа с видео
1. Runway.ml — генерация видео по тексту
2. Veed.io — монтаж, субтитры, озвучка онлайн
3. Invideo.io — создание роликов за минуты
🧠 Помощь в мышлении и генерации
4. ChatGPT.com — ассистент для ресёрча, генерации и правок
5. Grok.com — AI-помощник с быстрым доступом к знаниям
6. Deepseek.ai — генерация и анализ текста
7. Claude.ai — диалоговый ассистент от Anthropic
8. Perplexity.ai — умный поисковик с цитируемыми источниками
💻 Код, задачи и коммуникации
9. Cursor.com — AI-помощник для программиста
10. Notion.com — организация, заметки, задачи с AI-поддержкой
11. HubSpot.com — маркетинг, автоматизация и CRM
12. Canva.com — графика, презентации, визуал для соцсетей
13. Figma.com — интерфейсы, прототипы, совместная работа
🎨 Творчество
14. Midjourney.com — генерация изображений по промптам
15. RecCloud.com — быстрые AI-клипы и нарезки видео
#AI #FutureOfWork #Productivity #AItools #Automation
@machinelearning_interview
🥱10❤5👍4🔥3
🧠 Андрей Карпаты выпустил интересный пост о масштабировании RL.
Все говорят о масштабировании RL — и не зря. Но ощущение, что это только часть большой картины.
Вчера обсуждали с другом: Reinforcement Learning даёт более масштабируемую обратную связь, чем SFT, и это действительно мощный рычаг. Вместо явных меток — просто: "получилось хорошо → усилим действия", "плохо → ослабим". Но...
🔸 Проблема №1 — асимптотика
Как только задача выходит за пределы секунд и становится минутами/часами взаимодействий, RL сводится к тому, что ты делаешь тонну действий, чтобы в конце получить одну скалярную метку — и по ней обновить весь градиент? Это кажется неэффективным.
🔸 Проблема №2 — не по-человечески
Мы (люди) улучшаемся не только по результату "успех/провал". Мы рефлексируем:
- Что сработало?
- Что нет?
- Что стоит попробовать в следующий раз?
Этот "урок" мы потом либо держим в голове, либо записываем. Он становится частью интуиции или инструкции. В языке это называют *second nature*.
И таких механизмов в обучении ИИ пока нет.
🔍 Пример алгоритма:
1. Несколько rollout'ов
2. Все примеры + награды → в один контекст
3. Промпт на рефлексию: *"Что сработало? Что улучшить?"*
4. Сгенерированная строка → системный промпт или база "уроков"
Это и есть lesson-инъекция. Например, в Claude было явно прописано:
> "Если тебя просят посчитать буквы — раздели по запятым и считай по одному"
Это патч-урок, не выученный, а вручную внедрённый. Вопрос: как заставить агента учить такие уроки сам? И — как потом их дистиллировать, чтобы не раздувать контекст?
🧭 TLDR:
- RL будет давать приросты — оно более “горькое”, но и более leverage‑friendly, чем SFT
- Но это не вся история
- Реальные "S-кривые" могут скрываться в новых парадигмах обучения, которые специфичны для LLM и не похожи на Atari или роботов
- Возможно, "рефлексия → урок → встроенная привычка" — это один из недостающих слоёв в современных системах
#AI #RL #LLM #agenticlearning #meta #reinforcementlearning
@machinelearning_interview
Все говорят о масштабировании RL — и не зря. Но ощущение, что это только часть большой картины.
Вчера обсуждали с другом: Reinforcement Learning даёт более масштабируемую обратную связь, чем SFT, и это действительно мощный рычаг. Вместо явных меток — просто: "получилось хорошо → усилим действия", "плохо → ослабим". Но...
🔸 Проблема №1 — асимптотика
Как только задача выходит за пределы секунд и становится минутами/часами взаимодействий, RL сводится к тому, что ты делаешь тонну действий, чтобы в конце получить одну скалярную метку — и по ней обновить весь градиент? Это кажется неэффективным.
🔸 Проблема №2 — не по-человечески
Мы (люди) улучшаемся не только по результату "успех/провал". Мы рефлексируем:
- Что сработало?
- Что нет?
- Что стоит попробовать в следующий раз?
Этот "урок" мы потом либо держим в голове, либо записываем. Он становится частью интуиции или инструкции. В языке это называют *second nature*.
И таких механизмов в обучении ИИ пока нет.
🔍 Пример алгоритма:
1. Несколько rollout'ов
2. Все примеры + награды → в один контекст
3. Промпт на рефлексию: *"Что сработало? Что улучшить?"*
4. Сгенерированная строка → системный промпт или база "уроков"
Это и есть lesson-инъекция. Например, в Claude было явно прописано:
> "Если тебя просят посчитать буквы — раздели по запятым и считай по одному"
Это патч-урок, не выученный, а вручную внедрённый. Вопрос: как заставить агента учить такие уроки сам? И — как потом их дистиллировать, чтобы не раздувать контекст?
🧭 TLDR:
- RL будет давать приросты — оно более “горькое”, но и более leverage‑friendly, чем SFT
- Но это не вся история
- Реальные "S-кривые" могут скрываться в новых парадигмах обучения, которые специфичны для LLM и не похожи на Atari или роботов
- Возможно, "рефлексия → урок → встроенная привычка" — это один из недостающих слоёв в современных системах
#AI #RL #LLM #agenticlearning #meta #reinforcementlearning
@machinelearning_interview
👍25❤15🔥4🍓4🤪1
Forwarded from Machinelearning
Архитектура Mixture-of-Recursions (MoR), предложенная Google в соавторстве с KAIST AI объединяет в едином фреймворке традиционные подходы разделения параметров и адаптивные вычисления, заставляя модель думать над каждым токеном с разной глубиной.
Под капотом MoR - рекурсивный трансформер, который прогоняет входные данные через один и тот же блок слоев несколько раз. Но главная фишка в том, что количество этих прогонов, или глубина рекурсии, не фиксированное, а динамическое и определяется для каждого токена индивидуально.
Легковесный обучаемый роутер анализирует токен и решает, сколько вычислительных усилий на него потратить. Простые слова могут пройти всего один цикл рекурсии, в то время как семантически нагруженные термины отправятся на более глубокую обработку из нескольких циклов.
Это дает два главных преимущества:
При одинаковом бюджете на обучение (в FLOPs) и меньшем размере самой модели MoR показывает более низкую перплексию и лучшие результаты в few-shot задачах, чем стандартные и рекурсивные аналоги.
@ai_machinelearning_big_data
#AI #ML #LLM #Architecture #MoR
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤28👍9🔥5😁4
🧠 Intern-S1 — мощная open-source модель для мультимодальных научных задач
Команда InternLM представила Intern-S1 — продвинутую модель, способную обрабатывать и текст, и изображения, включая научные данные.
Что под капотом:
– Языковая модель 235B (MoE) + визуальный энкодер 6B
– Предобучена на 5 триллионах токенов, больше половины — научные данные
– Понимает молекулярные формулы, белковые последовательности, сейсмические сигналы — благодаря динамическому токенизатору
– Сопоставима по качеству с закрытыми коммерческими моделями в научных бенчмарках
🤗 HuggingFace: https://huggingface.co/internlm/Intern-S1-FP8
💻 GitHub: https://github.com/InternLM/Intern-S1
🌐 Онлайн-демо: https://chat.intern-ai.org.cn
@machinelearning_interview
#ml #ai #Intern
Команда InternLM представила Intern-S1 — продвинутую модель, способную обрабатывать и текст, и изображения, включая научные данные.
Что под капотом:
– Языковая модель 235B (MoE) + визуальный энкодер 6B
– Предобучена на 5 триллионах токенов, больше половины — научные данные
– Понимает молекулярные формулы, белковые последовательности, сейсмические сигналы — благодаря динамическому токенизатору
– Сопоставима по качеству с закрытыми коммерческими моделями в научных бенчмарках
🤗 HuggingFace: https://huggingface.co/internlm/Intern-S1-FP8
💻 GitHub: https://github.com/InternLM/Intern-S1
🌐 Онлайн-демо: https://chat.intern-ai.org.cn
@machinelearning_interview
#ml #ai #Intern
❤24🔥11👍7😁2👨💻2
👀 ByteDance тоже радует диффузионные LLM!
🚀 Seed Diffusion Preview – сверхбыстрый LLM для кодинга на базе дискретной диффузии.
⚡ 2 146 токенов/с на H20 GPU – опережает Mercury & Gemini Diffusion, при этом не уступая им по качеству на бенчмарках.
🏆 Новый SOTA на Pareto-фронтире «скорость–качество».
🟠 Paper: https://lf3-static.bytednsdoc.com/obj/eden-cn/hyvsmeh7uhobf/sdiff_updated.pdf
🟠 Project: https://seed.bytedance.com/seed_diffusion
🟠 Demo: https://studio.seed.ai/exp/seed_diffusion
@machinelearning_interview
#AI #LLM #Diffusion #ByteDance #SeedDiffusionPreview
🚀 Seed Diffusion Preview – сверхбыстрый LLM для кодинга на базе дискретной диффузии.
⚡ 2 146 токенов/с на H20 GPU – опережает Mercury & Gemini Diffusion, при этом не уступая им по качеству на бенчмарках.
🏆 Новый SOTA на Pareto-фронтире «скорость–качество».
@machinelearning_interview
#AI #LLM #Diffusion #ByteDance #SeedDiffusionPreview
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥24👍10❤7👨💻1
Forwarded from Machinelearning
Попросите любую LLM написать CUDA-код, и скорее всего, вы получите что-то, что либо не компилируется, либо работает мучительно медленно. Причина проста: качественного CUDA-кода в обучающих данных моделей почти не было.
Чтобы исправить это досадное упущение, Deep Reinforce AI создали систему CUDA-L1, которая основана на трехэтапном пайплайне: сначала supervised-обучение для освоения основ, затем self-supervised для практики и, наконец, контрастное обучение с подкреплением, чтобы было все максимально быстро.
Для этого существующий код был аугментирован - создавались его вариации, чтобы повысить насмотренность модели.
Обучаемой модели показывали несколько реализаций CUDA-ядер вместе с их показателями ускорения, например: «kernel_v1 дает ускорение 1.2x», «kernel_v2 — 2.8x», а «kernel_v3 — 1.5x». Затем задали 3 вопроса:
Таким образом, модель не гадает вслепую, а учится на конкретных примерах, анализируя причины разницы в производительности.
После обучения выяснилось, что более 30% сгенерированных реализаций пытались сжульничать - создавали дополнительные CUDA-потоки, которые выполнялись асинхронно.
Поскольку бенчмарк KernelBench отслеживал время только на основном потоке, код выглядел быстрее, чем был на самом деле, показывая фиктивное ускорение в 18 раз.
Другие уловки состояли в манипуляции гиперпараметрами задачи (уменьшение batch_size или размерностей) и кеширование результатов вычислений.
Во-первых, в качестве "адвоката дьявола" взяли adversarial-чекер на базе DeepSeek-R1, который анализировал код на предмет эксплойтов с точностью обнаружения более 60%.
Во-вторых, собрали базу данных из более чем 500 уникальных паттернов взлома, это повысило точность обнаружения на 25%.
И в-третьих, применили математическое сглаживание и нормализацию наград, где любое подозрительное ускорение (от 1.5x для простых операций) дополнительно проверялось.
Система успешно сгенерировала рабочий код для 249 из 250 задач, причем в 240 случаях код оказался быстрее базовой реализации.
Среднее ускорение по всем задачам составило 3.12 раза, максимальное - аж 120 раз. Медианное ускорение (50-й перцентиль) составило 1.42x, а 75-й перцентиль — 2.25x.
Производительность по уровням сложности задач распределилась следующим образом: на простых операциях среднее ускорение составило 2.78x, на последовательностях операторов - 3.55x, а на сложных задачах вроде полных слоев трансформера - 2.96x.
Код, оптимизированный на NVIDIA A100, был протестирован на других GPU. Результаты показали, что найденные паттерны оптимизации фундаментальны и работают на разных архитектурах.
Среднее ускорение на H100 составило 2.39x (успешных ускорений 227 из 250), на L40 — 3.12x (228/248), а на потребительской RTX 3090 — 2.50x (213/242).
@ai_machinelearning_big_data
#AI #ML #CUDA #DeepReinforce #ContrastiveRL
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤23👍10🔥5👨💻1
🚨 MiniCPM‑V 4.0 - не chatgpt едимным!
✨ Что нового:
— 🧱 4.1B параметров
— 🧠 По визуальному пониманию догоняет GPT‑4.1‑mini (по OpenCompass)
— ⚡ Работает на iPhone 16 Pro Max — 17.9 токенов/сек
— 📊 69.0 баллов на OpenCompass (против 65.2 у MiniCPM‑V 2.6 8B)
— 🔥 Маленькая модель, большая мощность
📁 GitHub: https://github.com/OpenBMB/MiniCPM-o
🤗 Hugging Face: https://huggingface.co/openbmb/MiniCPM-V-4
#AI #LLM #MLLMs #MiniCPM #EdgeAI
✨ Что нового:
— 🧱 4.1B параметров
— 🧠 По визуальному пониманию догоняет GPT‑4.1‑mini (по OpenCompass)
— ⚡ Работает на iPhone 16 Pro Max — 17.9 токенов/сек
— 📊 69.0 баллов на OpenCompass (против 65.2 у MiniCPM‑V 2.6 8B)
— 🔥 Маленькая модель, большая мощность
📁 GitHub: https://github.com/OpenBMB/MiniCPM-o
🤗 Hugging Face: https://huggingface.co/openbmb/MiniCPM-V-4
#AI #LLM #MLLMs #MiniCPM #EdgeAI
🔥23❤5👍4👨💻2
🚀 Qwen3-30B-A3B-2507 и Qwen3-235B-A22B-2507 теперь поддерживают контекст до 1 млн токенов!
🔧 Технологии под капотом:
• Dual Chunk Attention (DCA) — метод экстраполяции длины, который делит длинные последовательности на управляемые блоки, сохраняя глобальную связность.
• MInference — разреженное внимание, уменьшающее вычислительные затраты за счёт фокуса на ключевых токенах.
💡 Что это даёт:
- Более высокая точность генерации на длинных контекстах
- До 3× быстрее инференс на последовательностях, близких к 1M токенов
- ✅ Полная совместимость с vLLM и SGLang для эффективного развёртывания
📄 Подробности и включение функции — в карточках моделей:
https://huggingface.co/Qwen/Qwen3-235B-A22B-Instruct-2507
https://huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507
https://huggingface.co/Qwen/Qwen3-30B-A3B-Instruct-2507
https://huggingface.co/Qwen/Qwen3-30B-A3B-Thinking-2507
https://modelscope.cn/models/Qwen/Qwen3-235B-A22B-Instruct-2507
https://modelscope.cn/models/Qwen/Qwen3-235B-A22B-Thinking-2507
https://modelscope.cn/models/Qwen/Qwen3-30B-A3B-Instruct-2507
https://modelscope.cn/models/Qwen/Qwen3-30B-A3B-Thinking-2507
#Qwen #LLM #AI #LongContext
🔧 Технологии под капотом:
• Dual Chunk Attention (DCA) — метод экстраполяции длины, который делит длинные последовательности на управляемые блоки, сохраняя глобальную связность.
• MInference — разреженное внимание, уменьшающее вычислительные затраты за счёт фокуса на ключевых токенах.
💡 Что это даёт:
- Более высокая точность генерации на длинных контекстах
- До 3× быстрее инференс на последовательностях, близких к 1M токенов
- ✅ Полная совместимость с vLLM и SGLang для эффективного развёртывания
📄 Подробности и включение функции — в карточках моделей:
https://huggingface.co/Qwen/Qwen3-235B-A22B-Instruct-2507
https://huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507
https://huggingface.co/Qwen/Qwen3-30B-A3B-Instruct-2507
https://huggingface.co/Qwen/Qwen3-30B-A3B-Thinking-2507
https://modelscope.cn/models/Qwen/Qwen3-235B-A22B-Instruct-2507
https://modelscope.cn/models/Qwen/Qwen3-235B-A22B-Thinking-2507
https://modelscope.cn/models/Qwen/Qwen3-30B-A3B-Instruct-2507
https://modelscope.cn/models/Qwen/Qwen3-30B-A3B-Thinking-2507
#Qwen #LLM #AI #LongContext
❤15👍8🔥4👨💻1
🧠 SmallThinker — новая серия LLM, нативно обученная для локального запуска
SmallThinker — это семейство языковых моделей, созданное с нуля для запуска на обычных устройствах:
📉 низкая память, 🐌 медленное хранилище, ❌ без GPU — и всё это без потери качества.
🔧 Технологии под капотом:
• Двухуровневая разреженность: MoE + sparse ReGLU (>60% нейронов неактивны)
• Pre-attention router: предсказание нужных экспертов заранее → читаем с SSD параллельно
• NoPE-RoPE гибрид: 1:3 глобальное:локальное внимание → KV-кэш в 4 раза меньше
• Кэширование и оффлоадинг экспертов → экономим CPU и дисковый ввод
• Sparse LM head: предсказываем подмножество словаря, не нужен полный софтмакс
• Чекпойнт-мёрджинг: баланс между универсальностью и инструкционной точностью
⚙️ Производительность (CPU-only, Q4_0):
• 🪶 4B-A0.6B (1 ГБ ОЗУ): 82.3% HumanEval, 66.1% MMLU, 108 ток/с
• 🚀 21B-A3B (8 ГБ ОЗУ): 89.6% HumanEval, 84.4% MMLU — на уровне Qwen3‑30B, но с 85× меньшим потреблением памяти
🏃♂️ Работает на CPU, ARM, Raspberry Pi — 20–108 токенов/сек.
📦 Полностью open-source. Готово к локальному использованию без компромиссов.
#LLM #SmallThinker #AI #LocalLLM #OpenSource
HF: https://huggingface.co/PowerInfer
PAPER: https://arxiv.org/abs/2507.20984
SmallThinker — это семейство языковых моделей, созданное с нуля для запуска на обычных устройствах:
📉 низкая память, 🐌 медленное хранилище, ❌ без GPU — и всё это без потери качества.
🔧 Технологии под капотом:
• Двухуровневая разреженность: MoE + sparse ReGLU (>60% нейронов неактивны)
• Pre-attention router: предсказание нужных экспертов заранее → читаем с SSD параллельно
• NoPE-RoPE гибрид: 1:3 глобальное:локальное внимание → KV-кэш в 4 раза меньше
• Кэширование и оффлоадинг экспертов → экономим CPU и дисковый ввод
• Sparse LM head: предсказываем подмножество словаря, не нужен полный софтмакс
• Чекпойнт-мёрджинг: баланс между универсальностью и инструкционной точностью
⚙️ Производительность (CPU-only, Q4_0):
• 🪶 4B-A0.6B (1 ГБ ОЗУ): 82.3% HumanEval, 66.1% MMLU, 108 ток/с
• 🚀 21B-A3B (8 ГБ ОЗУ): 89.6% HumanEval, 84.4% MMLU — на уровне Qwen3‑30B, но с 85× меньшим потреблением памяти
🏃♂️ Работает на CPU, ARM, Raspberry Pi — 20–108 токенов/сек.
📦 Полностью open-source. Готово к локальному использованию без компромиссов.
#LLM #SmallThinker #AI #LocalLLM #OpenSource
HF: https://huggingface.co/PowerInfer
PAPER: https://arxiv.org/abs/2507.20984
🔥22👍13🥰10❤3👨💻1
Forwarded from Machinelearning
На конференции SIGGRAPH 2025 Nvidia представила свою центральную концепцию — "Физический ИИ".
Это конвергенция ИИ и компьютерной графики для создания систем, способных действовать в реальном мире, будь то роботы, автономные автомобили или умная инфраструктура.
Для дата-центров представили GPU Nvidia RTX PRO 6000 Blackwell Server Edition для стандартных корпоративных серверов форм-фактора 2U. Системы на его базе смогут достигать до 45 раз более высокой производительности и в 18 раз лучшей энергоэффективности по сравнению с чисто процессорными решениями.
Тензорные ядра пятого поколения с поддержкой формата FP4 бустят инференс в 6 раз по сравнению с предыдущим поколением L40S.
Для рабочих станций анонсировали две компактные видеокарты: Nvidia RTX PRO 4000 SFF Edition и RTX PRO 2000 Blackwell.
Первая обеспечивает до 2.5 раз более высокую производительность в ИИ-задачах при том же энергопотреблении в 70 Вт, а вторая в 1.4 раза быстрее в CAD-приложениях.
Для Omniverse анонсировали новую библиотеку
NuRec, которая реконструирует реальные окружения из данных сенсоров с помощью 3D Gaussian splatting. Приложения для симуляции Isaac Sim 5.0 и Isaac Lab 2.2 теперь доступны в виде опенсорс-проектов на GitHub.
В качестве примера показали кейс Amazon, где CAD-модели новых продуктов загружаются в Isaac Sim для генерации более 50 000 синтетических изображений. На этих данных обучаются ИИ-модели, которые затем управляют роботизированными манипуляторами для контроля качества продукции — и все это без каких-либо физических модификаций оборудования.
Для корпоративных задач линейку Nemotron расширили моделями Nemotron Nano 2 и Llama Nemotron Super 1.5. Они предназначены для выполнения сложных многоэтапных задач в кибербезопасности или клиентском сервисе.
Специально для "Физического ИИ" была разработана 7-миллиардная VLM Cosmos Reason. Ее задача - позволить роботам и агентам интерпретировать физический мир, используя априорные знания, понимание физики и "здравый смысл". Эту модель уже использует Uber для для анализа поведения автономных автомобилей.
Платформа дополнена интеграцией с VLM Cosmos Reason, новыми vision-моделями в TAO Toolkit и расширениями для Isaac Sim, позволяющие генерировать редкие сценарии обучения.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍20🔥6❤3