287K subscribers
3.98K photos
684 videos
17 files
4.55K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
加入频道
Media is too big
VIEW IN TELEGRAM
✔️ Nvidia остановила производство чипов H20 для Китая.

Nvidia приостановила выпуск своих ИИ-чипов H20, разработанных специально для китайского рынка в обход американских санкций. Причиной стало новое распоряжение Пекина, которое вынуждает местные компании отказаться от продукции Nvidia из-за опасений, связанных с безопасностью.

В результате около 700 000 уже произведенных и готовых к отправке чипов, которые ранее получили одобрение от правительства США, теперь простаивают на складах партнера по упаковке. Вся цепочка поставок оказалась парализованной, несмотря на то, что Вашингтон и Nvidia уже достигли политического соглашения.
theinformation.com

✔️ Cohere представила ризонинг-модель для бизнеса.

Cohere выпустила ризонинг-модель Command A Reasoning, оптимизированную для ресурсоемких задач, требующих логических рассуждений: работа в агентных системах и анализ больших документов. По заявлению разработчиков, на бенчмарках BFCL-v3, Tau-bench и DeepResearch Bench модель превосходит gpt-oss-120b и Mistral Magistral Medium.

Command A Reasoning может работать на одном GPU H100 или A100 с контекстным окном в 128 тыс. токенов, которое можно расширить до 256 000 токенов на нескольких GPU.

Модель уже доступна на платформе Cohere, а на Hugging Face выложена версия для некоммерческого использования под лицензией CC-BY-NC-4.0.
cohere.com

✔️ ElevenLabs выпустила альфа-версию TTS-модели v3.

ElevenLabs представила обновленную модель для синтеза речи Eleven v3. Она уже доступна в альфа-версии через API. Модель знает более 70 языков (включая русский) и получила расширенные возможности для передачи эмоций и дополнительные элементы управления голосом.

Одной из главных особенностей стал режим «диалог», который может обрабатывать неограниченное количество спикеров в одном аудио. Для управления интонациями и эмоциональными оттенками речи добавлены специальные аудиотеги.

Доступ к API Eleven v3 (alpha) можно получить с бесплатного аккаунта, однако некоторые функции могут быть платными.
elevenlabs.io

✔️ Anthropic разработала классификатор для блокировки запросов, связанных оружием массового поражения.

Anthropic создала ИИ-классификатор, который выявляет опасные запросы, касающиеся технологий, связанных с биологическим, химическим и ядерным оружием. Предварительные тесты показали точность системы на уровне 96%.

Цель классификатора - фильтровать информацию об оружии массового поражения еще на этапе предварительного обучения моделей. Такой подход должен предотвратить ситуации, когда чат-боты могут предоставить инструкции по созданию оружия, не влияя при этом на их способность выполнять безопасные задачи. В Anthropic в очередной раз напомнили, что безопасность должна быть фундаментальным принципом при разработке ИИ.
anthropic.com

✔️ Илон Маск анонсировал создание компании-симулятора Microsoft.

Илон Маск объявил о запуске новой софтверной компании Macrohard, созданной в рамках его инициативы xAI. Главная цель проекта - построить полностью управляемую ИИ программную корпорацию, которая будет симулировать деятельность Microsoft и конкурировать с ней .

По замыслу Маска, сотни специализированных ИИ-агентов будут совместно работать над созданием программных продуктов, полностью воспроизводя цифровые операции гиганта. Название Macrohard является явной ироничной отсылкой к Microsoft, подчеркивая амбиции проекта стать его прямым конкурентом в сфере ПО.
Elon Musk в сети X

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
70😁42👍21🔥9🙉42👏2👀2💋1🤓1💘1
🐋 DeepSeek-V3.1 теперь можно запускать локально

Оригинальная модель весила 715GB, но её удалось уменьшить до 170GB RAM (−80%) с помощью новой техники квантовки Dynamic 1-bit GGUF.

Огромная экономия памяти

👉 Подробный гайд: https://docs.unsloth.ai/basics/deepseek-v3.1
👉 GGUF-модель: https://huggingface.co/unsloth/DeepSeek-V3.1-GGUF

Теперь топовую DeepSeek реально запустить даже на локальной машине, а не только в дата-центре 🚀

@ai_machinelearning_big_data

#DeepSeek #GGUF
115🔥48🤣45👍24🤔8🌚42🙈2
📌Анатомии GPU и TPU: 12 глава пособия "How to Scale Your Model"

Группа инженеров из Google DeepMind опубликовали 12-ю главу своего он-лайн учебника "How to Scale Your Model: A Systems View of LLMs on TPUs"

How to Scale Your Model - практико-ориентированное руководство по масштабированию LLM из 12 разделов для разработчиков и исследователей. Оно объясняет, как анализировать и оптимизировать производительность модели, учитывая системные ресурсы: вычисления, память и пропускную способность.

Пособие научит выбирать оптимальные стратегии параллелизма, оценивать стоимость и время обучения и инференса, а также глубже понять взаимодействие между TPU/GPU и алгоритмами масштабирования как на одном, так и на тысячах ускорителей.


12-я глава - глубокое техническое руководство по архитектуре GPU и стратегиям масштабирования больших моделей. В ней детально разбирается устройство современных GPU NVIDIA: Streaming Multiprocessors, Tensor Cores, иерархия памяти (HBM, L2, SMEM), все это с подробными сравнительными таблицами характеристик для разных поколений чипов.

Очень подробно выполнено сравнение архитектур GPU и TPU, с объясняем ключевого различия между модульностью GPU и монолитностью TPU.

Особое внимание, что редкость для обучающих материалов, уделено сетевой организации кластеров. Авторы доступно объясняют как GPU соединяются внутри узлов через NVLink/NVSwitch и между узлами через InfiniBand в топологии "Fat tree", и как пропускная способность на каждом уровне влияет на реальную производительность коллективных операций (AllReduce, AllGather).

Описаны основные стратегии параллелизма: Data Parallelism, Tensor Parallelism, Expert Parallelism и Pipeline Parallelism, с разбором их ограничений и примеров из реальных проектов.

В конце главы есть хороший анализ новых возможностей архитектуры Blackwell.


@ai_machinelearning_big_data

#AI #ML #LLM #Scaling #GPU #TPU
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7041🔥19🥰6
🦎 Эволюция ИИ моделей, вдохновленная природой

В Sakana AI предложили новый подход: развивать ИИ не как один гигантский «мозг», а как экосистему моделей, которые конкурируют, объединяются и обмениваются навыками.

Этот метод они назвали M2N2 (Model Merging of Natural Niches).

🔑 Как это работает
- Гибкие границы слияния — модели объединяются не фиксированными слоями, а переменными кусками параметров, как будто меняются фрагментами ДНК.
- Конкуренция за данные — модели соревнуются за ограниченные ресурсы и становятся «экспертами» в узких областях.
- Выбор партнёров — для объединения подбираются те модели, которые дополняют друг друга: одна сильна там, где другая слаба.

📊 Чего удалось добиться
- С нуля: только слиянием случайных сетей удалось получить классификатор MNIST, сравнимый с классическими эволюционными методами, но быстрее и дешевле.
- Крупные LLM: объединение модели-«математика» и модели-«агента» породило систему, которая уверенно справляется с обоими типами задач.
- Мультимодальные модели: при слиянии text-to-image моделей для японского итоговая версия стала лучше понимать японские запросы и при этом сохранила сильный английский — без «забывания» старых навыков.

Этот подход показывает, что будущее ИИ может быть не за одним огромным монолитом, а за живой экосистемой специализированных моделей, которые эволюционируют вместе, обмениваются сильными сторонами и становятся более гибкими и креативными.

🟠 Paper: https://arxiv.org/abs/2508.16204
🟠 Code: https://github.com/SakanaAI/natural_niches

@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
294👍33🔥14🤔5😁2❤‍🔥1💘1
Media is too big
VIEW IN TELEGRAM
✔️ Microsoft выпустила открытую TTS VibeVoice.

VibeVoice - опенсорсная система синтеза речи на английском и китайском языках для создания выразительного аудиоконтента длиной до 90 минут с участием до 4 различных спикеров.

В системе используются непрерывные токенизаторы речи на сверхнизкой частоте 7.5 Гц и комбинация из LLM для понимания контекста и диффузионная модель для генерации высококачественного аудио.

Код для инференса уже доступен на GitHub, а модель на 1.5 млрд. параметров и токенизатор - на Hugging Face. Обещают более крупную (7B) и компактную (0.5B) версии модели.
microsoft.github.io

✔️ NotebookLM научился создавать видеообзоры на 80 языках, включая русский.

Теперь возможность превращать загруженные документы и заметки в короткие видеопрезентации доступна на 80 языках, включая русский. Ранее функция работала только на английском.

Одновременно компания улучшила и Audio Overviews, позволив создавать более длинные и детализированные аудиосводки на разных языках.

Оба обновления уже начали развертываться и, по заявлению Google, станут доступны всем пользователям по всему миру в течение недели.
blog.google

✔️ Nvidia анонсировала Jetson AGX Thor.

Jetson AGX Thor - наиболее производительный на сегодняшний день компьютер для периферийных ИИ-вычислений и робототехники. Платформа обещает производительность в 2070 терафлопс (FP4), что примерно в 7.5 раз превосходит предыдущее поколение Jetson Orin.

В основе системы - GPU на архитектуре Blackwell, 14-ядерный процессор Arm и 128 ГБ памяти LPDDR5X. Это позволяет запускать большие языковые и мультимодальные модели локально, обрабатывая данные с нескольких сенсоров с минимальной задержкой. Платформа совместима с программными стеками Nvidia: Isaac, Metropolis и Holoscan.

Набор для разработчиков уже доступен для заказа по цене $3499, а поставки начнутся в следующем месяце. Серийные модули Jetson T5000 для готовых роботов появятся в конце 2025 года по цене $2999 за штуку при заказе от 1000 единиц.
cnbc.com

✔️ Илон Маск подал иск на $1 млрд против Apple и OpenAI.

xAI и X подали в федеральный суд США антимонопольный иск на сумму 1 млрд. долларов против Apple и OpenAI. В иске утверждается, что компании вступили в незаконный сговор с целью захвата рынков смартфонов и генеративного ИИ, нарушая антимонопольное законодательство США.

Согласно 61-страничному документу, эксклюзивная интеграция ChatGPT в iOS и манипуляции с ранжированием в App Store целенаправленно занижают позиции конкурирующих чат-ботов. Это, по мнению Маска, делает "невозможным для любой другой ИИ-компании, кроме OpenAI, достичь первого места в магазине приложений".

В Apple отказались от комментариев. В OpenAI назвали иск "продолжением систематических нападок со стороны господина Маска".
wsj.com

✔️ Brave обнаружили уязвимость в Comet от Perplexity.

Проблема, по словам Brave, заключается в так называемых "непрямых инъекциях промптов". Злоумышленники могут встраивать вредоносные команды в веб-страницы, которые ИИ-ассистент Comet при анализе контента воспринимает как инструкции от пользователя.

В ходе тестов Brave продемонстрировала, как можно заставить Comet прочитать и отправить атакующим конфиденциальные данные, email-адреса и одноразовые пароли. Perplexity выпустила обновления, однако, проблема все еще не решена полностью.
brave.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
43👍17🔥6👀3
⚡️ Google готовится к запуску модели Nano Banana.

По слухам, которые появились из-за поста инженера DeepMind Патрика Лоебера в сети Х, на этой неделе мы увидим инпейнт-модель для редактирования изображений под названием Nano Banana.

Модель наделала шуму на Lmarena, да и тестеры предварительных версий отмечают способность вносить очень точечные изменения в изображение, не затрагивая другие его элементы.

При этом качество изображений, генерируемое Nano Banana сопоставимо с результатами более крупных и ресурсоемких систем.

Официально Google пока не объявляла дату запуска и не раскрывала информацию о ценах.

🟢 Обновление: Модель вышла и потестить бесплатно ее можно в aistudio: http://aistudio.google.com/prompts/new_chat

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
56👍18🔥14😁5❤‍🔥1
✔️ Российские учёные предложили новый способ борьбы с галлюцинациями ИИ

Одна из главных проблем больших языковых моделей — они могут генерировать правдоподобные, но ложные ответы.

Исследователи из Сбера разработали метамодели, которые повышают точность обнаружения ложных ответов обучаемыми локальными моделями почти на 30% при использовании малого количества данных для обучения. На тестах подход сработал лучше, чем многие закрытые коммерческие решения: уже при обучении на 250 примерах удалось добиться результатов, сопоставимых с применением крупнейших LLM в качестве оценщиков.

Выгода очевидна — компании могут сильно сэкономить ресурсы на разметку данных, ученые получают новый инструмент для анализа больших языковых моделей, а пользователи — более точные ответы от AI-моделей.
74👍42🤣30🔥14😁8🤔7🤷2😢1👨‍💻1
📌 Во Флориде школы начнут тестировать дроны с перцовым газом для борьбы со стрелками.

Три округа во Флориде готовятся к испытаниям системы беспилотников, предназначенной для нейтрализации нападающих. Дроны, разработанные компанией Campus Guardian Angel, могут быть активированы в течение 5 секунд после сигнала тревоги и достигнуть стрелка за 15 сек.

Они оснащены шариками с перцовым спреем, чтобы ослепить или замедлить преступника, могут разбивать окна для отвлечения внимания и транслировать видео в реальном времени для правоохранителей.

По словам CEO компании, если это не поможет, дроны будут «продолжать таранить» нападающего до прибытия полиции.

Проект уже вызвал серьезные этические вопросы, касающиеся безопасности, но штат выделил на пилотный проект 557 тыс. долларов. Установка систем в школах запланирована на осень, а полноценный запуск — на январь.

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9024😁21🔥11🤔4🙈3👀1
Исследователи из Yandex B2B Tech и ШАДа совместно с Педиатрическим университетом Петербурга представили первую в России нейросеть для анализа МРТ головного мозга младенцев. Модель работает в облаке и за несколько минут определяет соотношение серого и белого вещества с точностью более 90%.

Для обучения использовали 1500 обезличенных снимков и открытый датасет MICCAI Grand Challenge. Архитектура включает BIBSNet для автоматической разметки и ResNet с U-Net для сегментации изображений. Разработчики отмечают, что основной вызов был связан с малым количеством доступных данных и сложностью разметки.

Система уже проходит пилот в клинике и доступна врачам на специальной странице сервиса на платформе Yandex Cloud. В дальнейшем её планируют выложить в опенсорс, чтобы расширить возможности исследований и внедрения подобных решений в здравоохранении.
113👍36🔥14😁4🤔3👾2💯1👀1
📌DeepConf: фильтрация мусорных СoT c высокой точностью.

Deep Think with Confidence (DeepConf) - способ улучшить рассуждения LLM, который в отличие от стандартного голосования по большинству, предлагает фильтровать варианты на лету, используя внутренние сигналы уверенности самой модели.

Идея в том, чтобы не ждать генерации полной цепочки рассуждений, а отслеживать её качество в реальном времени. Для этого придумали метрику "групповой уверенности" (group confidence) — усредненную уверенность модели на небольшом скользящем окне токенов.

Если эта метрика падает ниже определенного порога, генерация траектории рассуждения просто останавливается. Это позволяет отсекать низкокачественные цепочки на ранней стадии, экономя огромное количество токенов. При этом сам метод не требует дополнительного обучения или тюнинга гиперпараметров.

🟡DeepConf работает в 2 режимах.

В офлайн-режиме, когда все варианты уже сгенерированы, он позволяет применять взвешенное голосование или фильтрацию. Вместо простого подсчета голосов, каждый ответ взвешивается по уверенности породившей его цепочки рассуждений.

Результаты на бенчмарке AIME 2025: для GPT-OSS-120B стандартное голосование по 512 вариантам (cons@512) даёт точность 97.0%. Взвешивание с фильтрацией по уверенности (DeepConf@512) поднимает эту планку до 99.9%, практически решая бенчмарк.

🟡Но самый большой выигрыш даёт онлайн-режим.

Здесь происходит та самая ранняя остановка генерации. Для GPT-OSS-120B на том же AIME 2025 DeepConf в агрессивной конфигурации DeepConf-low сокращает количество сгенерированных токенов на 84.7% по сравнению с полной генерацией 512 вариантов. При этом точность не только не падает, а даже немного растeт — с 97.1% до 97.9%.

В более консервативном режиме, DeepConf-high, экономия токенов составляет 56.0%, а точность остается на уровне 97.0%. Схожие результаты наблюдаются и на моделях DeepSeek-8B и Qwen3-32B, где экономия токенов достигает 77.9% и 66.8% соответственно.

Для оценки уверенности прогнали несколько метрик, но наиболее эффективными оказались те, что фокусируются на слабых местах в рассуждениях. Например, метрика Bottom 10% Group Confidence (средняя уверенность по 10% наименее уверенных групп токенов) и Tail Confidence (уверенность на последних токенах цепочки) оказались лучше, чем простое усреднение по всему трейсу.

Порог для ранней остановки определяется на лету для каждого нового промпта. Сначала генерируется небольшое количество "разогревочных" трасс, на основе которых вычисляется порог уверенности. Затем запускается основная генерация, и любой вариант, чья групповая уверенность падает ниже этого порога, немедленно останавливается.

▶️Попробовать DeepConf на практике можно пока только в vLLM, есть примеры для онлайн и оффлайн режима. Отдельного репозитория проекта пока нет.


🟡Страница проекта
🟡Arxiv


@ai_machinelearning_big_data

#AI #ML #LLM #CoT #DEEPCONF
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
41🔥17👍13🗿3