Большие данные - это топливо для ИИ. Но как их использовать, чтобы не нарушить приватность, например датасета, где есть персональные данные?
Один из вариантов - метод дифференциально-приватного отбора. Он выбирает из огромного набора уникальные элементы так, чтобы нельзя было соотнести их с конкретным человеком. А если данных - больше миллиарда? Для этого нужен более надежный подход.
Таким алгоритмом стал Max Adaptive Degree (MAD), представленный Google на ICML 2025. Он не только эффективнее других параллельных методов, но и работает с наборами данных на десятки и сотни миллиардов записей.
Но тут появляется новая проблема - популярные элементы получают избыточный вес, который можно было бы использовать для менее частых, но ценных данных.
MAD решает ее с помощью адаптивного взвешивания, перераспределяя вес: забирает часть у популярных элементов и отдает тем, чьи значения уже находятся у порога. Это позволяет отобрать больше полезных данных без потери приватности.
Простой пример: представьте 100 пользователей, у каждого по 3 элемента. Один элемент (A) есть у всех, а остальные элементы уникальны. В базовом алгоритме элемент A получит слишком много веса (намного больше необходимого), а уникальные элементы - слишком мало. MAD "забирает" часть веса у A и распределяет его между уникальными элементами, давая им шанс пройти порог.
Метод можно использовать в несколько итераций, публикуя промежуточные результаты с шумом. Так можно еще точнее распределять вес между раундами.
В первом раунде запускается MAD как обычно, а во втором удаляются уже найденные элементы и те, которые явно не пройдут порог. Для остальных элементов применяется "смещение" веса на основе данных первого раунда.
На практике MAD показал отличные результаты. Всего за 2 этапа он отобрал больше полезных элементов, чем другие методы. Например, в Common Crawl (800 млрд. записей) он выбрал набор слов, который покрыл 99.9% всех записей и 97% уникальных слов с полным соблюдением приватности.
@ai_machinelearning_big_data
#AI #ML #Selection #MAD #Google
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤61👍24🔥13🗿5
Media is too big
VIEW IN TELEGRAM
Nvidia приостановила выпуск своих ИИ-чипов H20, разработанных специально для китайского рынка в обход американских санкций. Причиной стало новое распоряжение Пекина, которое вынуждает местные компании отказаться от продукции Nvidia из-за опасений, связанных с безопасностью.
В результате около 700 000 уже произведенных и готовых к отправке чипов, которые ранее получили одобрение от правительства США, теперь простаивают на складах партнера по упаковке. Вся цепочка поставок оказалась парализованной, несмотря на то, что Вашингтон и Nvidia уже достигли политического соглашения.
theinformation.com
Cohere выпустила ризонинг-модель Command A Reasoning, оптимизированную для ресурсоемких задач, требующих логических рассуждений: работа в агентных системах и анализ больших документов. По заявлению разработчиков, на бенчмарках BFCL-v3, Tau-bench и DeepResearch Bench модель превосходит gpt-oss-120b и Mistral Magistral Medium.
Command A Reasoning может работать на одном GPU H100 или A100 с контекстным окном в 128 тыс. токенов, которое можно расширить до 256 000 токенов на нескольких GPU.
Модель уже доступна на платформе Cohere, а на Hugging Face выложена версия для некоммерческого использования под лицензией CC-BY-NC-4.0.
cohere.com
ElevenLabs представила обновленную модель для синтеза речи Eleven v3. Она уже доступна в альфа-версии через API. Модель знает более 70 языков (включая русский) и получила расширенные возможности для передачи эмоций и дополнительные элементы управления голосом.
Одной из главных особенностей стал режим «диалог», который может обрабатывать неограниченное количество спикеров в одном аудио. Для управления интонациями и эмоциональными оттенками речи добавлены специальные аудиотеги.
Доступ к API Eleven v3 (alpha) можно получить с бесплатного аккаунта, однако некоторые функции могут быть платными.
elevenlabs.io
Anthropic создала ИИ-классификатор, который выявляет опасные запросы, касающиеся технологий, связанных с биологическим, химическим и ядерным оружием. Предварительные тесты показали точность системы на уровне 96%.
Цель классификатора - фильтровать информацию об оружии массового поражения еще на этапе предварительного обучения моделей. Такой подход должен предотвратить ситуации, когда чат-боты могут предоставить инструкции по созданию оружия, не влияя при этом на их способность выполнять безопасные задачи. В Anthropic в очередной раз напомнили, что безопасность должна быть фундаментальным принципом при разработке ИИ.
anthropic.com
Илон Маск объявил о запуске новой софтверной компании Macrohard, созданной в рамках его инициативы xAI. Главная цель проекта - построить полностью управляемую ИИ программную корпорацию, которая будет симулировать деятельность Microsoft и конкурировать с ней .
По замыслу Маска, сотни специализированных ИИ-агентов будут совместно работать над созданием программных продуктов, полностью воспроизводя цифровые операции гиганта. Название Macrohard является явной ироничной отсылкой к Microsoft, подчеркивая амбиции проекта стать его прямым конкурентом в сфере ПО.
Elon Musk в сети X
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤71😁43👍21🔥9🙉4⚡2👏2👀2💋1🤓1💘1
🐋 DeepSeek-V3.1 теперь можно запускать локально
Оригинальная модель весила 715GB, но её удалось уменьшить до 170GB RAM (−80%) с помощью новой техники квантовки Dynamic 1-bit GGUF.
⚡ Огромная экономия памяти
👉 Подробный гайд: https://docs.unsloth.ai/basics/deepseek-v3.1
👉 GGUF-модель: https://huggingface.co/unsloth/DeepSeek-V3.1-GGUF
Теперь топовую DeepSeek реально запустить даже на локальной машине, а не только в дата-центре 🚀
@ai_machinelearning_big_data
#DeepSeek #GGUF
Оригинальная модель весила 715GB, но её удалось уменьшить до 170GB RAM (−80%) с помощью новой техники квантовки Dynamic 1-bit GGUF.
⚡ Огромная экономия памяти
👉 Подробный гайд: https://docs.unsloth.ai/basics/deepseek-v3.1
👉 GGUF-модель: https://huggingface.co/unsloth/DeepSeek-V3.1-GGUF
Теперь топовую DeepSeek реально запустить даже на локальной машине, а не только в дата-центре 🚀
@ai_machinelearning_big_data
#DeepSeek #GGUF
❤118🔥48🤣45👍24🤔8🌚4☃2🙈2
Группа инженеров из Google DeepMind опубликовали 12-ю главу своего он-лайн учебника "How to Scale Your Model: A Systems View of LLMs on TPUs"
How to Scale Your Model - практико-ориентированное руководство по масштабированию LLM из 12 разделов для разработчиков и исследователей. Оно объясняет, как анализировать и оптимизировать производительность модели, учитывая системные ресурсы: вычисления, память и пропускную способность.
Пособие научит выбирать оптимальные стратегии параллелизма, оценивать стоимость и время обучения и инференса, а также глубже понять взаимодействие между TPU/GPU и алгоритмами масштабирования как на одном, так и на тысячах ускорителей.
12-я глава - глубокое техническое руководство по архитектуре GPU и стратегиям масштабирования больших моделей. В ней детально разбирается устройство современных GPU NVIDIA: Streaming Multiprocessors, Tensor Cores, иерархия памяти (HBM, L2, SMEM), все это с подробными сравнительными таблицами характеристик для разных поколений чипов.
Очень подробно выполнено сравнение архитектур GPU и TPU, с объясняем ключевого различия между модульностью GPU и монолитностью TPU.
Особое внимание, что редкость для обучающих материалов, уделено сетевой организации кластеров. Авторы доступно объясняют как GPU соединяются внутри узлов через NVLink/NVSwitch и между узлами через InfiniBand в топологии "Fat tree", и как пропускная способность на каждом уровне влияет на реальную производительность коллективных операций (AllReduce, AllGather).
Описаны основные стратегии параллелизма: Data Parallelism, Tensor Parallelism, Expert Parallelism и Pipeline Parallelism, с разбором их ограничений и примеров из реальных проектов.
В конце главы есть хороший анализ новых возможностей архитектуры Blackwell.
@ai_machinelearning_big_data
#AI #ML #LLM #Scaling #GPU #TPU
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍70❤42🔥19🥰6
🦎 Эволюция ИИ моделей, вдохновленная природой
В Sakana AI предложили новый подход: развивать ИИ не как один гигантский «мозг», а как экосистему моделей, которые конкурируют, объединяются и обмениваются навыками.
Этот метод они назвали M2N2 (Model Merging of Natural Niches).
🔑 Как это работает
- Гибкие границы слияния — модели объединяются не фиксированными слоями, а переменными кусками параметров, как будто меняются фрагментами ДНК.
- Конкуренция за данные — модели соревнуются за ограниченные ресурсы и становятся «экспертами» в узких областях.
- Выбор партнёров — для объединения подбираются те модели, которые дополняют друг друга: одна сильна там, где другая слаба.
📊 Чего удалось добиться
- С нуля: только слиянием случайных сетей удалось получить классификатор MNIST, сравнимый с классическими эволюционными методами, но быстрее и дешевле.
- Крупные LLM: объединение модели-«математика» и модели-«агента» породило систему, которая уверенно справляется с обоими типами задач.
- Мультимодальные модели: при слиянии text-to-image моделей для японского итоговая версия стала лучше понимать японские запросы и при этом сохранила сильный английский — без «забывания» старых навыков.
Этот подход показывает, что будущее ИИ может быть не за одним огромным монолитом, а за живой экосистемой специализированных моделей, которые эволюционируют вместе, обмениваются сильными сторонами и становятся более гибкими и креативными.
🟠 Paper: https://arxiv.org/abs/2508.16204
🟠 Code: https://github.com/SakanaAI/natural_niches
@ai_machinelearning_big_data
В Sakana AI предложили новый подход: развивать ИИ не как один гигантский «мозг», а как экосистему моделей, которые конкурируют, объединяются и обмениваются навыками.
Этот метод они назвали M2N2 (Model Merging of Natural Niches).
🔑 Как это работает
- Гибкие границы слияния — модели объединяются не фиксированными слоями, а переменными кусками параметров, как будто меняются фрагментами ДНК.
- Конкуренция за данные — модели соревнуются за ограниченные ресурсы и становятся «экспертами» в узких областях.
- Выбор партнёров — для объединения подбираются те модели, которые дополняют друг друга: одна сильна там, где другая слаба.
📊 Чего удалось добиться
- С нуля: только слиянием случайных сетей удалось получить классификатор MNIST, сравнимый с классическими эволюционными методами, но быстрее и дешевле.
- Крупные LLM: объединение модели-«математика» и модели-«агента» породило систему, которая уверенно справляется с обоими типами задач.
- Мультимодальные модели: при слиянии text-to-image моделей для японского итоговая версия стала лучше понимать японские запросы и при этом сохранила сильный английский — без «забывания» старых навыков.
Этот подход показывает, что будущее ИИ может быть не за одним огромным монолитом, а за живой экосистемой специализированных моделей, которые эволюционируют вместе, обмениваются сильными сторонами и становятся более гибкими и креативными.
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2❤95👍33🔥14🤔7😁2❤🔥1💘1
Media is too big
VIEW IN TELEGRAM
VibeVoice - опенсорсная система синтеза речи на английском и китайском языках для создания выразительного аудиоконтента длиной до 90 минут с участием до 4 различных спикеров.
В системе используются непрерывные токенизаторы речи на сверхнизкой частоте 7.5 Гц и комбинация из LLM для понимания контекста и диффузионная модель для генерации высококачественного аудио.
Код для инференса уже доступен на GitHub, а модель на 1.5 млрд. параметров и токенизатор - на Hugging Face. Обещают более крупную (7B) и компактную (0.5B) версии модели.
microsoft.github.io
Теперь возможность превращать загруженные документы и заметки в короткие видеопрезентации доступна на 80 языках, включая русский. Ранее функция работала только на английском.
Одновременно компания улучшила и Audio Overviews, позволив создавать более длинные и детализированные аудиосводки на разных языках.
Оба обновления уже начали развертываться и, по заявлению Google, станут доступны всем пользователям по всему миру в течение недели.
blog.google
Jetson AGX Thor - наиболее производительный на сегодняшний день компьютер для периферийных ИИ-вычислений и робототехники. Платформа обещает производительность в 2070 терафлопс (FP4), что примерно в 7.5 раз превосходит предыдущее поколение Jetson Orin.
В основе системы - GPU на архитектуре Blackwell, 14-ядерный процессор Arm и 128 ГБ памяти LPDDR5X. Это позволяет запускать большие языковые и мультимодальные модели локально, обрабатывая данные с нескольких сенсоров с минимальной задержкой. Платформа совместима с программными стеками Nvidia: Isaac, Metropolis и Holoscan.
Набор для разработчиков уже доступен для заказа по цене $3499, а поставки начнутся в следующем месяце. Серийные модули Jetson T5000 для готовых роботов появятся в конце 2025 года по цене $2999 за штуку при заказе от 1000 единиц.
cnbc.com
xAI и X подали в федеральный суд США антимонопольный иск на сумму 1 млрд. долларов против Apple и OpenAI. В иске утверждается, что компании вступили в незаконный сговор с целью захвата рынков смартфонов и генеративного ИИ, нарушая антимонопольное законодательство США.
Согласно 61-страничному документу, эксклюзивная интеграция ChatGPT в iOS и манипуляции с ранжированием в App Store целенаправленно занижают позиции конкурирующих чат-ботов. Это, по мнению Маска, делает "невозможным для любой другой ИИ-компании, кроме OpenAI, достичь первого места в магазине приложений".
В Apple отказались от комментариев. В OpenAI назвали иск "продолжением систематических нападок со стороны господина Маска".
wsj.com
Проблема, по словам Brave, заключается в так называемых "непрямых инъекциях промптов". Злоумышленники могут встраивать вредоносные команды в веб-страницы, которые ИИ-ассистент Comet при анализе контента воспринимает как инструкции от пользователя.
В ходе тестов Brave продемонстрировала, как можно заставить Comet прочитать и отправить атакующим конфиденциальные данные, email-адреса и одноразовые пароли. Perplexity выпустила обновления, однако, проблема все еще не решена полностью.
brave.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤48👍19🔥6👀3🤔1
По слухам, которые появились из-за поста инженера DeepMind Патрика Лоебера в сети Х, на этой неделе мы увидим инпейнт-модель для редактирования изображений под названием Nano Banana.
Модель наделала шуму на Lmarena, да и тестеры предварительных версий отмечают способность вносить очень точечные изменения в изображение, не затрагивая другие его элементы.
При этом качество изображений, генерируемое Nano Banana сопоставимо с результатами более крупных и ресурсоемких систем.
Официально Google пока не объявляла дату запуска и не раскрывала информацию о ценах.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤58👍18🔥14😁5❤🔥1
✔️ Российские учёные предложили новый способ борьбы с галлюцинациями ИИ
Одна из главных проблем больших языковых моделей — они могут генерировать правдоподобные, но ложные ответы.
Исследователи из Сбера разработали метамодели, которые повышают точность обнаружения ложных ответов обучаемыми локальными моделями почти на 30% при использовании малого количества данных для обучения. На тестах подход сработал лучше, чем многие закрытые коммерческие решения: уже при обучении на 250 примерах удалось добиться результатов, сопоставимых с применением крупнейших LLM в качестве оценщиков.
Выгода очевидна — компании могут сильно сэкономить ресурсы на разметку данных, ученые получают новый инструмент для анализа больших языковых моделей, а пользователи — более точные ответы от AI-моделей.
Одна из главных проблем больших языковых моделей — они могут генерировать правдоподобные, но ложные ответы.
Исследователи из Сбера разработали метамодели, которые повышают точность обнаружения ложных ответов обучаемыми локальными моделями почти на 30% при использовании малого количества данных для обучения. На тестах подход сработал лучше, чем многие закрытые коммерческие решения: уже при обучении на 250 примерах удалось добиться результатов, сопоставимых с применением крупнейших LLM в качестве оценщиков.
Выгода очевидна — компании могут сильно сэкономить ресурсы на разметку данных, ученые получают новый инструмент для анализа больших языковых моделей, а пользователи — более точные ответы от AI-моделей.
❤76👍43🤣30🔥14😁8🤔7🤷2😢1👨💻1