297K subscribers
3.99K photos
700 videos
17 files
4.57K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
加入频道
🚀 6 День недели опенсорса: DeepSeek-V3/R1 Inference System!

DeepSeek выкатил подробный обзор своего инференса для моделей DeepSeek-V3/R1 – с акцентом на архитектурные инновации и невероятную экономическую эффективность.

DeepSeq R1 ежедневно приносит более $560 000, причем затраты на GPU составляют всего $87 000. Что озночает рентабельность в 545 %.

При таких расчетах теоретическая годовая выручка могла бы превысить $200 млн.

Компания также отметила, что затраты на обучение моделей составили менее $6 млн. Для сравнения, американские конкуренты, такие как OpenAI, инвестируют миллиарды долларов в обучение ИИ с использованием чипов NVIDIA H100. DeepSeek использует менее мощные NVIDIA H800, но это не мешает её моделям успешно конкурировать на глобальном рынке.

Данные за 24 часа:
– Входные токены: 608 млрд (с 56.3% cache hit rate)
– Выходные токены: 168 млрд при скорости 20–22 токена/с

Разительный контраст с американскими конкурентами, работающими в убыток.

Такой уровень доходности достигается за счёт оптимизированного распределения вычислений и гибкой архитектуры.

🌟 В DeepSeek-V3/R1 используется Cross-node Expert Parallelism (EP) — метод, при котором модель делится между GPU-узлами, а каждая видеокарта обрабатывает лишь небольшую часть модели. Эксперты распределяются между узлами кластера, что снижает нагрузку на память GPU, увеличивает размер батча и позволяет равномерно загружать видеокарты, избегая простоев. Это ускоряет вычисления и минимизирует задержки.

🌟 Для обработки данных DeepSeek-V3/R1 использует двухфазную стратегию инференса.

1) Prefilling фаза — здесь bспользуется EP32, где каждый GPU получает 9 направляемых экспертов и 1 общего эксперта, что позволяет минимизировать расходы на обработку данных.

2) Для Decoding используется EP144, перераспределяющий нагрузку так, что каждый GPU управляет 2 направляемыми экспертами и 1 общим экспертом. Такая стратегия помогает достичь высокой производительности без потери качества ответа.

– ~73.7k токенов/с для prefilling
– ~14.8k токенов/с для декодинга на одном узле H800

Данные за 24 часа:
– Входные токены: 608 млрд (с 56.3% cache hit rate)
– Выходные токены: 168 млрд при скорости 20–22 токена/с


🔗 Подробнее: *клик*

@ai_machinelearning_big_data


#AI #DeepLearning #DeepSeek #ml #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
32👍22🔥10👏1
🔥 Самые интересные ИИ Релизы из Китая за февраль 2025

MLLM:
Ovis2 - мультимодальная LLM, выпущенная командой Alibaba AIDC.

Аудио:
Step Audio TTS от StepFun ai качественная модель синтеза речи.
InspireMusic от Alibaba – модель для генерации музыки.
Baichuan Audio от BaichuanAI – Audio LLM

Видео:
Wan2.1 от Alibaba – мощный опенсорсный генератор видео,
URL:
Stepvideo-T2V модель Text-to-Video
SkyReels-V1 еще один Text-to-Video.
С фокусом на человека в кадре
LLaDA-8B – диффузионная 8B модель обученная полностью с нуля и конкурирующую с LLaMA3 8B по производительности.

MoE:
Moonlight-16B - мощная модель с архитектурой MoE для сложных задач.

Reasoning:
TinyR1-32B - перспективная модель рассуждений на 32B

• Целая неделя опенсорса от DeepSeek.

Датасет:
Chinese DeepSeek R1-Distill data -110k – масштабный датаяет обучения и на китайском.

•ByteScale представили новую стратегию параллелизма, и рассказ про эффективное масштабирование обучения LLM с длиной контекста 2048 КБ на более чем 12 000 графических процессоров

@ai_machinelearning_big_data


#ai #releases #opensource #digest
Please open Telegram to view this post
VIEW IN TELEGRAM
👍34🔥156
✔️ Создатель C++ бьет тревогу из-за "серьезных атак" на язык программирования.

Бьярне Страуструп, создатель C++, обратился к сообществу с призывом защитить язык, который в последние годы подвергается критике со стороны кибербезопасности и технических экспертов из-за проблем с ручным управлением памяти. C и C++ полагаются на него, что приводит к ошибкам выхода за пределы чтения и записи, которые, в свою очередь становятся источником для уязвимостей и составляют большинство проблем в крупных проектах.

Страуструп признает, что C++ нуждается в срочных мерах для улучшения безопасности, особенно в свете рекомендаций правительственных агентств, которые рекомендуют отказаться от использования "небезопасных" языков к 2026 году. Он предлагает использовать фреймворк "Profiles", который может помочь в решении этих проблем, но скептики считают, что это решение не будет готово вовремя.
theregister.com

✔️ ByteDance выпустила первую в Китае ИИ-IDE Trae

ByteDance официально выпустила «Trae», интегрированную среду разработки ИИ (AI IDE). Trae работает с моделью Doubao 1.5 Pro и может переключаться на полноценные версии DeepSeek R1 и V3.

Trae поддерживает автодополнение кода, понимание кода, исправление ошибок и генерацию кода на основе естественного языка. В ней есть новый режим Builder, который позволяет разработчикам быстро генерировать и оптимизировать код с текстовых помощью описаний.

Внутренняя версия Trae оптимизирована для сценариев разработки в Китае и предлагает версии для Mac и Windows, версия для Linux и возможность подключения в API провайдеров языковых моделей будут выпущены позже.
trae.com.cn

✔️ Microsoft представила Dragon Copilot: ИИ для врачей.

Dragon Copilot - инструмент с голосовыми возможностями на базе ИИ, его цель - облегчить бремя административных задач для медицинских работников. Он объединяет в себе возможности Dragon Medical One и DAX Copilot, позволяя врачам оперативно получать доступ к медицинской информации и автоматически формировать различные документы, выписки и направления.

По словам представителей Microsoft, Dragon Copilot должен вернуть врачам возможность сосредоточиться на пациентах, а не на рутинной бумажной работе, что, как ожидается, приведет к улучшению качества медицинской помощи. Доступ к Dragon Copilot будет осуществляться через мобильное приложение, браузер или десктопное приложение, с интеграцией в различные виды электронных медсистем.
news.microsoft.com

✔️ Google SpeciesNet : модель ИИ для идентификации видов животных.

Google опубликовала SpeciesNet, опенсорс-модель для идентификации биологических видов на основе анализа фотоснимков, полученных с автоматических камер слежения.
Исследователи в различных регионах мира используют подобные устройства для изучения популяций диких животных, но обработка получаемых данных представляет собой трудоемкий процесс из-за их объема. SpeciesNet, обученная на массиве из 65 млн. изображений, оптимизирует процедуру анализа.

Система способна классифицировать изображения по 2 тыс. категорий - как отдельные виды животных, так и более широкие таксономические группы.
techcrunch.com

✔️ Sinumerik Machine Tool Robot от Siemens: новая эра в промышленной робототехнике.

Siemens AG объявила о выпуске революционного продукта в области промышленной робототехники – Sinumerik Machine Tool Robot (MTR). Он обеспечивает увеличение точности траектории на 200–300 % по сравнению с традиционными промышленными роботами, а повышение производительности достигает 20–40 % благодаря инновационным концепциям управления.

В основе MTR лежит интеллектуальная система управления Sinumerik One - цифровая система ЧПУ нового поколения от Siemens. Она наделяет промышленных роботов характеристиками станков, делая их идеальными для высокоточных операций даже при обработке сверхтвердых материалов.

Технология будет представлена на выставках JEC, EMO (на стендах Danobat и Siemens) и Automatica (на стенде Siemens).
press.siemens.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5721🥰5🌚1😐1
CogView4-6B – свежая Text2Image
Модель генерации изображений, разработанный командой THUDM.

По качеству она конкурирует с flux/lumina.

Архитектура модели 6B DIT и 9B TextEncoder Демка показывает очень высокое качество следования заданному промпту.

CogView4 поддерживает очень длинный контекст.

Генерирует изображения от 512 до 2048 пикселей.

Ввод на китайском, и на английском.

Лицензия
: Apache 2.0

Model: https://huggingface.co/THUDM/CogView4-6B
Demo: https://huggingface.co/spaces/THUDM-HF-SPACE/CogView4
Github: https://github.com/THUDM/CogView4
Paper: https://arxiv.org/abs/2403.05121

@ai_machinelearning_big_data


#AI #CogView4 #OpenSource #TextToImage
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍33🔥1191
🔥 Cohere только что выпустили Aya Vision

Aya Vision 8B и 32B, превосходят конкурентов, включая Llama 3.2 на 90B Vision и Gemini Flash 1.5 8B🚀

> Модель 8B: достигает SOTA в своем классе

> 32B Модель: Превосходит модели в 2 раза большье по размеру,

> Поддерживает 23 языка

> Aya Vision 32B превосходит модели большего размера (например, Llama-3.2 90B Vision, Molmo 72B) с показателями 50%-64% на бенчмарке AyaVisionBench и 52%-72% на mWildVision

> 8B достигает лучших показателей, решая 79%-81% задач, обходя топовые модели своего класса (например, Qwen2.5-VL 7B, Gemini Flash 1.5 8B)

Динамическое изменение размера и токенизацияя: изображения с высоким разрешением делится на тайлы, а Pixel Shuffle сжимает количество токенов в 4 раза, что снижает вычислительные затраты.

Weights: https://huggingface.co/collections/CohereForAI/c4ai-aya-vision-67c4ccd395ca064308ee1484
Post: https://huggingface.co/blog/aya-vision

@ai_machinelearning_big_data
👍36🔥153
✔️ OpenAI запускает программу NextGenAI.

OpenAI запускает NextGenAI — совместную программу с 15 НИИ, направленную на ускорение научных прорывов и трансформацию образования с использованием ИИ. OpenAI планирует выделить на финансирование исследований 50 млн. долларов.

Программа объединяет институты в США и за рубежом. Среди партнеров Калифорнийский технологический институт, Гарвардский университет и Массачусетский технологический институт, а также Бостонская детская больница и Бостонская публичная библиотека.

Цель NextGenAI — укрепить связи между академическими кругами и реальным сектором, гарантируя, что преимущества ИИ будут распространены на научные лаборатории и социально значимые проекты.
openai.com

✔️ Китай планирует запустить новую политику по продвижению архитектуры RISC-V.

Китай разрабатывает новую политику по расширению применения архитектуры микросхем с открытым исходным кодом RISC-V в попытке снизить свою зависимость от западных технологий микросхем.

В настоящее время многие учреждения разрабатывают чипы на базе RISC-V, а компании, например, Qualcomm уже создали специальные подразделения для популяризации этой архитектуры. Ожидается, что политика будет представлена ​​в этом месяце, а RISC-V станет альтернативой архитектурам x86 и ARM.
reuters.com

✔️ Stability AI и Arm: генеративный звук теперь на смартфонах и без интернета.

Stability AI в сотрудничестве с Arm представила возможность генерации высококачественных звуковых эффектов и аудиосэмплов прямо на мобильных устройствах, без необходимости подключения к интернету. Это стало возможным благодаря использованию библиотек Arm KleidiAI и технологии Stable Audio Open от Stability AI.

Так время генерации аудио на ARM-устройствах сократилось в 30 раз, с 240 до 8 секунд на процессорах Armv9. Увидеть демонстрацию работы Stable Audio Open можно будет на выставке MWC в Барселоне 3 марта 2025 года.
stability.ai

✔️ Operator от Opera: AI-агенты в браузере.

Opera анонсировала браузер Operator, который сам выполняет задачи пользователя в интернете. Он содержит встроенный ИИ-агент, способный покупать товары, искать информацию и выполнять другие действия по запросу пользователя. Operator также способен управлять подписками и онлайн-аккаунтами - он найдет все активные подписки и предложит отменить ненужные. Operator может автоматически оплачивать счета и загружать банковские выписки.

В отличие от обычных браузеров, Operator анализирует DOM Tree и структуру страницы, чтобы быстро и эффективно выполнять задачи. Пользователь может видеть весь процесс и контролировать его.
Operator скоро станет доступен в рамках программы Opera Feature Drop.
blogs.opera.com

✔️ Amazon готовится выпустить конкурента GPT-o

Amazon разрабатывает новую модель ризонинга - Nova, которая должна составить конкуренцию OpenAI и Anthropic. Релиз Nova запланирован в июне этого года и будет отличаться высокой производительностью и экономической эффективностью.

Amazon ставит перед собой цель войти в топ-5 лучших ИИ-моделей по результатам внешних оценок, с фокусом в задачах, связанных с разработкой программного обеспечения и математическим мышлением. Разработкой занимается команда AGI под руководством Rohit Prasad.
businessinsider.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5419🔥6💘2🥰1
🍏 Apple представила чип M3 Ultra – самый быстрый процессор, когда-либо созданный для Mac.

Новый M3 Ultra дебютировал в Mac Studio и сочетает в себе 32-ядерный CPU (из которых 24 – высокопроизводительные, а 8 – энергоэффективные) с 80-ядерным GPU и поддержкой до 512 ГБ🔥

Этого хватит для 4-битного Deep Seek R1 и еще останется место.

По заявлениям Apple, этот чип работает в 1,5 раза быстрее, чем M2 Ultra, и на 1,8 раза быстрее, чем M1 Ultra.

Цены на M4 Max начинаются в США с $2000 до уплаты налогов. За эти деньги вы получите 36 ГБ объединённой памяти и SSD на 512 ГБ.

А вот M3 Ultra начинается с $4000. Внутри 96 ГБ объединённой памяти и SSD на 1 ТБ.

С M4 удалось добиться таких результатов:
► обработка изображений в Adobe Photoshop в 1,6 раза быстрее в сравнении с Mac Studio с M1 Max и до 2,9 раз быстрее по сравнению с 27-дюймовым iMac с Core i9

► до 2,1 раза выше производительность сборки при компиляции кода в Xcode по сравнению с Mac Studio с M1 Max и до 3,1 раза быстрее по сравнению с 27-дюймовым iMac с Core i9

► производительность ProRes в Compressor до 1,2 раза выше по сравнению с Mac Studio с M1 Max и до 2,8 раз быстрее по сравнению с 27-дюймовым iMac с Core i9

► производительность обработки видео в Topaz Video AI до 1,6 раз выше по сравнению с Mac Studio с M1 Max и до 5 раз быстрее по сравнению с 27-дюймовым iMac с Core i9

С M3 Ultra удалось добиться таких результатов:
► до 16,9 раз быстрее генерация токенов с использованием LLM с сотнями миллиардов параметров в LM Studio по сравнению с Mac Studio с M1 Ultra

► рендеринг сцены до 2,6 раза быстрее в Maxon Redshift по сравнению с Mac Studio с M1 Ultra и до 6,4 раза быстрее по сравнению с 16-ядерным Mac Pro на базе Intel с Radeon Pro W5700X

► до 1,4 раза выше производительность рендеринга видео 8K в Final Cut Pro по сравнению с Mac Studio с M1 Ultra и до 4 раз выше по сравнению с 16-ядерным Mac Pro на базе Intel с Radeon Pro W5700X

@ai_machinelearning_big_data


#apple #Mac #M3Ultra #M4Max
Please open Telegram to view this post
VIEW IN TELEGRAM
78👍27🔥11🤣11🥱7🤷‍♂6😁1👌1
✔️ Qwen выпустила QwQ-32B.

QwQ-32B - модель с 32.5В параметров, контекстной длиной до 131К токенов, была обучена с RL и показала в тестах высокую производительность в математических рассуждениях, программировании и общих задачах, сопоставимую с DeepSeek-R1.

Модель распространяется под Apache 2.0 и уже доступна на Hugging Face. Она поддерживает вызовы инструментов и адаптивные рассуждения на основе обратной связи от окружающей среды. Попробовать QwQ-32B можно в этом демо-спейсе.
qwenlm.github.io

✔️ Huggingface анонсировал "Hybrid inference" для GenAI.

Huggingface представил экспериментальную функцию "Hybrid inference", ее цель - упростить и ускорить выполнение локальных задач генерации за счет использования эндпоинтов HF. Разработка предлагает доступ к мощным моделям без необходимости в локальном дорогостоящем оборудовании. Как утверждается, качество генерации остается на высочайшем уровне без компромиссов в производительности.

Использование "Hybrid inference" бесплатное и полностью совместимо с Diffusers. На данный момент доступна функция VAE Decode для SD и SDXL. В ближайшем будущем ожидается появление VAE Encode и Text Encoders. Интеграция уже реализована в SD.Next и ComfyUI-HFRemoteVae.
huggingface.co

✔️ Пионеры машинного обучения Барто и Саттон удостоены премии Тьюринга.

Эндрю Барто и Ричард Саттон стали лауреатами престижной премии Тьюринга 2024 года. Их фундаментальные разработки в области обучения с подкреплением, заложенные еще в 80-х годах, лежат в основе современных технологий в ИИ.

В сочетании с глубоким обучением, их методы привели к таким достижениям, как победа AlphaGo над чемпионом мира и обучение больших языковых моделей. Работа Барто и Саттона, по мнению экспертов, является прямым ответом на вызов Алана Тьюринга о создании обучаемых машин, а совместный учебник 1998 года стал настоящей библией для исследователей.
amturing.acm.org

✔️ Google запускает "AI Mode" в поиске.

Google представила экспериментальный режим "AI Mode" для своего поисковика, основанный на модифицированной версии модели Gemini 2.0. Новая функция, подобно ChatGPT и Perplexity, способна обрабатывать сложные запросы, объединяя результаты нескольких поисков в один связный ответ.

Доступ к новинке предоставляется по платной подписке Google One AI Premium в рамках программы Labs. Наряду с этим, Google улучшает существующие "AI Overviews", которые теперь смогут лучше справляться с программированием и математикой.
blog.google

✔️ CoreWeave покупает Weights & Biases.

AI Hyperscale CoreWeave объявил о стратегическом приобретении Weights & Biases. Покупка должна стать частью стратегии о создании комплексной платформы для разработки и внедрения ИИ-приложений.

Компания Weights & Biases, основанная в 2017 году, является лидером в сфере MLOps и LLMOps, ее решения востребованы OpenAI и NVIDIA. Ожидается, что сделка будет завершена в первой половине 2025 года.
prnewswire.com

✔️ Grok-3 может быть не готов к корпоративному использованию: независимый анализ.

По словам Рэнделла Ханта, технического директора Caylent, реальность Grok-3 сильно отличается от его маркетинга. Grok-3 чрезвычайно легко поддается манипулированию через джейлбрейк, демонстрирует неожиданную саркастичность, медлительность и частые ошибки в ответах.

Даже простые тесты на логику, вроде игры в крестики-нолики, оказались ей не под силу. Эти проблемы делают Grok-3 практически бесполезным для бизнес-задач. Хотя скорость работы модели, по некоторым данным, и увеличилась с момента первого релиза, ее легкая "взламываемость" вызывает серьезные опасения у потенциальных корпоративных пользователей. Хант также критикует чрезмерную зависимость индустрии от статичных бенчмарков, которые не всегда отражают реальную применимость AI-моделей.
forbes.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍36🔥146🥰1
📌 PyTorch: новые инструменты для для экономии памяти при обучении моделей.

PyTorch представил усовершенствованные методы Activation Checkpointing (AC), цель которых - снижение потребления памяти при обучении.

Традиционный подход в eager mode сохраняет промежуточные активации для обратного прохода, что зачастую приводит к значительному расходу ресурсов. AC позволяет не сохранять эти тензоры, а вычислять их заново при необходимости, тем самым жертвуя вычислительным временем ради экономии памяти.

Новая техника – Selective Activation Checkpoint (SAC). В отличие от обычного AC, который затрагивает всю выбранную область, SAC дает гранулярный контроль над тем, какие операции следует пересчитывать, а какие – сохранять. Это достигается за счет использования policy_fn, определяющей, нужно ли сохранять результаты конкретной операции. SAC будет полезен для избегания перевычисления ресурсоемких операций, например, матричных умножений.

Для torch.compile стала доступна Memory Budget API. Эта функция автоматически применяет SAC с оптимальной политикой, исходя из заданного пользователем бюджета памяти (от 0 до 1). Бюджет 0 соответствует обычному AC, а 1 – поведению torch.compile по умолчанию.

🔜 Читать подробную статью в блоге Pytorch


@ai_machinelearning_big_data

#AI #ML #Pytorch
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥37👍229
This media is not supported in your browser
VIEW IN TELEGRAM
🚀🚀🚀 HunyuanVideo I2V - новая версия одной из лучших опенсорс моделей преобразования изображения в видео!

Код обучения I2V здесь! 🛩️🛩️🛩️🛩️🛩️🛩️

Китайский зверь с 13B-параметрами.

Единственная модель, которая может сравниться с Runway Gen-3 и Wan 2.1.

Генерации выглядит хорошо!

Github
: https://github.com/Tencent/HunyuanVideo-I2V
HF: https://huggingface.co/tencent/HunyuanVideo-I2V

@ai_machinelearning_big_data

#Imagetovideo #diffusionmodels #videogeneration #imagetovideo #generation
Please open Telegram to view this post
VIEW IN TELEGRAM
👍30🔥1413
Machinelearning
🌟Начался новый сезон PROD – первой в России олимпиады по промышленной разработке для школьников. О начале второго сезона олимпиады объявил Т-Банк совместно с Центральным университетом и факультетом компьютерных наук НИУ ВШЭ. В рамках PROD школьники смогут…
🌟В Москве завершилась уникальная международная олимпиада по промышленной разработке PROD от Центрального университета, Т-Банка и НИУ ВШЭ

Участниками PROD стали более 4 000 школьников со всего мира, в том числе из Великобритании, Германии и Китая. Это единственная в мире олимпиада такого масштаба, где задания —- это реальные задачи бизнеса по автоматизации процессов и разработке приложений, которые помогают компаниям повышать эффективность и сокращать затраты.

В финале 235 школьников соревновались в разработке полноценных ИТ-продуктов таких, как платформа для проведения соревнований по анализу данных, сервис для обмена книгами, а также проект по созданию программ лояльности для партнеров Т-Банка.

Победителями стали 17 школьников из России и Беларуси. Они получили грант в размере 100% на обучение в Центральном университет, скидку до 90% на совместный бакалавриат Факультета компьютерных наук НИУ ВШЭ и Центрального университета и возможность пройти упрощенный отбор на стажировку в Т-Банк.

🟡Страница проекта

@ai_machinelearning_big_data

#AI #ML #Pytorch
👍48🤣3412🗿4🥰2😁2👌1