287K subscribers
3.98K photos
687 videos
17 files
4.56K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
加入频道
✔️ Подтвержден выпуск Claude 3.7 Sonnet

AWS Badrock готовятся разместить новую версию Sonnet 3.7, которая, скорее всего, будет анонсирована сегодня во время мероприятия Amazon.

* Модель в настоящее время скрыта и не отображается в пользовательском интерфейсе

Инсайдеры раскопали, что модель достигает SOTA в кодинге, агентных способностях, сложном рассуждении и генерации контента.

Благодаря высокой производительности и контролю над скоростью работы, Claude 3.7 Sonnet заточена для реализации AI-агентов и комплексных AI-решений.

Источник: https://archive.is/BkvLb

@data_analysis_ml - подпистаться
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥51👍167😁1
⚡️ EasyR1 – эффективный и масштабируемый фреймворк для обучения с подкреплением (RL) с поддержкой мультимодальных данных.

Чем интересен EasyR1?
EasyR1 сочетает в себе алгоритм GRPO, продемонстрированный в DeepSeek R1, и расширение системы veRL для поддержки vision-language моделей, таких как Qwen2.5-VL.

Уже после 30 шагов обучения фреймворк показал прирост производительности на 5% в экспериментах на тестовом наборе Geometry3k.

Это делает его привлекательным инструментом для исследователей и разработчиков, работающих с задачами, где объединяются визуальные и текстовые данные.

Фреймворк спроектирован так, чтобы быть масштабируемым и легко интегрироваться с различными алгоритмами RL, что открывает широкие возможности для дальнейших исследований.

Ожидайте будущих обновлений – в них планируется интеграция дополнительных алгоритмов RL и новых архитектур VLM.

Github

@ai_machinelearning_big_data


#EasyR1 #opensource #GRPO #VLM
👍30🔥125
Анализ данных (Data analysis)
✔️ Подтвержден выпуск Claude 3.7 Sonnet AWS Badrock готовятся разместить новую версию Sonnet 3.7, которая, скорее всего, будет анонсирована сегодня во время мероприятия Amazon. * Модель в настоящее время скрыта и не отображается в пользовательском интерфейсе…
А вот и релиз!

Antrhopic выпустили свою ризонинг модель — Claude 3.7 Sonnet.

Новая версия превосходит 3.5 Sonnet и OpenAI o1 на SWE-bench.

Цена api осталось прежней.

С Sonnet 3.7 Anthropic явно сосредоточился на программировании. Другие области, по-видимому, не были для них особенно важны.

Есть улучшения в MMLU и GPQA, но гигантский скачок только в SWE. Очевидно, что Anthropic хочет позиционировать Sonnet как ИИ для кодинга, которым он уже является.

Попробовать можно бесплатно тут.

@ai_machinelearning_big_data
10🔥57👍218🤬3🗿2
✔️ Неделя Опенсорса от DeepSeek продолжается!

Только что китайцы представили DeepEP — это библиотека, разработанная для оптимизации работы моделей с архитектурой Mixture-of-Experts (MoE) и параллелизмом экспертов (EP).

Ее основная задача — обеспечить высокую пропускную способность и низкую задержку при обмене данными между GPU, что критически важно для эффективного обучения и инференса крупных моделей.

Что внутри
Высокая производительность:
- Библиотека предоставляет оптимизированные all-to-all GPU ядра для операций распределения (dispatch) и объединения (combine) данных, что улучшает скорость и эффективность коммуникации между экспертами в модели.

- DeepEP поддерживает операции с пониженной точностью, включая формат FP8, что способствует снижению требований к памяти и увеличению скорости вычислений без значительной потери точности.

- Оптимизация под различные домены: В соответствии с алгоритмом группового ограниченного гейтинга, предложенным в работе DeepSeek-V3, библиотека предлагает набор ядер, оптимизированных для асимметричной передачи данных между различными доменами, такими как NVLink и RDMA. Это обеспечивает высокую пропускную способность при обучении и инференсе.

- Низкая задержка для инференса: Для задач, чувствительных к задержкам, DeepEP включает набор ядер с чистой RDMA, минимизируя задержки и обеспечивая быструю обработку данных во время инференса.

- Работает как с NVLink, так и с RDMA, что позволяет организовать высокопроизводительную связь между GPU как в рамках одного сервера, так и между разными серверами.

Принцип работы:

DeepEP интегрируется в существующие рабочие процессы обучения и инференса моделей с архитектурой MoE, предоставляя эффективные механизмы для обмена данными между GPU. Используя оптимизированные коммуникационные ядра, библиотека обеспечивает быструю и надежную передачу данных, что особенно важно при работе с крупными моделями и распределенными системами. Поддержка операций с пониженной точностью и оптимизация под различные домены позволяют гибко настраивать систему под конкретные требования и аппаратные возможности.

Использование DeepEP способствует повышению эффективности и производительности моделей MoE, облегчая их масштабирование и ускоряя процессы обучения и инференса.

Github

@ai_machinelearning_big_data


#ai #deepseek #opensource #DeepEP
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍44🔥168
✔️ Deepseek FlashMLA: ядро ​​декодирования MLA, оптимизированное для GPU Hopper.

В первый день анонсированного на прошлой неделе мероприятия "5 дней опенсорс-проектов" Deepseek опубликовала проект FlashMLA. Это ядро оптимизировано для последовательностей переменной длины, поддерживает BF16 и использует страничный KV (с размером блока 64). Вся эта совокупность позволяет значительно повышать эффективность вычислений.

На H800 FlashMLA показал пропускную способности памяти до 3000 ГБ/с и вычислительную производительность в 580 терафлопс. FlashMLA ускорит процесс рассуждений ИИ и обеспечит более эффективные решения в сфере обработки естественного языка.
Deepseek в X (Twitter)

✔️ Alibaba объявила об инвестициях в размере 53 млрд долларов в создание облачной и аппаратной инфраструктуры ИИ.

Alibaba Group планирует инвестировать более 380 миллиардов юаней (около 53 миллиардов долларов США) в развитие облачной инфраструктуры и технологий ИИ в течение следующих 3 лет. Объем этой инвестиция превышает все предыдущие вложения Alibaba в облачные технологии и ИИ за последнее десятилетие и является крупнейшей инвестицией частной китайской компании в эту сферу. Решение об инвестировании было принято на фоне бурного роста индустрии ИИ в Китае и после совещания с участием высших китайских руководителей, посвященного частным предприятиям.
english.news.cn

✔️ Google опубликовала тарифы на Veo 2: 50 центов за секунду.

Согласно информации на странице проекта, каждая секунда сгенерированного видео обойдётся пользователям в 50 центов. Это означает, что минута видео будет стоить $30, а час — $1800. Для сравнения, инженер Google DeepMind Джон Бэррон привёл пример с бюджетом фильма «Мстители: Финал», где стоимость одной секунды составила около $32 000.

Veo 2 пока не способен генерировать длинные видеоролики, модель ориентирована на продолжительность генерации до двух минут. Тем не менее, такие цены вызывают вопросы о доступности технологии для широкого круга пользователей.
techcrunch.com

✔️ MongoDB приобретает компанию Voyage AI для борьбы с галлюцинациями.

MongoDB приобрела компанию Voyage AI за 220 млн. долларов, чтобы помочь своим клиентам создавать более качественные приложения на основе ИИ. Сделка направлена на обеспечение высокоточной и релевантной выдачи информации, тесно интегрированной с операционными данными.

Технология Voyage AI позволяет извлекать смысл из специализированных текстов и неструктурированных данных: юридических и финансовых документов, изображений и корпоративных баз знаний. Объединение этих технологий с инфраструктурой MongoDB позволит создать максимально надежное решение для разработчиков ИИ.
bloomberg.com

✔️ Perplexity анонсировала собственный AI-браузер Comet.

Perplexity AI готовится к запуску собственного веб-браузера под названием Comet. Компания заявила, что Comet "переосмыслит" сам подход к веб-серфингу, подобно тому, как Perplexity изменила представление о поиске информации. Этот анонс может стать прямым вызовом Google, доминирующим в сфере браузеров. Дата релиза пока неизвестна, но доступна запись в лист ожидания по ссылке.
zdnet.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3113🔥5🥰1
⚡️ YandexGPT 5: модель нового поколения от Яндекса и возвращение компании к публикации LLM-моделей в опенсорс впервые с 2022 года.

Яндекс анонсировал новое поколение больших языковых моделей — YandexGPT 5, включающее Pro и Lite версии.

▶️ YandexGPT 5 Lite

YandexGPT 5 Lite 8B уже доступна на Hugging Face. Модель обучалась в два этапа: претрейн на массиве русско- и англоязычных текстов объёмом 15T токенов и этап Powerup на высококачественных данных объёмом 320B токенов. Она опубликована без финального этапа обучения, этических фильтров и алайнмента, что делает её удобной для исследований и дообучения под специфические задачи разработчиков.

Модель имеет контекстное окно 32k токенов, а в своей категории достигает паритета с мировыми SOTA по ключевым бенчмаркам для pretrain-моделей.

▶️ YandexGPT 5 Pro

В разработке Pro-версии применены значительные улучшения: переработанный датасет с более сложными и разнообразными примерами, усложнённые тренировочные задания, внедрение DPO и PPO с собственной модификацией LogDPO против «разучивания», оптимизация через YaFSDP (-25% вычислительных ресурсов), гибридное обучение с использованием базовых настроек Qwen.

По тестам YandexGPT 5 Pro:

🟢 Достигает уровня GPT-4o в международных тестах и их русскоязычных адаптациях

🟢 Превосходит Qwen-2.5-32b-Instruct в работе с фактами и форматированием, немного уступая в вычислениях

⚠️Pro-версия уже внедрена в чат с Алисой и доступна через API в Yandex Cloud, где может использоваться как в базовой версии, так и с подключением к Поиску.

🟡 Статья

@ai_machinelearning_big_data

#AI #ML
Please open Telegram to view this post
VIEW IN TELEGRAM
👍82🤣3116🥰3🤨3🔥2👌1🗿1
This media is not supported in your browser
VIEW IN TELEGRAM
🔥Google сделали Gemini Code Assist бесплатным.

🌐 Поддержка всех языков программирования в открытом доступе
💡 Окно контекста 128K токенов

https://blog.google/technology/developers/gemini-code-assist-free/

https://codeassist.google/products/individual

@ai_machinelearning_big_data
49🔥44👍17🤨3🌚2
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 Модель Wan2.1-T2V-14B от команды Wan-AI – новый топовый опенсорс инструмент генерации видео, который объединяет в себе несколько интересных особенностей.

⚡️ Мощная архитектура 14 млрд параметров

Модель способна детально прорабатывать сцены и динамику, генерируя высококачественные видео, где каждая деталь выглядит реалистично.

Модель поддерживает:

- Text-to-Video: генерация видео по текстовым запросам.
Image-to-Video: преобразование статических изображений в анимированные видеоролики.
- Видео-редактирование: внесение изменений в уже существующие видео.
- Text-to-Image: создание изображений на основе текста.
- Video-to-Audio: синтез аудио, соответствующих содержанию видео.
Такая универсальность делает модель полезной для широкого спектра приложений.

Использование видео VAE (вариационного автоэнкодера)
В основе модели лежит мощный видео VAE, который эффективно кодирует и декодирует видеоконтент. Это позволяет:

- Обрабатывать видео высокого разрешения (до 1080p).
- Сохранять временную динамику и последовательность кадров.
- Обеспечивать плавное и согласованное воспроизведение движения.
- Оптимизация для потребительских видеокарт

Несмотря на свои масштабы, модель оптимизирована для работы на современных GPU.

Например, версия T2V-1.3B требует всего 8,19 ГБпамяти и способна генерировать 5-секундное видео с разрешением 480p примерно за 4 минуты на RTX 4090 без применения дополнительных оптимизаций.

Как работает:

Ввод данных: Пользователь может задать текстовое описание, предоставить изображение или даже видео, в зависимости от задачи.
Кодирование: Виде VAE преобразует входные данные в компактное представление, сохраняя при этом критически важную информацию о сцене и динамике.
Генерация: На основе этого представления и с использованием огромного количества параметров модель генерирует новый видеоряд, который соответствует заданному описанию или образцу.
Декодирование: Затем VAE декодирует это представление обратно в полноценное видео, где соблюдаются все временные и визуальные детали.

Таким образом, Wan2.1-T2V-14B выделяется своей способностью не только создавать качественные видео по текстовому описанию, но и решать множество сопутствующих задач (от редактирования до генерации аудио), оставаясь при этом оптимизированной для работы на доступном оборудовании.

Это делает её одной из самых перспективных разработок в области генеративного видео на сегодняшний день.

🟡 Github: https://github.com/Wan-Video/Wan2.1/
🟡HF: https://huggingface.co/Wan-AI/Wan2.1-T2V-14B
🟡Model Scope: https://modelscope.cn/organization/Wan-AI

@ai_machinelearning_big_data

#TexttoVideo #ai #ml #video #wanai
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥63👍316
✔️ 3 день недели Опенсорса от DeepSeek

⭐️ DeepGEMM — это не просто очередная библиотека для матричных умножений, а настоящий «мастер-класс» по оптимизации FP8 GEMM для новейших GPU.

Проект написан на CUDA и рассчитан исключительно на использование тензорных ядер архитектуры NVIDIA Hopper, что уже само по себе делает его очень современным 🖥

В основе DeepGEMM лежит идея максимально эффективного выполнения операций умножения матриц с использованием 8-битной точности.

Для решения проблемы накопления в FP8 (которое может давать неточные результаты) разработчики внедрили двухуровневое накопление, которое использует возможности CUDA-ядра для повышения точности без потери производительности.

Что действительно радует – это минимализм кода.

Ядро библиотеки представлено всего в одном ключевом модуле, состоящем примерно из 300 строк, что позволяет легко разобраться в его работе и даже внести собственные улучшения.

При этом все ядра компилируются «на лету» с помощью легковесного JIT-компилятора, так что нет долгого этапа сборки при установке.

DeepGEMM поддерживает разные режимы работы: обычные GEMM для плотных моделей, а также группированные операции для моделей типа Mix-of-Experts, где требуется обрабатывать данные в нескольких форматах – как в «континуальном», так и в «masked» виде. Это особенно актуально для современных решений в области глубокого обучения.

Оптимизации, заложенные в DeepGEMM, включают использование новых функций Hopper, таких как Tensor Memory Accelerator (TMA) для асинхронной передачи данных, а также тонкую настройку блоковых размеров и оптимизацию инструкций FFMA для лучшего перекрытия вычислений и загрузки данных. Результаты говорят сами за себя: производительность этой библиотеки на ряде тестовых примеров сравнима или даже превосходит решения, построенные на базе CUTLASS.

DeepGEMM – это лаконичный и эффективный инструмент, который может послужить отличной базой для исследований и практических разработок в области ускорения вычислений для глубокого обучения.

Github


#ai #deepseek #opensource #DeepEP #OpenSourceWeek:
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥43👍2216🥰2😴1
🌟 Платформу для работы с открытым кодом GitVerse интегрировали в RuStore

Благодаря специальному расширению цикл разработки и доставка обновлений существенно ускоряются: теперь разработчики могут напрямую публиковать созданные на GitVerse мобильные приложения.

Теперь достаточно встроить автоматизированный этап в CI/CD-конвейер и отправить приложение на модерацию через консоль RuStore или API. Кроме того, для запуска сборки теперь нужен всего один клик. Новые функции не требуют локальных настроек и значительно уменьшают вероятность ошибок.

В GitVerse можно организовать разработку любых проектов: платформа позволяет писать и проверять код, автоматизировать CI/CD-процессы, управлять задачами и вести документацию. При этом с рутинными задачами по написанию и проверке кода может помочь ИИ-ассистент платформы GigaCode.

@ai_machinelearning_big_data

#RuStore #GitVerse
Please open Telegram to view this post
VIEW IN TELEGRAM
🥱28🔥13👍10🗿4🥰3🤣21😐1
✔️ OpenAI запускает deep research.

OpenAI полностью откроет улучшенную и обновленную функцию deep research для пользователей ChatGPT Plus, Team, Edu и Enterprise. Вместе с анонсом опубликована карта deep research системы, в которой подробно рассказывается о том, как OpenAI проводили глубокие исследования, оценивали их возможности и риски, а также повышали уровень безопасности.

Новая версия поддерживает обработку изображений и улучшает возможности понимания и цитирования загруженных файлов. Пользователи Plus, Team, Enterprise и Edu могут использовать 10 deep research запросов в месяц, а на тарифе Pro месячная квота составит 120 запросов.
OpenAI в X

✔️ Nvidia подтверждает наличие производственных дефектов у RTX 5080.

Nvidia подтвердила, что RTX 5080 имеют недостаточное количество блоков рендеринга на некоторых чипах из-за производственных дефектов, что приводит к усредненному падению производительности примерно на 4%. Ранее компания только заявляла, что проблема наблюдается только с RTX 5090, 5090D и 5070 Ti.

Бен Беллиондо, директор по глобальным коммуникациям Nvidia GeForce, сообщил, что у ранних моделей RTX 5080 был «редкий» дефект (затронувший менее 0,5%), но на производительность с ИИ и вычисления он не повлиял. Он пояснил, что RTX 5070 не были затронуты, и признал, что компания не обнаружила дефект до выпуска, но производственная проблема была решена.
theverge.com

✔️ Apple планирует построить завод по производству серверов для ИИ.

Apple планирует построить завод по производству микросхем в Хьюстоне (Техас) для производства серверов с искусственным интеллектом, оснащенных высокопроизводительными чипами M5. Завод будет построен в сотрудничестве с Foxconn и, как ожидается, будет введен в эксплуатацию в 2026 году. Его площадь составит 23 тыс. кв.м.
macrumors.com

✔️ DeepSeek спешит выпустить новую модель R2.

DeepSeek ускорит выпуск своей новой модели R2, которая, как ожидается, превзойдет многих западных конкурентов. Этот шаг может усилить конкуренцию на мировом рынке ИИ и заставить американские компании пересмотреть свои стратегии.

DeepSeek планировала выпустить R2 в мае, но теперь стремится сделать это как можно скорее. Компания утверждает, что новая модель будет лучше в программировании и сможет рассуждать на разных языках, а не только на английском.
reuters.com

✔️ Cisco и NVIDIA объединяют усилия для ускорения внедрения ИИ в корпоративном секторе.

Cisco и NVIDIA объявили о расширении партнерства, направленного на упрощение создания сетей для ЦОДов, готовых к работе с ИИ. В рамках сотрудничества компании планируют разработать единую архитектуру, которая объединит технологии Cisco Silicon One и NVIDIA SuperNICs в платформе NVIDIA Spectrum-X. Это сделает Cisco единственным партнером, чьи решения будут интегрированы в Spectrum-X.

Новая инициатива позволит клиентам стандартизировать использование технологий Cisco и NVIDIA в своих центрах обработки данных тем самым упростит управление сетями как для предприятий, так и для облачных провайдеров.

Ожидается, что первые обновления, включающие совместимость с Spectrum-X, появятся в середине 2025 года. Это позволит клиентам воспользоваться преимуществами технологий адаптивной маршрутизация, телеметрии и низкой задержки пакетов в сетях.
newsroom.cisco.com

✔️Copilot теперь доступен бесплатно и без ограничений — Microsoft предоставила полный доступ к голосовым функциям Voice и режиму размышлений Think Deeper. В основе сервиса лежат модели o1 от OpenAI.

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3715🔥3🥰2
📌 Llama3 from scratch: расширенная версия

Проект "Deepdive Llama3 from scratch" - расширенный форк гайд-репозитория по созданию LLama-3 c нуля шаг за шагом.

Исходный проект был переработан, проактуализирован, улучшен и оптимизирован для того, чтобы помочь всем желающим понять и освоить принцип реализации и детальный процесс ризонинга модели Llama3.

▶️Изменения и улучшения в этом форке:

🟢Последовательность изложения материала была изменена, скорректирована структура чтобы сделать процесс обучения более прозрачным, помогая понимать код шаг за шагом;

🟢Добавлено большое количество подробных аннотаций к коду;

🟢Изменения размеров матрицы на каждом этапе вычислений полностью аннотированы;

🟢Добавлены подробные пояснения к принципам, чтобы в полной мере можно было освоить концепцию дизайна модели.

🟢Добавлена дополнительная глава, посвященная KV-сache, в которой подробно описаны основные концепции, принципы работы и процесс применения механизма внимания.


📌Лицензирование: MIT License.


🔜 Репозиторий на Github


@ai_machinelearning_big_data

#AI #ML #LLM #Tutorial #Github
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
38👍23🔥8❤‍🔥2😨1