⚡️ 1.3 млн токенов/сек на H800 — новый рекорд для LLM-инференции
Команда Yiakwy-XPU показала, как эффективно запускать большие языковые модели (например, DeepSeek V3) на 13×8 H800 DGX SuperPod с помощью SGlang в разнесённой архитектуре (disaggregated serving):
📊 Что удалось достичь:
• 1.3M токенов/сек на входе (prefill)
• 20K токенов/сек на выходе (decode)
• До 80K токенов/сек суммарной производительности
• При 50–150 параллельных запросах — стабильный throughput до 55K токенов/сек
📌 Важные выводы:
• Префилл — главное узкое место (TTFT ↑ при длинных запросах и больших батчах)
• Оптимальное соотношение вход/выход — 4:1, а prefill/decode — 3:1
• Меньшие
• В режиме смешанного сервинга (decode + prefill) — лучше использовать батчинг именно с
🔧 Бенчмарки:
🔥 Используемая модель: Yi-1.5 34B
📦 Полная статья и код
@machinelearning_interview
Команда Yiakwy-XPU показала, как эффективно запускать большие языковые модели (например, DeepSeek V3) на 13×8 H800 DGX SuperPod с помощью SGlang в разнесённой архитектуре (disaggregated serving):
📊 Что удалось достичь:
• 1.3M токенов/сек на входе (prefill)
• 20K токенов/сек на выходе (decode)
• До 80K токенов/сек суммарной производительности
• При 50–150 параллельных запросах — стабильный throughput до 55K токенов/сек
📌 Важные выводы:
• Префилл — главное узкое место (TTFT ↑ при длинных запросах и больших батчах)
• Оптимальное соотношение вход/выход — 4:1, а prefill/decode — 3:1
• Меньшие
tp
и chunked-prefill
уменьшают задержки между токенами (ITL) • В режиме смешанного сервинга (decode + prefill) — лучше использовать батчинг именно с
chunk-prefill
, иначе резко растёт latency🔧 Бенчмарки:
bench_one_batch_server.py
, genai-bench
, evalscope
🔥 Используемая модель: Yi-1.5 34B
📦 Полная статья и код
@machinelearning_interview
🔥34❤12👍7🤔3
This media is not supported in your browser
VIEW IN TELEGRAM
🤖 ChatGPT Agent vs. Genspark Super Agent — битва ИИ-ассистентов нового поколения
Не так давно OpenAI выпутили ChatGPT Agent, способного выполнять сложные многошаговые задачи — от ресёрча до автоматизации. Но Genspark пошёл ещё дальше и предлагает интеллектуального супер-агента, ориентированного на пользователей и сложные команды.
🔹 ChatGPT Agent
— Доступ к браузеру, API, терминалу
— Глубокий поиск + Gmail/Calendar интеграция
— Контроль, безопасность и прозрачность
— Идеален для профессиональных пользователей и команд, которым важна защита данных и максимальный контроль
🔹 Genspark Super Agent
— No-code-процессы + генерация слайдов, видео
— 80+ встроенных инструментов: CRM, задачи, API, документы
— Агент сам выбирает подходящий инструмент и переключается в процессе
— Интеллектуальный feedback-loop и динамическая оркестрация действий
— В бенчмарках Genspark часто обходит конкурентов по точности и эффективности
📌 Для индивидуальных пользователей и малых команд Genspark имеет явные приемущества: мощь, гибкость и доступность — без кода и без боли.
Не так давно OpenAI выпутили ChatGPT Agent, способного выполнять сложные многошаговые задачи — от ресёрча до автоматизации. Но Genspark пошёл ещё дальше и предлагает интеллектуального супер-агента, ориентированного на пользователей и сложные команды.
🔹 ChatGPT Agent
— Доступ к браузеру, API, терминалу
— Глубокий поиск + Gmail/Calendar интеграция
— Контроль, безопасность и прозрачность
— Идеален для профессиональных пользователей и команд, которым важна защита данных и максимальный контроль
🔹 Genspark Super Agent
— No-code-процессы + генерация слайдов, видео
— 80+ встроенных инструментов: CRM, задачи, API, документы
— Агент сам выбирает подходящий инструмент и переключается в процессе
— Интеллектуальный feedback-loop и динамическая оркестрация действий
— В бенчмарках Genspark часто обходит конкурентов по точности и эффективности
📌 Для индивидуальных пользователей и малых команд Genspark имеет явные приемущества: мощь, гибкость и доступность — без кода и без боли.
👍26❤9🔥3🤔2🤣2🥰1
This media is not supported in your browser
VIEW IN TELEGRAM
🔊 OpenVoice — опенсовр инструмент для клонирования голоса
Вы можете сгенерировать копию любого голоса всего по одной короткой записи — и озвучивать тексты с нужной интонацией, эмоцией и даже на другом языке.
💡 Что умеет:
— Воспроизводит голос с точным тембром и стилем
— Меняет тон, темп, эмоции и акцент
— Работает даже с языками, которых не было в обучении (zero-shot)
— Быстрая генерация и минимальные ресурсы — дешевле многих коммерческих решений
⚙️ Как устроено:
OpenVoice использует комбинацию моделей: одна отвечает за стиль, вторая — за тональность и характеристики речи. Обучена на сотнях тысяч голосов и стилей.
Онлайн-демо: https://huggingface.co/spaces/myshell-ai/OpenVoice
🎯 Кому подойдёт:
— Авторам подкастов, дикторам и блогерам
— Разработчикам — для интеграции озвучки в приложения
— Исследователям — для изучения архитектуры голосовых моделей
• Github: https://github.com/myshell-ai/OpenVoice/tree/main
@machinelearning_interview
Вы можете сгенерировать копию любого голоса всего по одной короткой записи — и озвучивать тексты с нужной интонацией, эмоцией и даже на другом языке.
💡 Что умеет:
— Воспроизводит голос с точным тембром и стилем
— Меняет тон, темп, эмоции и акцент
— Работает даже с языками, которых не было в обучении (zero-shot)
— Быстрая генерация и минимальные ресурсы — дешевле многих коммерческих решений
⚙️ Как устроено:
OpenVoice использует комбинацию моделей: одна отвечает за стиль, вторая — за тональность и характеристики речи. Обучена на сотнях тысяч голосов и стилей.
Онлайн-демо: https://huggingface.co/spaces/myshell-ai/OpenVoice
🎯 Кому подойдёт:
— Авторам подкастов, дикторам и блогерам
— Разработчикам — для интеграции озвучки в приложения
— Исследователям — для изучения архитектуры голосовых моделей
• Github: https://github.com/myshell-ai/OpenVoice/tree/main
@machinelearning_interview
👍22🔥7❤5😱1
Forwarded from AI VK Hub
В рекомендациях есть две точки зрения:
1. Бигтех: закинем в нейросеть пару петабайт данных, добавим побольше трансформерных блоков, тысячи видеокарт — и вот вам рексис нового поколения. Но вы не сможете это проверить, потому что только у нас столько данных.
2. Академия: пораскинем мозгами, добавим inductive bias в линейный автоэнкодер и получим соту на всех открытых датасетах. Обучаем на макбуке 19 года.
Мы любим оба подхода, но на ридинг-группе поговорим про второй. Роман Логойда, ML-инженер AI VK, представит статью Why is Normalization Necessary for Linear Recommenders?
🔹 Начало встречи 24 июля в 18:00.
Зум: ссылка
ID: 313 292 5940
Код: 473906
Параллельно запустим стрим прямо в канале AI VK Hub.
1. Бигтех: закинем в нейросеть пару петабайт данных, добавим побольше трансформерных блоков, тысячи видеокарт — и вот вам рексис нового поколения. Но вы не сможете это проверить, потому что только у нас столько данных.
2. Академия: пораскинем мозгами, добавим inductive bias в линейный автоэнкодер и получим соту на всех открытых датасетах. Обучаем на макбуке 19 года.
Мы любим оба подхода, но на ридинг-группе поговорим про второй. Роман Логойда, ML-инженер AI VK, представит статью Why is Normalization Necessary for Linear Recommenders?
Зум: ссылка
ID: 313 292 5940
Код: 473906
Параллельно запустим стрим прямо в канале AI VK Hub.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤19🔥12🤣5🥰2🤔2👍1👨💻1💊1
This media is not supported in your browser
VIEW IN TELEGRAM
🧠 Хочешь подключить свой LLM к MCP-серверу без Cursor и Claude?
mcp-use — open-source фреймворк, который позволяет:
🔌 Подключать любой LLM к любому MCP-серверу
🤖 Строить собственных MCP-агентов без закрытых решений
💻 Работать полностью локально: 100% контроль и приватность
✅ Совместим с Ollama, LangChain и другими LLM-инструментами
✅ Открытый код, легко настраивается под любые пайплайны
Идеально для:
— разработчиков, строящих кастомных агентов
— локальных ассистентов без внешних API
— продвинутых LLM‑интеграций
📦 Попробуй и собери своего MCP‑клиента без ограничений!
GitHub → https://github.com/mcp-use/mcp-use
mcp-use — open-source фреймворк, который позволяет:
🔌 Подключать любой LLM к любому MCP-серверу
🤖 Строить собственных MCP-агентов без закрытых решений
💻 Работать полностью локально: 100% контроль и приватность
✅ Совместим с Ollama, LangChain и другими LLM-инструментами
✅ Открытый код, легко настраивается под любые пайплайны
Идеально для:
— разработчиков, строящих кастомных агентов
— локальных ассистентов без внешних API
— продвинутых LLM‑интеграций
📦 Попробуй и собери своего MCP‑клиента без ограничений!
GitHub → https://github.com/mcp-use/mcp-use
👍27❤10🔥8🤔4👨💻1
🚨 BREAKING: Цукерберг переманил трёх топ-исследователей из Google DeepMind — именно тех, кто стоял за моделью, взявшей золото на Международной математической олимпиаде (IMO)
🧠 Это авторы модели, которая без дообучения решила задачи уровня золотой медали IMO и показала, что ИИ может соревноваться с лучшими математиками мира.
🔥 Цукерберг явно нацелен на лидерство в области ИИ. Цук не останавливается.
@machinelearning_interview
🧠 Это авторы модели, которая без дообучения решила задачи уровня золотой медали IMO и показала, что ИИ может соревноваться с лучшими математиками мира.
🔥 Цукерберг явно нацелен на лидерство в области ИИ. Цук не останавливается.
@machinelearning_interview
❤23🔥12👍7👨💻2😭1💊1
Forwarded from Machinelearning
Архитектура Mixture-of-Recursions (MoR), предложенная Google в соавторстве с KAIST AI объединяет в едином фреймворке традиционные подходы разделения параметров и адаптивные вычисления, заставляя модель думать над каждым токеном с разной глубиной.
Под капотом MoR - рекурсивный трансформер, который прогоняет входные данные через один и тот же блок слоев несколько раз. Но главная фишка в том, что количество этих прогонов, или глубина рекурсии, не фиксированное, а динамическое и определяется для каждого токена индивидуально.
Легковесный обучаемый роутер анализирует токен и решает, сколько вычислительных усилий на него потратить. Простые слова могут пройти всего один цикл рекурсии, в то время как семантически нагруженные термины отправятся на более глубокую обработку из нескольких циклов.
Это дает два главных преимущества:
При одинаковом бюджете на обучение (в FLOPs) и меньшем размере самой модели MoR показывает более низкую перплексию и лучшие результаты в few-shot задачах, чем стандартные и рекурсивные аналоги.
@ai_machinelearning_big_data
#AI #ML #LLM #Architecture #MoR
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤22👍8🔥5😁4
🧠 Sam Altman: целые профессии исчезнут из‑за ИИ — и это уже началось
Выступая в Вашингтоне, CEO OpenAI заявил:
🗣️ “Некоторые профессии, как, например, поддержка клиентов — просто исчезнут. Совсем. Звонок в поддержку? Это будет ИИ — и это нормально.”
📞 По его словам, современные линии поддержки уже работают на больших языковых моделях:
— мгновенные ответы
— ноль переводов
— минимум ошибок
🩺 Та же технология помогает в медицине: ИИ учится на миллионах пар “симптом → диагноз” и быстрее врачей находит причины болезней.
⚠️ Но есть и тёмная сторона:
“Представьте: враждебная страна соединяет ИИ с кибератаками — и за секунды стирает балансы или останавливает биржи. Вот это меня пугает.”
🔜 Полный материал
@machinelearning_interview
Выступая в Вашингтоне, CEO OpenAI заявил:
🗣️ “Некоторые профессии, как, например, поддержка клиентов — просто исчезнут. Совсем. Звонок в поддержку? Это будет ИИ — и это нормально.”
📞 По его словам, современные линии поддержки уже работают на больших языковых моделях:
— мгновенные ответы
— ноль переводов
— минимум ошибок
🩺 Та же технология помогает в медицине: ИИ учится на миллионах пар “симптом → диагноз” и быстрее врачей находит причины болезней.
⚠️ Но есть и тёмная сторона:
“Представьте: враждебная страна соединяет ИИ с кибератаками — и за секунды стирает балансы или останавливает биржи. Вот это меня пугает.”
@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
💊30👍10❤5🔥4🍌2🤪2
Как_построить_стратегию_поиска_работы_Практикум_Гайд.pdf
17.8 MB
Когда я решил сменить профессию и пойти в IT, было ощущение, будто ныряю в незнакомую воду. Я уже немного писал код, сделал пару проектов по туториалам, прошёл курс. Казалось, вот-вот начну — но как только дошло до реального поиска работы, возникла куча вопросов.
Куда откликаться? Что вообще писать в резюме, если до этого работал в другой сфере? Как показать, что ты не просто «посмотрел пару видео», а реально готов к работе? И как пройти собеседование, не впав в ступор от первого же вопроса?
На все это ушло много времени и нервов — методом проб, ошибок и пустых откликов. Сейчас понимаю: без чёткой стратегии в этом хаосе легко потеряться.
🗺 Как раз такую стратегию подготовил Яндекс Практикум.
Они выпустили понятный и конкретный гайд по поиску первой работы в IT — с разбором, как устроен найм, что важно работодателям и как новичку не потеряться на старте.
📌 В гайде есть ответы на главные вопросы:
— Как составить резюме, если нет опыта?
— Как грамотно показать обучение и проекты?
— Где искать вакансии, чтобы не тратить месяцы впустую?
— Как пройти интервью и не сгореть от волнения?
🎥 Плюс у Практикума есть большая подборка видео от карьерных экспертов:
→ как выделиться среди других,
→ как оформить резюме,
→ как уверенно пройти собеседование.
Скачать гайд можно под этим постом, а посмотреть видео с экспертами по ссылке. Всё чётко, по делу и без лишней воды.
Реклама, АНО ДПО “Образовательные технологии Яндекса”, ИНН 7704282033
Куда откликаться? Что вообще писать в резюме, если до этого работал в другой сфере? Как показать, что ты не просто «посмотрел пару видео», а реально готов к работе? И как пройти собеседование, не впав в ступор от первого же вопроса?
На все это ушло много времени и нервов — методом проб, ошибок и пустых откликов. Сейчас понимаю: без чёткой стратегии в этом хаосе легко потеряться.
🗺 Как раз такую стратегию подготовил Яндекс Практикум.
Они выпустили понятный и конкретный гайд по поиску первой работы в IT — с разбором, как устроен найм, что важно работодателям и как новичку не потеряться на старте.
📌 В гайде есть ответы на главные вопросы:
— Как составить резюме, если нет опыта?
— Как грамотно показать обучение и проекты?
— Где искать вакансии, чтобы не тратить месяцы впустую?
— Как пройти интервью и не сгореть от волнения?
🎥 Плюс у Практикума есть большая подборка видео от карьерных экспертов:
→ как выделиться среди других,
→ как оформить резюме,
→ как уверенно пройти собеседование.
Скачать гайд можно под этим постом, а посмотреть видео с экспертами по ссылке. Всё чётко, по делу и без лишней воды.
Реклама, АНО ДПО “Образовательные технологии Яндекса”, ИНН 7704282033
❤14🔥5🕊4🗿4🥰3👏3🤣2😭1
@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
👍17🔥8❤6💊5
🌠 CoreML-Models — коллекция готовых ML-моделей для iOS-разработчиков. Этот репозиторий содержит более 50 предобученных моделей машинного обучения, конвертированных в формат CoreML для легкой интеграции в iOS-приложения. Среди них — классификаторы изображений, детекторы объектов, модели для сегментации и даже Stable Diffusion для генерации изображений.
Все модели доступны через Google Drive с указанием лицензий оригинальных проектов. Для удобства разработчиков есть примеры интеграции в Xcode и скрипты для конвертации дополнительных моделей.
🤖 Github
@machinelearning_interview
Все модели доступны через Google Drive с указанием лицензий оригинальных проектов. Для удобства разработчиков есть примеры интеграции в Xcode и скрипты для конвертации дополнительных моделей.
🤖 Github
@machinelearning_interview
❤15👍7🥰4
Яндекс представил крупнейшую языковую модель в облаке — Qwen3‑235B.
Она поддерживает работу с длинным контекстом, владеет 119 языками и обеспечивает высокое качество генерации. Модель доступна в Yandex AI Studio: можно протестировать в интерфейсе или подключить через API.
Стоимость начинается от 50 копеек за 1000 токенов.
Реклама. ООО Яндекс.Облако. ИНН 7704458262
Она поддерживает работу с длинным контекстом, владеет 119 языками и обеспечивает высокое качество генерации. Модель доступна в Yandex AI Studio: можно протестировать в интерфейсе или подключить через API.
Стоимость начинается от 50 копеек за 1000 токенов.
Реклама. ООО Яндекс.Облако. ИНН 7704458262
🥱18❤8👍5🔥3🥴3🗿2
Forwarded from Анализ данных (Data analysis)
🔮 SuperDuperDB — фреймворк для создания AI-приложений, напрямую интегрированных с базами данных. Позволяет развертывать модели машинного обучения и векторные поиски прямо в MongoDB, SQL, Snowflake или Redis, избегая сложных ETL-процессов.
Вместо выгрузки данных в отдельные ML-пайплайны, вы добавляете AI-функциональность поверх существующей БД через простые Python-декораторы. Поддерживает популярные библиотеки вроде PyTorch и Hugging Face, что упрощает переход от прототипа к продакшену.
🤖 GitHub
@data_analysis_ml
Вместо выгрузки данных в отдельные ML-пайплайны, вы добавляете AI-функциональность поверх существующей БД через простые Python-декораторы. Поддерживает популярные библиотеки вроде PyTorch и Hugging Face, что упрощает переход от прототипа к продакшену.
🤖 GitHub
@data_analysis_ml
❤7👍4😁4🔥2