🚀 Теперь можно запускать модели Hugging Face прямо в Google Colab — бесплатно!

Больше не нужно настраивать окружение вручную. Просто заходишь на страницу модели — и нажимаешь "Open in Colab". Всё готово для запуска за секунды.

✅ Отлично подходит для:
- Быстрого теста модели
- Прототипирования и экспериментов
- Обучения и демонстраций


💡 Бонус для разработчиков:

Добавь файл notebook.ipynb в свой репозиторий модели — и Hugging Face автоматически подхватит его.
Пользователи смогут запускать твой пример сразу, без копирования кода!

🔥 Работает с Google Colab — бесплатно, быстро, удобно.

#HuggingFace #Colab #ML #AI #OpenSource #DeepLearning

✔️ Подробнее

@machinelearning_interview

📌Tokasaurus: проект для ускорения работы с языковыми моделями.

Tokasaurus — это движок инференса для языковых моделей в режиме высоконагруженных задач. Он максимизирует пропускную способность при работе с LLM, предлагает поддержку API OpenAI, эффективно управляет памятью и оптимизирует вычисления в сценариях, где важно одновременно обрабатывать множество запросов без задержек.

Архитектура Tokasaurus разделена на 3 компонента: веб-сервер, менеджер и модельные воркеры.

🟢Веб-сервер отвечает за взаимодействие с клиентами, принимая запросы и отправляя ответы.

🟢Менеджер, запущенный в отдельном процессе, управляет планированием задач, KV-кешем и группировкой последовательностей с общими префиксами.

🟢Модельные воркеры выполняют прямые запросы к подключенным LLM. Компоненты обмениваются данными асинхронно через очереди, и это позволяет держать GPU загруженным без простоев.

Проект учитывает растущую потребность в масштабировании и предлагает 3 типа параллелизма: дата-параллелизм (dp_size), пайплайн (pp_size) и тензорный (tp_size) с поддержкой AsyncTP.

Async Tensor Parallelism в PyTorch — это техника ускорения распределенных вычислений для LLM, где операции связи (all-gather/reduce-scatter) разбиваются на асинхронные части и перекрываются с матричными умножениями (matmul) с помощью чередующихся CUDA-потоков: пока один поток вычисляет фрагмент matmul, другой параллельно передаtт данные для следующего фрагмента через P2P-копирование (NVLink + copy engines), минимизируя простои GPU.

При использовании нескольких GPU, например, dp_size=2 и pp_size=4, система задействует 8 GPU, создавая 2 дублирующиеся группы по 4 GPU каждая. При этом параметры управления памятью (kv_cache_size_num_tokens, max_seqs_per_forward) применяются к каждой дата-параллельной группе отдельно. Это позволяет тонко управлять ресурсами, исходя из контекста конкретных нагрузок.

Tokasaurus поддерживает модели семейств Llama3 и Qwen2, использует технологию Hydragen для ускорения внимания над общими префиксами последовательностей.

⚠️ Проект пока молодой, поэтому некоторые функции могут быть нестабильными. Разработчики активно работают над улучшениями.


📌 Лицензирование: Apache 2.0 License.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM # #Tokasaurus #Github

✔️ В Пекине запустят первый в мире 4S-центр для роботов с воплощенным ИИ.

По аналогии с автосалонами, робототехнический 4S будет предлагать полный цикл: продажи (Sales), сервис (Service), запчасти (Spare parts) и консультации/анализ (Surveys). Планируется зона с демонстрацией роботов в реалистичных сценариях – можно будет всё пощупать руками и увидеть их возможности в деле. Плюс создадут быструю сеть поставки комплектующих по стране и соберут профильную команду для сборки, ремонта и обслуживания машин.

Первыми партнерами станут несколько лидеров сферы: UBTECH и Galaxea. Откроется центр в августе на базе промпарка в районе Ичжуан на юге столицы.
english.news.cn

✔️ Браузер Dia выходит в бета-версию.

The Browser Company открыл доступ к бета-версии браузера Dia (по инвайтам). Dia позиционируется как решение, где ИИ глубоко интегрирован в самую суть взаимодействия, он встроен прямо в рабочий процесс пользователя, избавляя от необходимости постоянно ходить на сайты ChatGPT или Claude.

Dia построен на Chromium, так что интерфейс многим знаком. Главная фича — умная адресная строка: она работает и как поиск, и как чат-бот с ИИ. Помощник умеет искать в сети, суммировать загруженные файлы, автоматически переключаться между режимами. Можно даже спросить его о содержимом всех открытых вкладок или попросить составить черновик на их основе.

Настройки производятся через диалог с ботом: можно задать тон, стиль письма, параметры для кода. Опция History (по желанию) позволяет браузеру использовать недельную историю просмотров как контекст для ответов. А функция Skills помогает создавать мини-скрипты — ярлыки для сложных настроек или действий.
techcrunch.com

✔️ Mistral запускает вычислительную альтернативу облачным гигантам.

Mistral AI анонсировала Mistral Compute - инфраструктурную платформу для разработки и запуска ИИ. Это полноценный приватный стек: от GPU и систем оркестрации до API и сервисов. На выбор любой формат, от bare-metal до полностью управляемой PaaS.

Mistral Compute нацелен дать государствам, компаниям и научным центрам, ищущих альтернативу решениям из США или Китая, возможность самим строить ИИ-среду под свои нужды и полностью ею владеть.

Платформа использует новейшие архитектуры NVIDIA, с доступом к десяткам тысяч GPU. Она создана командой с огромным опытом в HPC и обучении топовых ИИ-моделей. Ключевые акценты: устойчивость и суверенитет данных, инфраструктура соответствует строгим европейским нормам и работает на декарбонизированной энергии.
mistral.ai

✔️ ByteDance анонсировала text-to-video модель Seedance 1.0.

Seedance 1.0 - новая генеративная модель для создания видео, которая, по утверждениям ByteDance, превосходит конкурентов в точности выполнения запросов, качестве движений и резкости изображения. В тестах на Artificial Analysis она лидирует в задачах text-to-video и image-to-video, обходя Google Veo 3, Kuaishou Kling 2.0 и OpenAI Sora. Модель справляется с длинными сценами, сохраняя стабильность персонажей и переходов между ракурсами, но пока не поддерживает добавление звука.

Seedance 1.0 генерирует 5-секундный Full HD-ролик за 41 секунду — это быстрее аналогов, хотя новый Google Veo 3 Fast может нивелировать это преимущество. Инструмент планируют внедрить в платформы Doubao и Jimeng. Целевая аудитория — от профессиональных видеомейкеров до обычных пользователей.
seed.bytedance.com

✔️ Midjourney открыла публичное тестирование своей видеомодели.

Midjourney объявила о начале открытого тестирования модели генерации видео по текстовым запросам. Задача тестирования собрать обратную связь для улучшения алгоритма.

Создатели пригласили сообщество принять участие в онлайн-рейтинге сгенерированных роликов, присоединиться можно по ссылке. Пока некоторые образцы выглядят достойно и сохраняют фирменный стиль Midjourney, но в целом результаты пока нестабильны.

Компания подчеркивает: это не финальная версия модели, а лишь первый шаг. Дополнительные сессии тестирования уже запланированы, но дату релиза и цену пока не раскрывают.
midjourney.com

@ai_machinelearning_big_data

#news #ai #ml

✔️ GitHub Copilot вводит плату за продвинутые запросы с 18 июня 2025 года.

GitHub объявил о начале тарификации премиум-запросов в Copilot для всех платных планов с 18 июня 2025 года. Теперь пользователи будут получать ежемесячный лимит таких запросов, а неиспользованные остатки сгорают в конце месяца.

Премиум-запросы требуются для работы с мощными моделями вроде GPT-4.5 или Claude Opus 4, где каждый запрос умножается на коэффициент сложности (GPT-4.5 «съедает» 50 единиц за раз). Для бесплатного тарифа доступ ограничен: 2000 автодополнений кода и 50 премиум-запросов в месяц, причем все чаты считаются как "премиум".

Платные планы предлагают неограниченный доступ к базовым моделям (GPT-4.1, GPT-4o), но дополнительные запросы сверх лимита обойдутся в $0.04 за штуку. Если лимит исчерпан, можно переключиться на базовые модели — правда, их скорость зависит от нагрузки.
github.com

✔️ OpenAI разрабатывает меры безопасности для биологических исследований с применением ИИ.

OpenAI предупредила, что ее будущие модели могут представлять повышенный риск создания биологического оружия. Чтобы предотвратить злоупотребления, OpenAI разрабатывает комплексную систему ограничений: обучение моделей игнорировать опасные запросы, автоматический мониторинг подозрительной активности, проверку экспертов и «Red Teams», тестирующие уязвимости.

Компания сотрудничает с лабораториями и правительствами, чтобы улучшить безопасность синтеза ДНК и создать системы раннего обнаружения патогенов. Для тех, кто работает с ИИ в научных целях, планируется отдельный доступ к мощным инструментам, при условии строгого контроля. В июле OpenAI проведет саммит по биозащите, чтобы объединить усилия государств и частного сектора в борьбе с новыми угрозами.
openai.com

✔️ Wix покупает вайбкодинг-платформу Base44 за $80 млн.

Wix, популярный конструктор сайтов, приобрел Base44 — платформу вайбкодинга, позволяющую создавать приложения через текстовые запросы. Сделка оценивается в $80 млн, с возможными доплатами до 2029 года в зависимости от роста пользователей или выручки.

Base44 останется независимой, сохранив текущие инструменты: управление базами данных, аутентификацию, облачное хранение и хостинг. Платформа, насчитывающая 40 тыс. пользователей, недавно добавила чат-бота на основе ИИ для упрощения разработки.
techradar.com

✔️ Google использует миллиарды видео с YouTube для обучения ИИ.

YouTube подтвердил, что Google использует его архив из 20 млрд. видео для тренировки ИИ-моделей, включая Veo 3. Компания утверждает, что задействует лишь часть контента, соблюдая договоры с авторами, но не уточняет деталей. Создатели, чьи ролики могут попадать в обучающие наборы, не могут отключить такую опцию.

Эксперты опасаются, что это создаст конфликт интересов: ИИ, обученный на их материалах, может конкурировать с самими авторами. Некоторые уже выразили недовольство, подчеркнув, что не знали о таком использовании своего контента.

При этом ежедневно на YouTube добавляется несколько десятков миллионов новых видео - это потенциальный «корм» для алгоритмов. Вопрос регулирования ИИ и защиты прав авторов остаётся открытым, хотя YouTube ссылается на прозрачность своих политик.
cnbc.com

✔️ MiniMax выпустила видеомодель Hailuo 02.

MiniMax, в рамках пятидневного марафона релизов "MiniMax Week" представила второе поколение видео-модели Hailuo 02, улучшенной за счет архитектуры NCR. Модель выросла в 3 раза по количеству параметров, при этом разработчики обещают улучшенное качество и разнообразие контента, но технические детали NCR пока не неизвестны.

Hailuo 02 справляется со сложными сценариями и по данным бенчмарка Artificial Analysis Video Arena она уступила только Bytedance Seedance, но обошла Google Veo 3.

Доступны 3 варианта генераций: 768p на 6/10 секунд и 1080p на 6 секунд. Цена в API за 6-секундный ролик в 768p — $0,28, а 1080p — $0,49. Модель доступна через веб-интерфейс, мобильное приложение или API.
mp.weixin.qq.com

@ai_machinelearning_big_data

#news #ai #ml

✔️ OpenAI расширяет возможности ChatGPT Pro.

OpenAI запустила Search Connectors для ChatGPT Pro и Team, функцию, которая напрямую связывает облачные хранилища (Google Drive, Dropbox и OneDrive) с интерфейсом чата. Теперь пользователи могут искать, анализировать и обобщать документы, не загружая их вручную.

Лимит файлов на проект для Pro-подписчиков вырос с 20 до 40, а поддержка охватывает 12 сервисов, включая GitHub, Gmail и Outlook. Пока новинка доступна за пределами ЕС, Великобритании и Швейцарии.
Open AI в сети Х

✔️ Google открыла доступ к Imagen 4.

Imagen 4, усовершенствованные модели генерации изображений по текстовым запросам, стали доступны в двух версиях: базовая Imagen 4 (4 цента за изображение) для повседневных задач и Imagen 4 Ultra (6 центов) с повышенной детализацией и точностью исполнения инструкций. Обе модели доступны в Gemini API для платных пользователей, а также в ограниченном бесплатном тестировании через Google AI Studio.

Разработчики обещают улучшенное отображение текста на картинках и расширение тарифных планов в ближайшие недели. Все сгенерированные изображения получат скрытый цифровой водяной знак SynthID.
developers.googleblog.com

✔️ HPE и NVIDIA представили новую линейку решений для корпоративного ИИ.

HPE и NVIDIA анонсировали совместные решения для создания «фабрик искусственного интеллекта» на базе модульной инфраструктуры. В линейку вошли серверы HPE ProLiant DL380a Gen12 с GPU NVIDIA RTX PRO 6000 Blackwell, которые предлагают универсальную платформу для генеративного и промышленного ИИ.

Также был представлен HPE Private Cloud AI — готовое решение для быстрого внедрения ИИ, совместимое с фреймворком NVIDIA Enterprise AI Factory. Для финансового сектора планируется тестирование агентного ИИ с Accenture, а 26 новых партнеров расширят экосистему HPE, добавив 70 преднастроенных сценариев: от детекции мошенничества до кибербезопасности. Решения доступны для заказа, а система HPE Compute XD690 с GPU Blackwell Ultra начнет отгружаться в октябре.
blogs.nvidia.com

✔️ Google DeepMind представила AlphaGenome.

AlphaGenome — нейросеть, которая предсказывает, как мутации в ДНК влияют на регуляцию генов. Модель обрабатывает участки длиной до миллиона пар оснований, анализируя их на уровне отдельных «букв» и оценивая тысячи молекулярных свойств: активность генов, сплайсинг РНК, доступность участков ДНК.

AlphaGenome сочетает сверточные слои для поиска коротких паттернов и трансформеры для анализа длинных последовательностей. Одна из ключевых особенностей - точное моделирование сплайс-сайтов, важное для изучения редких заболеваний.

Модель превзошла аналоги в 22 из 24 тестов, предсказывая как структуру ДНК, так и эффекты вариантов. Доступ к AlphaGenome открыт через API для некоммерческих проектов.
deepmind.google

✔️ LongWriter-Zero: модель, которая пишет длинные тексты благодаря RL.

Группа исследователей из Сингапура и Китая представила LongWriter-Zero, модель, которая генерирует тексты длиной более 10 тысяч слов, обучаясь только через RL, без использования синтетических данных. Модель опирается на три специализированных «наградных» алгоритма, оценивающих структуру, качество и длину текста, а также уникальный метод «усреднения преимущества», который балансирует приоритеты между ними.

LongWriter-Zero использует «промты-размышления»: перед написанием модель планирует структуру текста, улучшая его связность. Бенчмарки показали рост эффективности с 700 до 1200 поинтов Elo. Однако у модели есть слабые места: она склонна к повторам и переиспользованию слов, которые система поощряет в процессе обучения.
Модель и датасет доступны на Hugging Face.
huggingface.co

@ai_machinelearning_big_data

#news #ai #ml