🚀 OpenAI **gpt-oss** с ультрадлинным контекстом!
Unsloth выпустили Flex Attention, который даёт до 61K контекста для gpt-oss bf16 при обучении на GPU с 80GB.
📊 Что это значит:
- 8× больше контекста
- потребляет на 50% меньше VRAM
- 1.5× быстрее по сравнению с альтернативами (включая FA3)
Для BF16 LoRA теперь можно тренировать с ~60K контекстом на одной H100 80GB.
🔗 Подробнее: https://docs.unsloth.ai/basics/long-context-gpt-oss-training
@ai_machinelearning_big_data
#Unsloth #OpenAI #gptoss #chatgpt
Unsloth выпустили Flex Attention, который даёт до 61K контекста для gpt-oss bf16 при обучении на GPU с 80GB.
📊 Что это значит:
- 8× больше контекста
- потребляет на 50% меньше VRAM
- 1.5× быстрее по сравнению с альтернативами (включая FA3)
Для BF16 LoRA теперь можно тренировать с ~60K контекстом на одной H100 80GB.
🔗 Подробнее: https://docs.unsloth.ai/basics/long-context-gpt-oss-training
@ai_machinelearning_big_data
#Unsloth #OpenAI #gptoss #chatgpt
👍48❤17🔥10💅4
Media is too big
VIEW IN TELEGRAM
Разработкой занимается новое подразделение компании Марка Цукерберга Superintelligence Labs. Модель, которую некоторые внутри компании называют Llama 4.5, должна исправить недостатки предыдущих версий: слабую производительность в кодинге и логических рассуждениях. Параллельно команда работает над исправлением ошибок в уже выпущенных версиях Llama 4 и фоном допиливает флагманскую модель "Behemoth".
businessinsider.com
FastVLM - линейка ультрабыстрых VL-моделей с гибридным энкодером FastViTHD, который значительно сокращает количество визуальных токенов и ускоряет их обработку. В сравнении с LLaVA-1.5, FastVLM показала в 3.2 раза более быстрый TTFT при сопоставимой производительности, а с LLaVa-OneVision модель достигает аналогичных результатов на бенчмарках, используя в 3.4 раза меньший энкодер.
В семейство входят три модели размером 500 миллионов, 1.5 миллиарда и 7 миллиардов параметров. Все они уже доступны на Hugging Face для некоммерческого использования.
huggingface.co
Обновление принесло значительные улучшения в качестве движений, визуальной детализации, согласованности и точности исполнения текстовых запросов. Новая функция Agent позволяет создать 5–30-секундный ролик, просто загрузив одно фото.
Генерация видео в разрешении 360p занимает 5 секунд, а 1080p - около минуты. До 1 сентября 2025 года доступ к V5 предоставляется бесплатно. Модель работает через веб-интерфейс, мобильные приложения и API.
Pixverse в сети X
Интеграция позволяет разработчикам генерировать и рефакторить код, а также общаться с ИИ, не покидая редактор. Изменения применяются в реальном времени и могут быть проверены в интерфейсе, похожем на pull-request.
Gemini работает через открытый протокол Agent Client Protocol, созданный Zed для связи ИИ-агентов со средами разработки. Zed основан на Rust и позиционируется как открытая альтернатива Microsoft VS Code.
developers.googleblog.com
Исследователи из Университета Ваасы предложили дешевую и экологичную альтернативу электронным датчикам для контроля состояния продуктов. Технология основана на использовании функциональных чернил, которые меняют цвет при изменении температуры или влажности, а сверточные нейронные сети с высокой точностью распознают даже малейшие изменения, которые не улавливают традиционные методы машинного зрения. Это решает проблему своевременного обнаружения порчи или повреждений.
Такие индикаторы можно наносить прямо на упаковку вместе с обычными этикетками, что почти не увеличивает стоимость. Технология может найти применение в пищевой промышленности и в фармацевтике для отслеживания условий хранения продукции.
interestingengineering.com
xAI обвиняет Xuechen Li в краже технологий Grok и попытке передать их OpenAI.
Факты:
- Продал акции xAI на $7 млн и уволился.
- Скопировал секретные файлы Grok на личное хранилище.
- Удалял логи и признался письменно.
xAI требует: вернуть и удалить данные, запретить Li работать над ИИ в OpenAI и выплатить компенсацию.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍66❤25🔥14
Официальный аккаунт Qwen в сети X (ex-Twitter) написал, что сентябрь обещает быть "потрясающим" и нам всем нужно готовиться к волне интересных событий.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥86👍25❤13🥰8😁1
Stax - экспериментальный инструмент для разработчиков, который предлагает замену неформальному «вайб-тестингу» больших языковых моделей на структурированный, основанный на данных подход.
Stax оценивает модели на кастомных или готовых автоматизированных оценщиках, фокусируясь на метриках: беглость ответа, безопасность, задержка и процент успешного прохождения ручной проверки.
Есть дашборд для сравнения результатов разных моделей с визуальными индикаторами производительности.
Ключевые возможности: быстрые и повторяемые оценки, настройка метрик под конкретные продукты и сквозной рабочий процесс для экспериментов от прототипа до продакшена.
Инструмент должен помочь разработчикам принимать обоснованные решения при выборе и развертывании моделей.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤45👍14🔥5🤬4👀4
💡 Исследователи из ByteDance и Stanford предложили новый метод для генерации длинных видео — Mixture of Contexts.
🔑 В чём проблема:
Когда видео становится длинным, внимание модели сильно «раздувается»: растёт стоимость вычислений, модель теряет детали на генерациях, забывает персонажей и «дрейфует».
⚡ Чем интересен Mixture of Contexts:
- Видео разбивается на куски (кадры, шоты, подписи).
- Каждый запрос выбирает только нужные чанки, вместо того чтобы учитывать всю историю.
- Для этого используется простая оценка релевантности: сравнение признаков чанков с текущим запросом.
- Обязательно учитываются два «якоря»: полный текстовый промпт и локальный шот для деталей видео.
- Causal mask блокирует внимание к будущим кадрам, чтобы не было зацикливаний.
- Дальше применяется Flash Attention только к выбранным чанкам — вычисления растут не с длиной всего видео, а только с полезным контекстом.
📊 Результаты:
- В 7 раз меньше FLOPs
- В 2.2 раза быстрее работа
- На длинных сценах (180k токенов) отсекается 85% ненужного внимания
🎥 Итог:
- Короткие клипы сохраняют качество
- Длинные сцены становятся более плавными, а персонажи — стабильными
- Время генерации заметно сокращается
Главное: модель учится сама понимать, на что смотреть, получая «память» на минуты видео без изменения базовой архитектуры.
🟠 Подробнее
@ai_machinelearning_big_data
#AI #ML #ByteDance #Stanford #videogeneration
🔑 В чём проблема:
Когда видео становится длинным, внимание модели сильно «раздувается»: растёт стоимость вычислений, модель теряет детали на генерациях, забывает персонажей и «дрейфует».
⚡ Чем интересен Mixture of Contexts:
- Видео разбивается на куски (кадры, шоты, подписи).
- Каждый запрос выбирает только нужные чанки, вместо того чтобы учитывать всю историю.
- Для этого используется простая оценка релевантности: сравнение признаков чанков с текущим запросом.
- Обязательно учитываются два «якоря»: полный текстовый промпт и локальный шот для деталей видео.
- Causal mask блокирует внимание к будущим кадрам, чтобы не было зацикливаний.
- Дальше применяется Flash Attention только к выбранным чанкам — вычисления растут не с длиной всего видео, а только с полезным контекстом.
📊 Результаты:
- В 7 раз меньше FLOPs
- В 2.2 раза быстрее работа
- На длинных сценах (180k токенов) отсекается 85% ненужного внимания
🎥 Итог:
- Короткие клипы сохраняют качество
- Длинные сцены становятся более плавными, а персонажи — стабильными
- Время генерации заметно сокращается
Главное: модель учится сама понимать, на что смотреть, получая «память» на минуты видео без изменения базовой архитектуры.
@ai_machinelearning_big_data
#AI #ML #ByteDance #Stanford #videogeneration
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤95🔥26👍18👏2
Что внутри:
- Доступны модели Hunyuan-MT-7B и Hunyuan-MT-Chimera-7B
- Поддержка 33 языков
- Chimera-7B — это первая в индустрии откртытая ансамблевая модель
- 1-е место в 30 из 31 категорий на международном конкурсе WMT25 (Workshop on Machine Translation 2025, крупнейшая в мире конференция-соревнование по машинному переводу)
- Hunyuan-MT-7B лидирует среди моделей своего размера
Demo: https://hunyuan.tencent.com/modelSquare/home/list
@ai_machinelearning_big_data
#AI #NLP #Translation #Tencent
Please open Telegram to view this post
VIEW IN TELEGRAM
2❤50👍25🔥13🍾3
Media is too big
VIEW IN TELEGRAM
OpenRouter выступает в роли единого API для доступа к множеству LLM, а его лидерборд отслеживает реальный объем использования моделей по количеству сгенерированных токенов.
Резкий рост популярности, скорее всего, связан с удачным позиционированием и экономикой. Grok Code Fast 1 предлагается как быстрый и недорогой инструмент для агентного кодинга. Выгодная цена и большой контекст делают модель идеальной для инструментов с высоким трафиком: IDE-ассистентов и кодинг-агентов, которые доминируют в списке самых популярных приложений на OpenRouter.
Важно понимать, что рейтинг отражает именно объем генерации, а не качество или точность модели. Он не измеряет безопасность или корректность кода. Поэтому первое место следует трактовать как "самая используемая модель на данной платформе в текущий момент", а не как "лучшая модель на рынке".
openrouter.ai
Команда из Университета Цинхуа разработала новый метол создания 3D-контента — Droplet3D, который использует видео для обучения моделей. Он извлекает из видеоданных информацию о пространственной согласованности и семантике объектов, что позволяет генерировать более качественные и разнообразные 3D-модели.
Для обучения была создан датасет Droplet3D-4M из 4 миллионов 3D-объектов с подробными текстовыми описаниями. На его основе дообучили видео-диффузионную модель DropletVideo.
Модель создает по текстовому запросу или изображению последовательные многовидовые рендеры, причем не только отдельных объектов, но и целых сцен. Код, набор данных и веса модели опубликованы в открытом доступе под лицензией Apache 2.0.
dropletx.github.io
Среди потенциальных арендаторов: AWS, Google, Microsoft и xAI, причем с Google переговоры продвинулись дальше всего.
Проект мощностью 5 ГВт станет крупнейшим объектом ИИ-инфраструктуры за пределами США. 1 Гвт уже зарезервирован под дата-центр Stargate от OpenAI, MGX, Softbank и Oracle. Остальные мощности G42 планирует оснащать чипами от AMD, Cerebras и Qualcomm, чтобы диверсифицировать поставки и не зависеть только от Nvidia.
Одной из бизнес-моделей кампуса станет концепция "цифровых посольств". G42 разрабатывает предложение для иностранных правительств по размещению их данных в ОАЭ, что может стать безопасной альтернативой, защищенной от стихийных бедствий и кибератак.
semafor.com
Инженеры из Университета Пенсильвании впервые успешно передали квантовые сигналы через коммерческие оптоволоконные сети с использованием стандартных интернет-протоколов (IP). Команда разработала специальный "Q-чип", который упаковывает квантовые сигналы вместе с традиционными, что позволяет им стабильно передаваться по обычным оптоволоконным линиям, при этом система автоматически корректирует шумовые помехи.
До этого момента квантовая связь требовала специализированной, изолированной инфраструктуры. Теперь доказана возможность использования существующих сетей, а это удешевляет и ускоряет создание квантового интернета.
science.org
Небольшой карибский остров Ангилья, неожиданно стал одним из главных бенефициаров ИИ-лихорадки. Еще в 1980-х годах острову было присвоено доменное имя
.ai,
которое теперь оказалось "золотой жилой". В 2024 году доходы Ангильи от продажи доменов составили 39 млн. долларов, это почти четверть (23%) всех доходов территории. Количество сайтов в зоне .ai за последние 5 лет выросло более чем в 10 раз, а за последний год — удвоилось.you.ai
bbc.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1