⭐️ Native-sparse-attention-pytorch – представляет собой реализацию разреженного механизма внимания на PyTorch, оптимизированного для работы с большими последовательностями.

Он позволяет существенно снизить потребление памяти и ускорить вычисления по сравнению с классическим полносвязным вниманием.

Одним из главных преимуществ данного решения является его высокая эффективность при обработке длинных последовательностей.

За счёт вычисления внимания только по выбранным элементам (а не по всем парам токенов) удаётся уменьшить сложность алгоритма.

Кроме того, инструмент интегрируется непосредственно с PyTorch и использует нативные CUDA-ядра, что позволяет достичь оптимальной производительности на GPU.

Репозитория поможет в экспериментах с архитектурами, где внимание применяется к длинным последовательностям – будь то тексты, временные ряды или изображения – и обеспечивает возможность более эффективного использования вычислительных ресурсов.

native-sparse-attention-pytorch даёт существенные преимущества в снижении затрат памяти и ускорении вычислений, что делает его ценным инструментом для глубокого обучения.

$ pip install native-sparse-attention-pytorch

▪ Github

@ai_machinelearning_big_data


#deeplearning #artificialintelligence #attention #sparseattention #ml #ai

✔️ Подтвержден выпуск Claude 3.7 Sonnet

AWS Badrock готовятся разместить новую версию Sonnet 3.7, которая, скорее всего, будет анонсирована сегодня во время мероприятия Amazon.

* Модель в настоящее время скрыта и не отображается в пользовательском интерфейсе

Инсайдеры раскопали, что модель достигает SOTA в кодинге, агентных способностях, сложном рассуждении и генерации контента.

Благодаря высокой производительности и контролю над скоростью работы, Claude 3.7 Sonnet заточена для реализации AI-агентов и комплексных AI-решений.

Источник: https://archive.is/BkvLb

@data_analysis_ml - подпистаться

✔️ Deepseek FlashMLA: ядро ​​декодирования MLA, оптимизированное для GPU Hopper.

В первый день анонсированного на прошлой неделе мероприятия "5 дней опенсорс-проектов" Deepseek опубликовала проект FlashMLA. Это ядро оптимизировано для последовательностей переменной длины, поддерживает BF16 и использует страничный KV (с размером блока 64). Вся эта совокупность позволяет значительно повышать эффективность вычислений.

На H800 FlashMLA показал пропускную способности памяти до 3000 ГБ/с и вычислительную производительность в 580 терафлопс. FlashMLA ускорит процесс рассуждений ИИ и обеспечит более эффективные решения в сфере обработки естественного языка.
Deepseek в X (Twitter)

✔️ Alibaba объявила об инвестициях в размере 53 млрд долларов в создание облачной и аппаратной инфраструктуры ИИ.

Alibaba Group планирует инвестировать более 380 миллиардов юаней (около 53 миллиардов долларов США) в развитие облачной инфраструктуры и технологий ИИ в течение следующих 3 лет. Объем этой инвестиция превышает все предыдущие вложения Alibaba в облачные технологии и ИИ за последнее десятилетие и является крупнейшей инвестицией частной китайской компании в эту сферу. Решение об инвестировании было принято на фоне бурного роста индустрии ИИ в Китае и после совещания с участием высших китайских руководителей, посвященного частным предприятиям.
english.news.cn

✔️ Google опубликовала тарифы на Veo 2: 50 центов за секунду.

Согласно информации на странице проекта, каждая секунда сгенерированного видео обойдётся пользователям в 50 центов. Это означает, что минута видео будет стоить $30, а час — $1800. Для сравнения, инженер Google DeepMind Джон Бэррон привёл пример с бюджетом фильма «Мстители: Финал», где стоимость одной секунды составила около $32 000.

Veo 2 пока не способен генерировать длинные видеоролики, модель ориентирована на продолжительность генерации до двух минут. Тем не менее, такие цены вызывают вопросы о доступности технологии для широкого круга пользователей.
techcrunch.com

✔️ MongoDB приобретает компанию Voyage AI для борьбы с галлюцинациями.

MongoDB приобрела компанию Voyage AI за 220 млн. долларов, чтобы помочь своим клиентам создавать более качественные приложения на основе ИИ. Сделка направлена на обеспечение высокоточной и релевантной выдачи информации, тесно интегрированной с операционными данными.

Технология Voyage AI позволяет извлекать смысл из специализированных текстов и неструктурированных данных: юридических и финансовых документов, изображений и корпоративных баз знаний. Объединение этих технологий с инфраструктурой MongoDB позволит создать максимально надежное решение для разработчиков ИИ.
bloomberg.com

✔️ Perplexity анонсировала собственный AI-браузер Comet.

Perplexity AI готовится к запуску собственного веб-браузера под названием Comet. Компания заявила, что Comet "переосмыслит" сам подход к веб-серфингу, подобно тому, как Perplexity изменила представление о поиске информации. Этот анонс может стать прямым вызовом Google, доминирующим в сфере браузеров. Дата релиза пока неизвестна, но доступна запись в лист ожидания по ссылке.
zdnet.com

@ai_machinelearning_big_data

#news #ai #ml

⚡️ YandexGPT 5: модель нового поколения от Яндекса и возвращение компании к публикации LLM-моделей в опенсорс впервые с 2022 года.

Яндекс анонсировал новое поколение больших языковых моделей — YandexGPT 5, включающее Pro и Lite версии.

▶️ YandexGPT 5 Lite

YandexGPT 5 Lite 8B уже доступна на Hugging Face. Модель обучалась в два этапа: претрейн на массиве русско- и англоязычных текстов объёмом 15T токенов и этап Powerup на высококачественных данных объёмом 320B токенов. Она опубликована без финального этапа обучения, этических фильтров и алайнмента, что делает её удобной для исследований и дообучения под специфические задачи разработчиков.

Модель имеет контекстное окно 32k токенов, а в своей категории достигает паритета с мировыми SOTA по ключевым бенчмаркам для pretrain-моделей.

▶️ YandexGPT 5 Pro

В разработке Pro-версии применены значительные улучшения: переработанный датасет с более сложными и разнообразными примерами, усложнённые тренировочные задания, внедрение DPO и PPO с собственной модификацией LogDPO против «разучивания», оптимизация через YaFSDP (-25% вычислительных ресурсов), гибридное обучение с использованием базовых настроек Qwen.

По тестам YandexGPT 5 Pro:

🟢 Достигает уровня GPT-4o в международных тестах и их русскоязычных адаптациях

🟢 Превосходит Qwen-2.5-32b-Instruct в работе с фактами и форматированием, немного уступая в вычислениях

⚠️Pro-версия уже внедрена в чат с Алисой и доступна через API в Yandex Cloud, где может использоваться как в базовой версии, так и с подключением к Поиску.

🟡 Статья

@ai_machinelearning_big_data

#AI #ML