DeepSeek запустил мероприятие OpenSourceWeek и на следующей неделе откроет исходный код в пяти репозиториях, чтобы поделиться своими достижениями в исследовании AGI. Начиная с понедельника DeepSeek будет каждый день открывать исходный код нового проекта. Каждый проект был проверен в реальных онлайн-сервисах и имеет полную документацию.
Deepseek в X
OpenAI выявила и пресекла 2 попытки использования своих инструментов искусственного интеллекта в рамках китайских кампаний влияния. Согласно опубликованному отчету OpenAI, одна из кампаний, названная "sponsored discontent", использовала ChatGPT для создания англоязычных комментариев, атакующих китайского диссидента Цай Ся. Часть этих материалов была размещена на платформе X, а статьи появились на различных новостных сайтах Латинской Америки, иногда в качестве спонсируемого контента.
Другая кампания, получившая название "peer review", включала использование ChatGPT для создания маркетинговых материалов инструмента мониторинга социальных сетей, который, по утверждениям создателей, использовался для отправки отчетов о протестах китайским службам безопасности. Найденные аккаунты заблокированы.
openai.com
Исследователи из Калифорнийского университета представили фреймворк S*, который значительно повышает качество и надежность кода, создаваемого языковыми моделями. S* использует одновременно параллельное и последовательное масштабирование, позволяя системе не только генерировать несколько вариантов кода, но и последовательно улучшать их за счет систематической отладки.
Ключевая особенность - использование "адаптивного синтеза входных данных". В процессе тестирования модель GPT-4o mini создает специальные тестовые входные данные, которые помогают выявить различия между разными версиями генерации. Это позволяет анализировать результаты и выбирать наиболее эффективное решение.
Даже небольшие модели, в тестах - Qwen2.5-7B-Coder-Instruct, с использованием S* показывают результаты на 10% лучше, чем более мощные модели без этого фреймворка. В некоторых случаях они даже превосходят GPT-4o mini. Однако, пока S* оптимизирован только для задач программирования в рамках соревнований, и его применение в более сложных инженерных проектах еще не изучено.
arxiv.org
Google выпустила новое поколение SigLIP 2, которое превосходит предыдущие версии в задачах классификации, поиска изображений и текста, а также в создании визуальных представлений для VLMs. В новой версии энкодера улучшено семантическое понимание, локализации и dense features. Модели семейства теперь лучше справляются с задачами, требующими тонкого анализа изображений и текста.
Ключевая особенность SigLIP 2 - поддержка динамического разрешения (
naflex), что полезно для задач, чувствительных к изменению пропорций и разрешения изображений. Новые модели, включая варианты с динамическим разрешением, уже доступны для использования через библиотеку Hugging Face.huggingface.co
ElevenLabs расширяет свою программу Impact Program, чтобы помочь людям, потерявшим голос из-за тяжелых заболеваний. В прошлом году программа была запущена для пациентов с боковым амиотрофическим склерозом, а теперь ее поддержку смогут получить люди, страдающие от множественной системной атрофии и рака полости рта.
В сотрудничестве с организациями MSA Trust, Mission MSA и Mouth Cancer Foundation, ElevenLabs предоставляет бесплатный доступ к своим инструментам для создания цифровых копий голоса. Пациенты получают пожизненный доступ к этим технологиям, а больные раком полости рта могут подать заявку на бесплатный Pro-план, чтобы сохранить свой голос до потери речи.
ElevenLabs ставит перед собой амбициозную цель — помочь миллиону человек через Impact Program.
elevenlabs.io
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
3🔥51👍24❤14🥰1😁1💯1
Он предназначенный для преобразования PDF-документов в персонализированный аудиоконтент с использованием технологий генеративного ИИ.
Ключевые компоненты:
- Инструмент преобразования PDF в Markdown: Извлекает содержимое из PDF-файлов и конвертирует его в формат Markdown для дальнейшей обработки.
- Сервис создания монологов или диалогов: Обрабатывает Markdown-контент, обогащая или структурируя его для создания естественного аудиоконтента.
- Сервис преобразования текста в речь (TTS): Преобразует обработанный контент в высококачественную речь.
Преимущества использования:
- Персонализация: Возможность адаптации решения под специфические потребности организации, включая брендинг, аналитику, реальное время перевода или интерфейс цифрового человека для повышения вовлеченности.
- Конфиденциальность: Решение соответствует требованиям конфиденциальности на всех этапах обработки данных.
- Гибкость: Модульная структура позволяет добавлять дополнительные функции, соответствующие потребностям пользователей.
- Микросервисы NVIDIA NIM используются для развертывания и масштабирования моделей на GPU.
- Модели Llama 3.1 применяются для обработки и генерации текста.
- Langchain используется для обработки и интеграции данных.
- Docling применяется для парсинга документов.
- ElevenLabs предоставляет сервисы преобразования текста в речь.
Лицензирование:
Использование моделей в этом проекте регулируется NVIDIA AI Foundation Models Community License.
▪ Github: https://github.com/NVIDIA-AI-Blueprints/pdf-to-podcast
▪Project: build.nvidia.com/nvidia/pdf-to-podcast
@ai_machinelearning_big_data
#nim #tts #pdftopodcast
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍48❤11🔥6🗿2🕊1
Он позволяет существенно снизить потребление памяти и ускорить вычисления по сравнению с классическим полносвязным вниманием.
Одним из главных преимуществ данного решения является его высокая эффективность при обработке длинных последовательностей.
За счёт вычисления внимания только по выбранным элементам (а не по всем парам токенов) удаётся уменьшить сложность алгоритма.
Кроме того, инструмент интегрируется непосредственно с PyTorch и использует нативные CUDA-ядра, что позволяет достичь оптимальной производительности на GPU.
Репозитория поможет в экспериментах с архитектурами, где внимание применяется к длинным последовательностям – будь то тексты, временные ряды или изображения – и обеспечивает возможность более эффективного использования вычислительных ресурсов.
native-sparse-attention-pytorch даёт существенные преимущества в снижении затрат памяти и ускорении вычислений, что делает его ценным инструментом для глубокого обучения.
$ pip install native-sparse-attention-pytorch▪ Github
@ai_machinelearning_big_data
#deeplearning #artificialintelligence #attention #sparseattention #ml #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍41🔥9❤3🥰2👏2
Исследователи из Мюнхенского университета предложили методику генерации изображений, основанную на байесовском выводе. Экспериментальная модель, которая получила название Bayesian Sample Inference (BSI), имитирует процесс постепенного уточнения данных: ее инференс начинается с «размытого» представления об изображении и последовательно корректируется с использованием шумовых измерений до финального результата. По заверениям авторов, их метод позволяет точнее воспроизводить распределение данных, чем классические решения на основе диффузии.
BSI-модель стартует с априорного распределения, где начальная точность намеренно задаётся низкой — это эквивалентно «размытой картинке», покрывающей всё множество возможных изображений. На каждом шаге генерации, предиктор, построенный на U-Net или ViT, анализирует текущий промежуточный «результат» и генерирует оценку соответствия относительно "идеального" изображения, который, в свою очередь, участвует в пересчете среднего значения и точности для следующего шага генерации.
Такой подход позволяет BSI-модели балансировать между имеющимися знаниями и новыми данными, избегая переобучения и сохраняя разнообразие генерации. Эксперименты выявили, что BSI сохраняет разнообразие сгенерированных образцов даже при малом числе шагов — это выгодно отличает её от аналогов, склонных к «повторяющимся» генерациям.
BSI напрямую сравнивали с диффузионными VDM- и EDM-моделями и BFNs. Оказалось, что BSI-архитектура не только включает BFNs как частный случай, но и превосходит их в тестах на правдоподобие. Например, на наборах CIFAR10 и ImageNet BSI показала лучшие результаты, достигнув 2.64 (BFNs) и 3.22 (VDM) бит на измерение соответственно, но не смогла превзойти модели с точным расчетом правдоподобия (i-DODE).
Эта новая потенциально методика может стать гейм-чейнджером для генерации изображений.
#AI #ML #Bayesian #GenAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤50🔥31👍23👌1🤝1
scGPT-spatial - расширенная версия модели scGPT в помощь ученым-биологам для анализа пространственной транскриптомики. Основная цель scGPT-spatial — интегрировать информацию о пространственной локализации клеток и их транскриптомных профилях с знаниями scGPT для расширения понимания организации тканей и взаимодействия клеток в микроокружении.
scGPT-spatial обучалась с с учётом пространственных координат на наборе данных SpatialHuman30M (30 миллионов клеток и спотов из 4 протоколов секвенирования: Visium, Visium HD, MERFISH и Xenium) и использует архитектуру MoE.
В тестах scGPT-spatial показала отличные результаты в задачах кластеризации клеточных типов, деконволюции спотов и импутации генной экспрессии. В экспериментах на интеграцию данных из нескольких слайдов и модальностей модель обошла методы PCA и Seurat v4, достигнув показателя AvgBIO 0.86.
В задаче деконволюции клеточных типов scGPT-spatial превзошла Tangram и Cell2location, со средним Macro F1 в 0.58, а медианный коэффициент корреляции Пирсона в импутации генной экспрессии составил значение 0.6.
Веса модели опубликованы в открытом доступе, а в репозитории проекта на Github - подробная инструкция по настройке окружения для scGPT и ipynb демо-ноутбук инференса.
@ai_machinelearning_big_data
#AI #ML #MedML #ScGPT
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥72👍19❤9👌1
Forwarded from Анализ данных (Data analysis)
AWS Badrock готовятся разместить новую версию Sonnet 3.7, которая, скорее всего, будет анонсирована сегодня во время мероприятия Amazon.
* Модель в настоящее время скрыта и не отображается в пользовательском интерфейсе
Инсайдеры раскопали, что модель достигает SOTA в кодинге, агентных способностях, сложном рассуждении и генерации контента.
Благодаря высокой производительности и контролю над скоростью работы, Claude 3.7 Sonnet заточена для реализации AI-агентов и комплексных AI-решений.
Источник: https://archive.is/BkvLb
@data_analysis_ml - подпистаться
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥51👍16❤7😁1
⚡️ EasyR1 – эффективный и масштабируемый фреймворк для обучения с подкреплением (RL) с поддержкой мультимодальных данных.
Чем интересен EasyR1?
EasyR1 сочетает в себе алгоритм GRPO, продемонстрированный в DeepSeek R1, и расширение системы veRL для поддержки vision-language моделей, таких как Qwen2.5-VL.
Уже после 30 шагов обучения фреймворк показал прирост производительности на 5% в экспериментах на тестовом наборе Geometry3k.
Это делает его привлекательным инструментом для исследователей и разработчиков, работающих с задачами, где объединяются визуальные и текстовые данные.
Фреймворк спроектирован так, чтобы быть масштабируемым и легко интегрироваться с различными алгоритмами RL, что открывает широкие возможности для дальнейших исследований.
Ожидайте будущих обновлений – в них планируется интеграция дополнительных алгоритмов RL и новых архитектур VLM.
▪ Github
@ai_machinelearning_big_data
#EasyR1 #opensource #GRPO #VLM
Чем интересен EasyR1?
EasyR1 сочетает в себе алгоритм GRPO, продемонстрированный в DeepSeek R1, и расширение системы veRL для поддержки vision-language моделей, таких как Qwen2.5-VL.
Уже после 30 шагов обучения фреймворк показал прирост производительности на 5% в экспериментах на тестовом наборе Geometry3k.
Это делает его привлекательным инструментом для исследователей и разработчиков, работающих с задачами, где объединяются визуальные и текстовые данные.
Фреймворк спроектирован так, чтобы быть масштабируемым и легко интегрироваться с различными алгоритмами RL, что открывает широкие возможности для дальнейших исследований.
Ожидайте будущих обновлений – в них планируется интеграция дополнительных алгоритмов RL и новых архитектур VLM.
▪ Github
@ai_machinelearning_big_data
#EasyR1 #opensource #GRPO #VLM
👍30🔥12❤5
Анализ данных (Data analysis)
А вот и релиз!
Antrhopic выпустили свою ризонинг модель — Claude 3.7 Sonnet.
Новая версия превосходит 3.5 Sonnet и OpenAI o1 на SWE-bench.
Цена api осталось прежней.
С Sonnet 3.7 Anthropic явно сосредоточился на программировании. Другие области, по-видимому, не были для них особенно важны.
Есть улучшения в MMLU и GPQA, но гигантский скачок только в SWE. Очевидно, что Anthropic хочет позиционировать Sonnet как ИИ для кодинга, которым он уже является.
Попробовать можно бесплатно тут.
@ai_machinelearning_big_data
Antrhopic выпустили свою ризонинг модель — Claude 3.7 Sonnet.
Новая версия превосходит 3.5 Sonnet и OpenAI o1 на SWE-bench.
Цена api осталось прежней.
С Sonnet 3.7 Anthropic явно сосредоточился на программировании. Другие области, по-видимому, не были для них особенно важны.
Есть улучшения в MMLU и GPQA, но гигантский скачок только в SWE. Очевидно, что Anthropic хочет позиционировать Sonnet как ИИ для кодинга, которым он уже является.
Попробовать можно бесплатно тут.
@ai_machinelearning_big_data
10🔥57👍21❤8🤬3🗿2
Только что китайцы представили DeepEP — это библиотека, разработанная для оптимизации работы моделей с архитектурой Mixture-of-Experts (MoE) и параллелизмом экспертов (EP).
Ее основная задача — обеспечить высокую пропускную способность и низкую задержку при обмене данными между GPU, что критически важно для эффективного обучения и инференса крупных моделей.
Что внутри
Высокая производительность:
- Библиотека предоставляет оптимизированные all-to-all GPU ядра для операций распределения (dispatch) и объединения (combine) данных, что улучшает скорость и эффективность коммуникации между экспертами в модели.
- DeepEP поддерживает операции с пониженной точностью, включая формат FP8, что способствует снижению требований к памяти и увеличению скорости вычислений без значительной потери точности.
- Оптимизация под различные домены: В соответствии с алгоритмом группового ограниченного гейтинга, предложенным в работе DeepSeek-V3, библиотека предлагает набор ядер, оптимизированных для асимметричной передачи данных между различными доменами, такими как NVLink и RDMA. Это обеспечивает высокую пропускную способность при обучении и инференсе.
- Низкая задержка для инференса: Для задач, чувствительных к задержкам, DeepEP включает набор ядер с чистой RDMA, минимизируя задержки и обеспечивая быструю обработку данных во время инференса.
- Работает как с NVLink, так и с RDMA, что позволяет организовать высокопроизводительную связь между GPU как в рамках одного сервера, так и между разными серверами.
Принцип работы:
DeepEP интегрируется в существующие рабочие процессы обучения и инференса моделей с архитектурой MoE, предоставляя эффективные механизмы для обмена данными между GPU. Используя оптимизированные коммуникационные ядра, библиотека обеспечивает быструю и надежную передачу данных, что особенно важно при работе с крупными моделями и распределенными системами. Поддержка операций с пониженной точностью и оптимизация под различные домены позволяют гибко настраивать систему под конкретные требования и аппаратные возможности.
Использование DeepEP способствует повышению эффективности и производительности моделей MoE, облегчая их масштабирование и ускоряя процессы обучения и инференса.
▪ Github
@ai_machinelearning_big_data
#ai #deepseek #opensource #DeepEP
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍44🔥16❤8
В первый день анонсированного на прошлой неделе мероприятия "5 дней опенсорс-проектов" Deepseek опубликовала проект FlashMLA. Это ядро оптимизировано для последовательностей переменной длины, поддерживает BF16 и использует страничный KV (с размером блока 64). Вся эта совокупность позволяет значительно повышать эффективность вычислений.
На H800 FlashMLA показал пропускную способности памяти до 3000 ГБ/с и вычислительную производительность в 580 терафлопс. FlashMLA ускорит процесс рассуждений ИИ и обеспечит более эффективные решения в сфере обработки естественного языка.
Deepseek в X (Twitter)
Alibaba Group планирует инвестировать более 380 миллиардов юаней (около 53 миллиардов долларов США) в развитие облачной инфраструктуры и технологий ИИ в течение следующих 3 лет. Объем этой инвестиция превышает все предыдущие вложения Alibaba в облачные технологии и ИИ за последнее десятилетие и является крупнейшей инвестицией частной китайской компании в эту сферу. Решение об инвестировании было принято на фоне бурного роста индустрии ИИ в Китае и после совещания с участием высших китайских руководителей, посвященного частным предприятиям.
english.news.cn
Согласно информации на странице проекта, каждая секунда сгенерированного видео обойдётся пользователям в 50 центов. Это означает, что минута видео будет стоить $30, а час — $1800. Для сравнения, инженер Google DeepMind Джон Бэррон привёл пример с бюджетом фильма «Мстители: Финал», где стоимость одной секунды составила около $32 000.
Veo 2 пока не способен генерировать длинные видеоролики, модель ориентирована на продолжительность генерации до двух минут. Тем не менее, такие цены вызывают вопросы о доступности технологии для широкого круга пользователей.
techcrunch.com
MongoDB приобрела компанию Voyage AI за 220 млн. долларов, чтобы помочь своим клиентам создавать более качественные приложения на основе ИИ. Сделка направлена на обеспечение высокоточной и релевантной выдачи информации, тесно интегрированной с операционными данными.
Технология Voyage AI позволяет извлекать смысл из специализированных текстов и неструктурированных данных: юридических и финансовых документов, изображений и корпоративных баз знаний. Объединение этих технологий с инфраструктурой MongoDB позволит создать максимально надежное решение для разработчиков ИИ.
bloomberg.com
Perplexity AI готовится к запуску собственного веб-браузера под названием Comet. Компания заявила, что Comet "переосмыслит" сам подход к веб-серфингу, подобно тому, как Perplexity изменила представление о поиске информации. Этот анонс может стать прямым вызовом Google, доминирующим в сфере браузеров. Дата релиза пока неизвестна, но доступна запись в лист ожидания по ссылке.
zdnet.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍31❤13🔥5🥰1