Apollo - набор MMLM, которые умеют решать разные задачи с видеоконтентом. Они могут понимать длинные видео, рассуждать о событиях во времени и поддерживать многосторонние видео-диалоги.
Модели показывают высокую производительность даже при относительно небольшом размере в 3 млрд. параметров, превосходя по эффективности конкурентов с моделями в 7В-30В параметров.
Этого удалось достичь благодаря тщательному проектированию и комбинированию SigLIP-SO400M (для изображений) и InternVideo2 (для видео). Их синергия дает более устойчивое представление на задачах временных рассуждений.
⚠️ Код для тонкой настройки, применение LoRA в Apollo и документацию разработчики обещают опубликовать позднее. Пока в репозитории проекта размещен только пример инференса на Transformers.
@ai_machinelearning_big_data
#AI #ML #MMLM #Apollo
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍24🔥10❤7🤔1
MarkItDown представляет собой эффективное средство для конвертации различных типов файлов и документов в формат Markdown. Эта библиотека идеально подходит для анализа, индексирования и систематизации данных.
Вот перечень поддерживаемых форматов:
— PDF, PowerPoint, Word, Excel.
— Изображения (в том числе EXIF-данные и распознавание текста с помощью OCR).
— Аудио (метаданные и расшифровка речи).
— HTML (включая специализированную обработку контента из Wikipedia).
— Текстовые форматы: CSV, JSON, XML и другие.
▪MarkItDown ▪Github
Смотреть выпуск
Принцип работы прост: пользователь загружает три изображения — одно для объекта, другое для фона и третье для стиля. Модель Gemini анализирует каждое изображение и формирует подробное описание, после чего новая система генерации изображений Imagen 3 использует эти данные для создания уникального результата.
Главное преимущество Whisk перед другими генераторами заключается в том, что он не копирует исходные изображения полностью, а выделяет из них ключевые элементы.
blog.google
Внутренние тесты компании показали, что пользователи предпочитают генерации Veo генерациям SORA в 58,8% случаев.
Подать заявку на тестирование модели можно через сервис VideoFX в Google Labs, однако доступ к нему закрыт для пользователей с российскими IP-адресами. Планируется, что в 2025 году Veo 2 будет интегрирован в YouTube Shorts и другие сервисы Google.
deepmind.google
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍19❤15🔥9
Институт технологических инноваций Абу-Даби представил семейство моделей Falcon 3 с расширенными возможностями в областях науки, математики и программирования.
Модели Falcon 3 основаны на трансформерах, совместимы с архитектурой Llama поддерживает до 32К токенов контекста (кроме 1B с контекстом 8К). Все модели используют функцию активации SwiGLU с размером словаря 131K токенов (65K для Mamba-7B версии).
Falcon3-7B-Base была масштабирована до 10 млрд. параметров путем дублирования избыточных слоев и последующего обучения на 2 трлн. токенов. Это позволило модели Falcon3-10B-Base достичь высоких результатов в задачах zero-shot и few-shot среди моделей с менее чем 13В параметров.
Для создания компактных моделей Falcon3-1B Base и Falcon3-3B Base использовались методы обрезки и дистилляции знаний на основе около 100 ГБ высококачественных данных.
Модель Falcon3-Mamba-7B-Base была усовершенствована путем обучения на дополнительных 1,5 трлн. токенов, что привело к созданию Falcon3-Mamba-7B-Base с улучшенными способностями к рассуждению и в математических задачах.
В бенчмарках задач математики Falcon3-10B-Base достигает 22,9 на MATH-Lvl5 и 83,0 на GSM8K, а в задачах программирования набирает 73,8 на MBPP.
Инструктивные версии моделей также показывают высокие результаты, при этом Falcon3-7B-Instruct и Falcon3-10B-Instruct превосходят аналогичные модели до 13 млрд. параметров.
⚠️ В январе 2025 года планируется выпуск моделей семейства Falcon3 с расширенными мультимодальными возможностями: поддержка изображений, видео и аудио, а также полный технический отчет с описанием методик.
@ai_machinelearning_big_data
#AI #ML #LLM #Falcon3
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥20👍15❤8
NVIDIA анонсировала Jetson Orin Nano Super Developer Kit, который предлагает повышенную производительность по сниженной цене. Цена устройства была снижена с 499 до 249 долларов США. Комплект предоставляет возможности в области генеративного ИИ и повышения производительности как коммерческим разработчикам ИИ, так и энтузиастам.
Jetson Orin Nano Super обещает 1,7-кратное увеличение производительности, достигая 67 INT8 TOPS, и 50-процентное увеличение пропускной способности памяти до 102 ГБ/с. Комплект разработчика состоит из системного модуля Jetson Orin Nano 8GB (SoM) и эталонной несущей платы. SoM включает в себя GPU на архитектуре NVIDIA Ampere с тензорными ядрами и 6-ядерный процессор Arm.
blogs.nvidia.com
FACTS Grounding создан для оценки способности LLM генерировать ответы, которые являются фактически точными и основаны на предоставленном исходном материале. Бенчмарк включает в себя 1719 примеров, требующих развернутых ответов, основанных на предоставленном контекстном документе.
Примеры включают различные области: финансы, технологии, розничную торговлю, медицину и право, и документы объемом до 32 000 токенов. Для оценки используются три LLM-судьи: Gemini 1.5 Pro, GPT-4o и Claude 3.5 Sonnet, которые оценивают ответы на соответствие пользовательскому запросу и фактическую точность. Датасет и лидерборд доступны на Kaggle.
deepmind.google
Компания Grammarly объявила о намерении приобрести платформу Coda, специализирующуюся на инструментах для повышения продуктивности. Генеральный директор и соучредитель Coda, Шишир Мехротра, станет новым CEO Grammarly. Это приобретение направлено на трансформацию Grammarly из простого ассистента в полноценную ИИ-платформу продуктивности для приложений и агентов.
Интеграция Coda Brain позволит Grammarly сделать своего ИИ-помощника более умным, контекстуально осведомленным и способным подключаться к различным системам и приложениям. Grammarly планирует объединить своего ассистента с Coda Docs, чтобы обеспечить пользователям платформу для работы с ИИ от начала и до конца.
businesswire.com
OpenAI начала предоставлять модель o1, способную к "рассуждению", через API, но пока только для разработчиков, входящих в категорию использования "tier 5". Для квалификации в эту категорию, разработчики должны потратить не менее 1000 долларов с OpenAI и иметь аккаунт старше 30 дней с момента первого успешного платежа. Модель o1 заменяет предыдущую модель o1-preview и способна проверять факты.
Использование o1 стоит значительно дороже — 15 долларов за ~750 000 input-токенов и 60 долларов за ~750 000 output, что в 6 раз дороже, чем GPT-4o. O1 в API более настраиваемая благодаря новым функциям^ вызов функций, сообщения разработчика и анализ изображений. OpenAI также выпустила новые версии моделей GPT-4o и GPT-4o mini в рамках Realtime API, предназначенного для приложений с низкой задержкой голосового ответа, с улучшенной эффективностью данных и надежностью.
openai.com
Согласно транспортной накладной, обнаруженной пользователем X Томашем Гавронским, Intel, возможно, готовит к выпуску версию своей видеокарты Arc B580 с 24 ГБ видеопамяти. Эта карта, известная как Battlemage G21, может быть оснащена памятью GDDR6, подключенной в "раскладном" режиме (clamshell), который позволяет удвоить объем видеопамяти. Возможно, 24 ГБ версия B580 будет предназначена для партнеров Intel, занимающихся ИИ и центрами обработки данных.
pcgamer.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥23👍14❤7🥰1
Подразделение FAIR компании Марка Цукерберга представила новые исследовательские результаты, направленные на развитие исследований в ИИ, а их открытая публикация должна способствовать ускорению общего прогресса:
Модель обучена с применением нового алгоритма, который позволяет представлять состояния, движения и вознаграждения в едином латентном пространстве. Motivo демонстрирует высокую производительность в сравнении со специализированными методами, превосходит современные подходы неконтролируемого обучения с подкреплением и проявляет устойчивость к изменениям окружающей среды.
Метод добавляет незаметные водяные знаки, устойчивые к редактированию и сжатию, чтобы маркировать и отслеживать происхождение сгенерированных видеоматериалов. Video Seal является развитием предыдущей разработки Audio Seal.
Метод, который постепенно заменяет классическую диффузию и повышает производительность и эффективность обобщения при создании изображений, видео, аудио и 3D-структур.
Он уже применяется в продуктах Movie Gen, Audiobox и Melody Flow, а также в Stable-Diffusion-3, Flux, Fold-Flow и Physical Intelligence Pi_0.
Этот подход позволяет создавать разнообразные и сложные сценарии для обучения LLM. Экспериментальное применение Explore Theory-of-Mind с Llama-3.1 7B привело к увеличению точности на 27 пунктов на тесте ToMi.
Основная идея LCM заключается в том, чтобы отделить рассуждения от представления языка, и она вдохновлена тем, как люди могут планировать высокоуровневые мысли для общения. LCM значительно отличается от типичного LLM. Вместо того чтобы предсказывать следующую лексему, LCM обучается предсказывать следующую концепцию или идею высокого уровня, представленную полным предложением в мультимодальном и многоязычном пространстве эмбедингов.
DBLT превосходит модели на основе токенизаторов по надежности, в среднем на 7 пунктов, и отлично справляется с обработкой longtail и rare sequences of unseen symbols.
Метод, который помогает эффективно хранить и извлекать информацию через специальные "слои памяти" без значительного роста вычислительных затрат. Он позволяет моделям работать лучше и точнее на задачах, связанных с фактами.
Она позволяет легко использовать воспроизводимые автоматические оценки T2I-моделей и поддерживает настройку с использованием пользовательских метрик, датасетов и визуализаций.
@ai_machinelearning_big_data
#AI #ML #FAIR #Digest
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍24🔥9❤6👻1
OpenAI представила еще один способ доступа к ChatGPT - через обычный телефонный звонок. Теперь пользователи в США могут просто набрать бесплатный номер 1-800-ChatGPT для доступа к AI-ассистенту. Сервис предоставляет 15 бесплатных минут разговора в месяц и работает на любом телефоне - от современных смартфонов до классических дисковых аппаратов.
Для пользователей за пределами США компания предлагает ChatGPT через WhatsApp, где общение происходит в формате текстовых сообщений. Нововведение является частью праздничной серии стримов "12 дней OpenAI".
openai.com
В 2024 году Microsoft купила 485 000 чипов Nvidia Hopper, что более чем в 2 раза превышает закупки любого из ее конкурентов. Для сравнения, компания Марка Цукерберга купила 224 000 штук. Закупки Microsoft чипов Nvidia в 2024 году более чем втрое превысили количество, приобретенное компанией в 2023 году.
Помимо закупки ускорителей NVIDIA, Microsoft разрабатывает собственные специализированные AI - Maia, о которых было объявлено на конференции Ignite в конце 2023 года.
techcrunch.com
Odyssey, основанный пионерами в области беспилотных автомобилей Оливером Кэмероном и Джеффом Хоком, разрабатывает инструмент на основе ИИ, способный преобразовывать текст или изображение в 3D-рендеринг.
Инструмент, под названием Explorer, может генерировать интерактивные сцены в реальном времени на основе текстового описания. Explorer обучен на реальных ландшафтах, снятых с помощью 360-градусной камерной системы компании. Odyssey утверждает, что их инструмент "особенно настроен" для создания фотореалистичных сцен. Сцены, сгенерированные Explorer, могут быть загружены в Unreal Engine, Blender и Adobe After Effects для редактирования.
odyssey.systems
SPARROW (Solar-Powered Acoustic and Remote Recording Observation Watch) - ИИ-комплекс для автономного сбора данных о биоразнообразии в удаленных регионах. Устройство на солнечной энергии оснащено датчиками, которые собирают данные с камерных ловушек, акустических мониторов и других детекторов. Эти данные обрабатываются с использованием моделей ИИ на энергоэффективных GPU.
Затем SPARROW передает информацию через низкоорбитальные спутники в облако, обеспечивая исследователям доступ к данным в реальном времени. Все компоненты SPARROW, включая программное обеспечение, аппаратное обеспечение и 3D-печатные чертежи, будут иметь открытый исходный код. В ближайшие три месяца SPARROW будет развернут в Северной и Южной Америке, а к концу 2025 года планируется внедрить SPARROW на всех континентах.
blogs.microsoft.com
Аудиторская группа Data Provenance опубликовала отчет, в котором констатировала, что более 90% наборов данных для ИИ поступают из Европы и Северной Америки и лишь 10% - из других регионов.
Источники данных для обучения ИИ существенно изменились за последнее десятилетие. Если раньше данные поступали из разных источников, то после 2018 года интернет-контент стал доминирующим для всех типов медиа. Синтетические данные также показывают стремительный рост: если в 2020 году их доля составляла менее 0.1% от веб-энциклопедических данных, то к 2024 году она достигла 10%. Основными генераторами синтетических данных стали модели OpenAI.
Это приводит к концентрации власти в руках крупных технологических компаний и затрудняет доступность данных для небольших организаций и исследователей. Недостаточное представление других культур и языков может искажать модели ИИ, отражая преимущественно западный взгляд на мир.
technologyreview.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍24❤17😁12🔥6
Bamba-9B - модель, разработанная IBM, Princeton, CMU и UIUC на основе полностью открытых данных. Модель демонстрирует улучшение пропускной способности в 2.5 раза и снижение задержки инференса в 2 раза по сравнению с Transformers в vLLM. Bamba-9B доступна для использования в HF Transformers, vLLM, TRL и llama.cpp.
Bamba-9B использует уникальный распределенный, не сохраняющий состояние data loader, обеспечивающий бесшовное возобновление работы, автоматическое масштабирование, потоковую передачу данных с zero-overhead for shuffling.
Модель основана на архитектуре NVIDIA hybrid Mamba2, но с некоторыми изменениями. Bamba-9B имеет 32 слоя, из которых 3 полноценных слоя внимания и 29 слоев Mamba2, в то время как NVIDIA hybrid Mamba2 имеет 29 слоев, из которых 4 слоя внимания и 25 слоев Mamba2.
Bamba-9B была обучена на 2.2T токенов с датасетом Dolma v1.7 на первом этапе и FineWeb-edu и Cosmopedia на втором.
По проведенным замерам, средняя производительность Bamba-9B почти сравнима с Llama 3.1 8B (45.53 против 44.68), при том что Llama 3.1 8B была обучена на 7x большем объеме данных.
Bamba-9B превзошла Olmo 7B, обученную на идентичном количестве токенов и наборах данных. В сравнении с другими моделями на базе Mamba/Mamba2, Bamba-9B показывает хорошие результаты, при этом обеспечивая значительное улучшение (до 5x) эффективности логического вывода.
llm-compressor версия Bamba 9Bllm-compressor версия Bamba 9B 2Тllm-compressor версия Bamba 9B 1.8Тfrom transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("ibm-fms/Bamba-9B")
tokenizer = AutoTokenizer.from_pretrained("ibm-fms/Bamba-9B")
message = ["Mamba is a snake with following properties "]
inputs = tokenizer(message, return_tensors='pt', return_token_type_ids=False)
response = model.generate(**inputs, max_new_tokens=64)
print(tokenizer.batch_decode(response, skip_special_tokens=True)[0])
@ai_machinelearning_big_data
#AI #ML #LLM #Bamba #IBM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤16👍14🔥5
IBM представила Granite 3.1, обновление семейства открытых и высокопроизводительных LLM, оптимизированных для корпоративного использования. Обновление принесло семейству повышение производительности, точности в критически важных корпоративных сценариях: использование инструментов, RAG и рабочие процессы на основе AI агентов.
В этом релизе особое внимание уделялось улучшению обработки длинных текстов благодаря расширенному контекстному окну и детекту галлюцинаций. Все модели семейства Granite 3 получили длину контекстного окна в 128 тысяч токенов. Для сравнения, это примерно 300-страничная книга.
Набор LLM Granite 3.1 8B и 2B, базовые и инструктивные версии. Флагманская Granite 3.1 8B достигает одних из самых высоких средних баллов среди открытых моделей своего класса на Hugging Face OpenLLM Leaderboard.
MoE-модели Granite 3.1 3B и 1B c 800M и 400M активных параметров соответственно и их инструктивные версии.
Granite Embedding в 4 размерах (125M и 30M для английского языка и 278M и 107М - мультиязычные), которые поддерживают 12 языков: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, голландский и китайский.
Granite Guardian 3.1 8B и 2B - специализированные модели обнаружения галлюцинаций при вызовах функций. Они отслеживают каждый вызов функции на предмет синтаксических и семантических отклонений, повышая достоверность и управляемость в рабочих процессах.
⚠️ Все модели Granite 3.1, Granite Guardian 3.1 и Granite Embedding доступны в средах: IBM watsonx.ai, Hugging Face, LM Studio, Ollama и Replicate.
@ai_machinelearning_big_data
#AI #ML #LLM #Embeddings #IBM #Granite
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍23❤6🔥4👌1