QVQ-72B-Preview - экспериментальная VLM на основе Qwen2-VL-72B , разработанная Qwen, со способностями к аналитическому мышлению и новым уровнем когнитивных навыков.
Проведенная в Qwen оценка QVQ-72B-Preview на бенчмарках MMMU, MathVista, MathVision и OlympiadBench показала результат 70.3 на MMMU, 71.4 на MathVista, 35.9 в MathVision и 20.4 на наборе OlympiadBench, подчеркнув ее способность к комплексному пониманию и рассуждению в мультидисциплинарных задачах.
⚠️ Несмотря на высокие результаты, QVQ-72B-Preview - предварительная версия модели, которая имеет ограничения:
Неофициальные квантованные версии QVQ-72B-Preview в формате GGUF с диапазоном разрядностей от 1-bit (23.7GB) до 8-bit (77.26GB) и MLX-версии от mlx community в разрядностях от 4-bit до 16-bit.
@ai_machinelearning_big_data
#AI #ML #VLM #Qwen #Reasoning
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥20👍12❤6
AI-лаборатория Стенфордского университета представила модель MiniVLA — усовершенствованную версию Vision-Language-Action (VLA), компактную альтернативу OpenVLA.
Отличительная особенность MiniVLA - сокращенное в 7 раз количество параметров (1 млрд. против 7 миллиардов у OpenVLA), что дает значительное ускорение процессов обучения и инференса.
В архитектуре MiniVLA используется тот же ViT для обработки изображений, что и в OpenVLA, однако в качестве языковой модели используется Qwen 2.5 0.5B вместо Llama 2 7B.
Обучение языковой модели основано на датасете Llava-1.5-Instruct VQA, аналогично базовой модели Prismatic VLM в OpenVLA. Несмотря на уменьшение размера, MiniVLA демонстрирует сопоставимую с OpenVLA производительность в рамках бенчмарка Libero-90 (61.4% против 62%).
Одно главных усовершенствований MiniVLA - применение векторного квантования (VQ) для кластеризации действий (action chunking). Вместо дискретного представления действий, модель прогнозирует их последовательности, которые кодируются в виде M кодовых индексов с помощью VQ-BeT5. Это существенно повышает производительность на Libero-90.
Так, MiniVLA с VQ h8 (action chunks) достигает 77% успеха, в то время как базовая модель MiniVLA и OpenVLA демонстрируют 61.4% и 62% соответственно.
MiniVLA поддерживает подачу на вход нескольких изображений, что позволяет использовать "историю изображений" и серию снимков с носимых целевым роботом камер. Мульти-кадровая возможность способствует повышению производительности на Libero-90: модель MiniVLA с VQ h8 и историей изображений (history=2) достигает 82% успешности, а с кадрами с новимой камеры — 82.1%.
По сделанным замерам производительности, MiniVLA показывает в 2.5 раза более высокую скорость инференса, чем OpenVLA (12.5Hz против 5Hz) на одном GPU NVIDIA L40s.
@ai_machinelearning_big_data
#AI #ML #VLA #MiniVLA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍32❤8🔥5
Salesforce Research представил AGUVIS, фреймворк, использующий компьютерное зрение для автономных агентов GUI пользователя, работающего с web, mobile и PC-интерфейсами. AGUVIS использует единые визуальные данные и согласованное пространство действий для повышения обобщаемости в GUI-средах.
Модель обладает возможностями планирования и рассуждения и использует набор траекторий агентов GUI с многомодальным основанием. AGUVIS показал среднюю точность 89,2% в GUI-задачах, превзойдя другие методы, и снижение затрат на вывод на 93% по сравнению с GPT-4o.
Веса модели и код инференса - в планах, код для тренировки, траектории планирования и рассуждений доступны на Github.
aguvis-project.github.io
Google подвела итоги 2024 года, отметив значительный прогресс в области развития технологий ИИ. За год было сделано 60 крупных анонсов: в начале 2024 года были представлены обновления для Gemini, Chrome, Pixel и Search и функция Circle to Search. В феврале дебютировала модель Gemini 1.5, а Bard стал Gemini. В марте акцент был сделан на использовании ИИ в здравоохранении, а в мае на конференции Google I/O были представлены новые продукты и функции на базе ИИ.
В течение года Google запустила новые инструменты для Google Workspace, образования, перевода, поиска и покупок. В декабре была представлена Gemini 2.0, модель нового поколения наступающей агентной эры ИИ.
blog.google
Исследователи Университета Гонконга разработали лазерный искусственный нейрон, который полностью имитирует функции, динамику и обработку информации биологического градиентного нейрона. Новая разработка достигает скорости обработки сигнала в 10 ГБод, что в миллиард раз быстрее, чем у биологических аналогов.
Лазерный градиентный нейрон преодолевает ограничения скорости фотонных версий спайковых нейронов и имеет потенциал для еще более быстрой работы. Ученые использовали его для создания системы резервуарных вычислений, которая демонстрирует исключительную производительность в задачах распознавания образов и прогнозирования последовательностей. Тестовая среда обработала данные 100 миллионов сердечных сокращений или 34,7 миллиона рукописных цифровых изображений всего за одну секунду.
eurekalert.org
xAI выпустила Grok для iOS, которое в настоящее время находится на стадии бета-тестирования в Австралии и некоторых других регионах. Приложение имитирует основные функции Grok и использует модель искусственного интеллекта Grok-2.
Приложение может переписывать и обобщать текст, отвечать на вопросы и создавать изображения на основе текстовых запросов, а также получать доступ к данным из интернета и X в режиме реального времени. Одной из отличительных особенностей Grok - возможность генерации изображений, которая не имеет таких строгих ограничений, как у некоторых конкурентов, и позволяет анализировать изображения, загруженные пользователями.
techradar.com
Джек Кларк, соучредитель Anthropic, в своей публикации на LinkedIn предположил, что в 2025 году темпы развития ИИ значительно ускорятся, благодаря сочетанию традиционных методов масштабирования моделей и масштабирования вычислительных ресурсов во время выполнения, используемое в моделях o-серии OpenAI. Кларк уверен, что сочетание традиционного масштабирования с новыми методами приведет к "еще более резким" достижениям в области ИИ в 2025 году.
Anthropic пока не выпустила модель, конкурирующую с o-серией OpenAI или Gemini от Google. Их модель Opus 3.5 была отложена из-за высоких затрат, но она помогла в разработке Sonnet 3.5.
the-decoder.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍25🔥10❤6😁2
Познавательная статья Кристофера Флитвуда, ML-инженера HuggingFace об эволюции методов позиционного кодирования в моделях-трансформерах, начиная с простых подходов и заканчивая Rotary Positional Encoding (RoPE), используемым в современных моделях, таких как Llama 3.2.
Самовнимание, ключевой механизм трансформеров, требует обогащения позиционной информацией, поскольку оно является перестановочно инвариантным, то есть не учитывает порядок токенов в последовательности.
Без позиционной информации модели не могут различать одинаковые токены, находящиеся в разных позициях, что делает невозможным определение отношений между словами в предложении.
В статье описываются желательные свойства идеальной схемы позиционного кодирования: уникальность кодирования для каждой позиции, линейная зависимость между закодированными позициями, обобщение на более длинные последовательности, детерминированный процесс генерации и возможность расширения на множественные измерения.
Начальные методы, например, добавление целочисленного значения позиции к эмбеддингу токена, были признаны несостоятельными из-за проблем с диапазоном значений и низкой разделительной способностью. Альтернативой стало бинарное позиционное кодирование, которое, однако, не обеспечивало достаточной гладкости и непрерывности для оптимизации.
Синусоидальное позиционное кодирование, описанное в «Attention is all you need», стало важным шагом вперед.
Оно использует синусоидальные и косинусоидальные функции с разными частотами для кодирования позиции, позволяя модели изучать отношения между позициями.
RoPE кодирует относительные позиции, применяя матрицу вращения к парам компонентов векторов запросов (q) и ключей (k), что позволяет модели эффективно кодировать позиционную информацию без изменения нормы векторов. Это достигается путем умножения пар элементов векторов на матрицу вращения.
RoPE также может быть расширен для работы с многомерными данными, например, изображениями, путем независимого кодирования позиций в разных измерениях.
@ai_machinelearning_big_data
#AI #ML #LLM #RoPE #Huggingface #Blogpost
Please open Telegram to view this post
VIEW IN TELEGRAM
👍27❤6🔥3🤔2
DepthLab - диффузионный механизм инпейнта карт глубины с двумя параллельными ветвями для задач заполнения 3D-сцен, генерации сцен на основе текстовых промптов, реконструкции с использованием DUST3R и заполнение глубины LiDAR.
Первая ветвь, Reference U-Net извлекает признаки из RGB-изображений, которые служат условием для второй ветви.
Вторая ветвь, Estimation U-Net, обрабатывает имеющиеся данные о глубине и маску, определяющую области, требующие восстановления. Признаки RGB, полученные из Reference U-Net, последовательно интегрируются в Estimation U-Net, что позволяет управлять процессом восстановления.
Взаимодействие между ветвями Reference U-Net и Estimation U-Net реализуется механизмом cross-attention, который использует CLIP encoder.
Архитектура DepthLab опирается на наработки Marigold и Stable Diffusion V2. Кодирование RGB-изображений и карт глубины в латентное пространство осуществляется VAE. Маска также кодируется с помощью VAE, что позволяет сохранить детальную информацию о форме и границах.
Обучение DepthLab проводилось на двух синтетических датасетах: Hypersim (54 тысячи обучающих образцов) и Virtual KITTI (20 тысяч обучающих образцов). Для расширения обучающей выборки использовались случайные искажения изображений и несколько стратегий маскирования: штрихи, окружности, квадраты и их комбинации.
Оценка качества восстановления проводилась на 5 наборах: NYUv2, KITTI, ETH3D, ScanNet, DIODE. В качестве метрик использовались абсолютная относительная ошибка (AbsRel) и точность в пределах δ1 = 1.25.
Результаты тестов демонстрируют, что DepthLab превосходит как дискриминативные (DiverseDepth, MiDaS, LeReS, Omnidata, HDN, DPT, DepthAnything, DepthAnythingV2), так и генеративные (Marigold, DepthFM, GeoWizard) методы в постоении карт глубины.
Для локального инференса потребуются модели:
# Clone repo
git clone https://github.com/Johanan528/DepthLab.git
cd DepthLab
# Create conda env
conda env create -f environment.yaml
conda activate DepthLab
# Run inference
cd scripts
bash infer.sh
@ai_machinelearning_big_data
#AI #ML #DepthLab
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍28❤8🔥4❤🔥1🤣1
Deepseek выпустила свою самую мощную языковую модель Deepseek V3, которая, по предварительным тестам, конкурирует с ведущими проприетарными моделями. Новая модель построена на архитектуре MoE и содержит 671 млрд. параметров, из которых 37 млрд. активных. Deepseek V3 обучалась на 14,8 трлн. токенов, что почти вдвое больше, чем у V2.
Deepseek V3 обрабатывает 60 токенов в секунду, это в 3 раза быстрее, чем V2. Модель показала высокие результаты в тестах на логическое мышление, в MATH 500 (90,2%) и программировании (Codeforces и SWE). Deepseek утверждает, что V3 сопоставима с GPT-4o и Claude-3.5-Sonnet по производительности. В отрытом доступе модель можно найти на HF, а попробовать - в демо-чате.
deepseek.com
СEO Advantest, поставщика Nvidia, считает, что спрос на смартфоны с ИИ может помочь защитить полупроводниковый сектор от резкого спада клиентских расходов на центры обработки данных. Снижение темпов роста инвестиций в центры обработки данных крупными технологическими компаниями, такими как Google и Microsoft, может иметь серьезные последствия для цепочки поставок. В то время как спрос на телефоны с искусственным интеллектом пока был "довольно медленным", он может быстро возрасти.
pymnts.com
В 2025 году мир ИИ ожидает ряд изменений, которые коснутся как технологий, так и бизнеса. Разработчик Llama начнет взимать плату за использование своих моделей для крупных компаний. Это неизбежно из-за огромных затраты обучения моделей, так как поддержание конкурентоспособности требует миллиардных инвестиций. При этом, индивидуальные разработчики и стартапы смогут продолжать пользоваться Llama бесплатно.
Законы масштабирования будут применяться не только к языковым моделям, но и к робототехнике и биологии. В этих областях ожидается значительный прогресс, поскольку исследования только начинаются. Веб-агенты станут массовым явлением, выполняя за пользователей онлайн-задачи. Начнут появляться серьезные проекты по размещению дата-центров с ИИ в космосе для получения доступа к "бесплатной" солнечной энергии.
С безопасностью ИИ произойдет первый реальный инцидент, который покажет, что системы ИИ могут действовать непредсказуемо. ИИ достигнет нового уровня в распознавании речи, пройдя тест Тьюринга для голоса. И наконец, системы ИИ будут способны самостоятельно разрабатывать более совершенные ИИ, что разгонит развитие в этой области кратно.
forbes.com
Согласно отчету The Information, Microsoft и OpenAI имеют внутреннее определение AGI, основанное на прибыльности проекта. По этому определению, OpenAI достигнет AGI только тогда, когда их системы смогут приносить не менее 100 млрд. долларов прибыли. Это отличается от общепринятых технических и философских определений AGI.
В этом году OpenAI понесет миллиардные убытки и не ожидает прибыли до 2029 года. Это важная деталь, так как Microsoft потеряет доступ к технологиям OpenAI, когда стартап достигнет AGI. Ходят слухи, что OpenAI может объявить о достижении AGI раньше, чтобы ограничить доступ Microsoft, но этот отчет означает, что Microsoft может иметь доступ к моделям OpenAI в течение десятилетия или более.
theinformation.com
Nvidia готовится к выпуску B300 второго поколения на архитектуре Blackwell, которые обеспечат на 50% более высокую производительность по сравнению с серией B200. Увеличение производительности достигается при TDP 1400 Вт, что всего на 200 Вт больше, чем у GB200. Процессоры B300 будут использовать память 12-Hi HBM3E с пропускной способностью 8 ТБ/с.
Помимо увеличенной производительности и памяти, B300 получит сетевой адаптер 800G ConnectX-8, который имеет 2х большую пропускную способность, чем 400G ConnectX-7, и 48 линий PCIe. Nvidia изменит подход к поставкам, продавая B300 только на модуле SXM Puck.
tomshardware.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍28❤12😢5🔥3😁2🤣1
В пятерку глобальных ИИ-трендов вошли мультимодальные ИИ, активное использование открытого кода, гиперперсонализация ИИ, развитие ИИ-агентов и автономные системы.
Особенность мультимодального ИИ в возможности обрабатывать сразу и текст, и изображения, и аудио с видео. По словам эксперта, кульминацией мультимодальности станут VLM-модели, обучающиеся не на текстах, а на видеофайлах.
Также в будущем разработчики ИИ будут активнее использовать опенсорсные модели обучения и выкладывать новые модели в Open Source. Развитие открытого кода позволит увеличить скорость разработки инновационных продуктов и создания более доступных технологий, отметил техдиректор Яндекс Поиска Алексей Гусаков.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21❤6🔥3
Авторегрессионное моделирование использует последовательный принцип "токен за токеном" с отличными результатами, но, с развитием качества генерации и размеров моделей, требует больших вычислительных ресурсов, замедляя процесс инференса.
Анализ зависимостей между токенами выявил закономерность, что токены, пространственно удаленные друг от друга, обладают более слабыми взаимосвязями. Так родилась теория о возможности их параллелизации, которая получила название PAR (Parallelized Autoregressive Visual Generation).
PAR предлагает разделение изображения на локальные сегменты, в которых начальные токены генерируются последовательно для формирования глобальной структуры. Затем выполняется параллельная генерация токенов в сегментах.
Такой подход дает ускорение процесса генерации изображений и видео в 3,6 раза при сохранении сопоставимого качества, и до 9,5 раз при минимальном снижении качества.
PAR может интегрироваться в стандартные архитектуры авторегрессионных моделей, не требуя их модификации, при этом используется механизм переупорядочивания токенов и набор обучаемых эмбеддингов, чтобы поддержать плавность перехода между последовательным и параллельным режимами генерации.
Эксперименты с PAR проводились на наборах ImageNet и UCF-101, с токенизаторами VQGAN и MAGVIT-v2. Качества итоговых изображений оценивалось метриками FID и IS, а для видео - метрикой FVD.
В результате, PAR с набором ImageNet показал сокращение количества шагов генерации в 3,9 раза и ускорение в 3,6 раза при сопоставимом уровне качества. В кейсе с более интенсивной параллелизацией количество шагов сократилось в 11,3 раза, а ускорение в 9,5 раз с минимальным снижением качества.
С датасетом UCF-101 PAR-4x (реализация с четырьмя параллельными токенами) показала ускорение в 3,8 раза при незначительном ухудшении качества, а PAR-16x (16 токенов) - в 12,6 раза, также при минимальных изменениях метрики FVD.
⚠️ Код проекта обещают опубликовать в ближайшее время.
@ai_machinelearning_big_data
#AI #ML #PAR #Parallelization
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21❤11🔥2
OpenAI объявила о планах по реорганизации своей корпоративной структуры в следующем году. Компания намерена создать публичную благотворительную корпорацию, которая будет управлять операциями и бизнесом OpenAI, а некоммерческая организация будет заниматься благотворительными проектами в областях здравоохранения, образования и науки. Новая структура позволит привлечь больше капитала, необходимого для дальнейшего развития и достижения AGI.
theguardian.com
Nvidia, Niantic и World Labs занимаются разработкой новых геопространственных AI-моделей Земли, способных видеть, думать и действовать в трехмерном пространстве. Nvidia использует свой проект Earth-2, объединяющий ИИ-модель с физическими симуляциями и компьютерной графикой, для прогнозирования погоды и климата.
Niantic, создатель Pokémon Go, применяет свой опыт в создании карт и 3D-моделей, основанный на сканировании местности игроками. У Niantic уже есть 10 млн. отсканированных локаций по всему миру и она использует эти данные для создания самой полной наземной 3D-карты мира. World Labs также разрабатывает "большую мировую модель", аналогичную концепции Niantic, и видит ее применение в создании виртуальных миров.
barrons.com
Создатель AI-модели, Рубен Круз, основатель агентства The Clueless, решил создать виртуального инфлюенсера из-за проблем с реальными моделями. 25-летняя Аитана Лопес, фитнес-энтузиаст с ярко выраженной индивидуальностью, созданной на основе анализа общественных вкусов и трендов, зарабатывает в среднем около €3000 в месяц, но в пике ее доход достигает €10 000. Она зарабатывает более €1000 за рекламу, является лицом компании по производству спортивного питания и размещает фотографии в нижнем белье на платформе Fanvue.
За полтора года у нее появилось более 343 000 подписчиков в соцсетях, и ее фотографии получают тысячи просмотров. Успех Аитаны привел к созданию еще двух моделей, одна из них, певица Лия З., стала первой AI-моделью, заключившей контракт на запись.
euronews.com
Биеннале журнал The AI Art Magazine, посвященный искусству, созданному ИИ, начал свою публикацию и служит важным свидетельством этого переломного момента в истории искусства. По заявлению издателя журнала, Майка Браунера, он "празднует слияние человеческой креативности и разумных машин", фиксируя "момент искусства в ощутимой печатной форме", во времена стремительного развития ИИ-технологий. Журнал стоит 22 евро и финансируется независимо, что гарантирует "редакционную независимость и творческую свободу". Первый выпуск журнала включает в себя работы японского AI-художника Эми Кусано и кураторскую галерею из 50 работ, отобранных международным жюри.
artnews.com
Китайский киноархив, Douyin и Volcano Engine совместно инициировали проект по восстановлению 100 гонконгских фильмов в формате 4K. Десять из них были восстановлены с использованием ручной и AI-коррекции, а 90 — преимущественно с помощью ИИ.
В рамках проекта также был выпущен документальный фильм "Обновляя время", который рассказывает о процессе восстановления фильмов "Богатые и могущественные" и "Однажды в Китае".
ИИ-технологии помогли повысить эффективность восстановления, автоматически удаляя артефакты и генерируя промежуточные кадры для улучшения плавности движения. Модель ИИ была оптимизирована для улучшения деталей текстуры кожи лица для приданию изображения четкости и естественности. Volcano Engine, в свою очередб, увеличил скорость восстановления в 3 раза по сравнению с прошлым годом, сократив время восстановления двухчасового фильма с 18 до 5 часов.
jiqizhixin.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍28❤16🔥5🫡2
DRT-o1 - экспериментальная методика для повышения качества нейронного машинного перевода с помощью техники Chain-of-Thoughts, которая успешно применятся в задачах логического вывода.
Машинный (дословный) перевод текстов, содержащих сравнения и метафоры, зачастую не обеспечивает адекватную передачу смысла. DRT-o1 - попытка расширить возможности нейропереводчиков и сделать их более "человечными".
В методе используется многоагентная архитектура, моделирующая мыслительно- итеративный процесс перевода, где каждый этап базируется на предыдущем, способствуя более точному и глубокому пониманию сложных языковых конструкций.
За основу для тестовых моделей были взяты Qwen2.5-7B-Instruct и Qwen2.5-14B-Instruct. Обучающий датасет собирался на основе 400 англоязычных литературных произведений были извлечены предложения, содержащие сравнения или метафоры. Предложения, для которых дословный перевод на китайский язык был признан неадекватным, сохранялись для последующей обработки.
Затем использовался многоагентный пайплайн из переводчика, советника и оценщика. Переводчик генерировал варианты перевода, советник предоставлял рекомендации по их улучшению, а оценщик проводил анализ качества перевода на каждом этапе. Этот процесс повторялся итеративно до достижения установленного критерия качества.
В финале, для достижения удобочитаемости и связности полученных данных применялся GPT-4o, который модифицировал и оптимизировал процесс размышления. В результате было собрано 22 264 образца машинного перевода с длинными цепочками рассуждений.
В результате получились 2 модели перевода между английским и китайским языками:
Посттренинговые тесты обеих моделей показали ощутимое повышение качества перевода литературных текстов.
DRT-o1-7B показала улучшение на 8.26 в BLEU, 1.31 в CometKiwi и 3.36 в CometScore по сравнению с Qwen2.5-7B-Instruct. Она превзошла QwQ-32B-Preview на 7.82 в BLEU и 1.46 в CometScore.
DRT-o1-14B достигла еще более высоких показателей - 7.33 в BLEU, 0.15 в CometKiwi и 1.66 CometScore по сравнению с Qwen2.5-14B-Instruct.
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "Krystalan/DRT-o1-7B"
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="auto",
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
prompt = "Translate the following text from English to Chinese:%text%."
messages = [
{"role": "system", "content": "You are a philosopher skilled in deep thinking, accustomed to exploring complex problems with profound insight."},
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
**model_inputs,
max_new_tokens=2048
)
generated_ids = [
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)
@ai_machinelearning_big_data
#AI #ML #LLM #Translation #CoT #DRTo1
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍42❤15🔥9💅3☃1🕊1🍓1