⚡️ Hunyuan-Large: MoE-модель с 389 млрд. параметров.

Hunyuan-Large - самая большая на сегодняшний день открытая модель на основе Transformer с архитектурой MoE. Модель мультиязычна и имеет 389 млрд. параметров, из которых 52 млрд. активных, контекстное окно в 256 тыс. токенов (128 тыс. токенов у instruct-версии). В открытый доступ опубликованы 3 версии:

🟢Hunyuan-Large;
🟢Hunyuan-Large-Instruct
🟢Hunyuan-Large-Instruct-FP8

Архитектура Hunyuan-Large основана на классическом Transformer с использованием MoE. Модель состоит из 64 слоев, 80 attention heads и 16 специализированных экспертов, из которых для каждого токена активируется только один эксперт.

Для оптимизации использования памяти во время инференса в Hunyuan-Large используется сжатие KV-кэша с помощью GQA и CLA.

GQA группирует attention heads, а CLA шэрит KV-кэш между соседними слоями, тем самым сокращая использование KV-кэша почти на 95% по сравнению с оригинальным MHA.

Активации экспертов происходит с помощью смешанной стратегии маршрутизации: все токены обрабатываются одним общим экспертом, а специализированные эксперты выбираются с помощью top-k маршрутизации. Чтобы не терять информацию из-за перегрузки экспертов, была разработана стратегия «рециркуляционной маршрутизации», которая рероутит токены от перегруженных экспертов к свободным.

Перед обучением Hunyuan-Large разработчики провели исследования законов масштабирования для моделей MoE. Оптимальное количество активных параметров (52 млрд) и объем обучающих данных (7 трлн. токенов) были определены на основе анализа isoFLOPs кривой.

Hunyuan-Large превосходит по производительности LLama3.1-70B, LLama3.1-405B, Mixtral-8x22B и DeepSeek-V2 в в агрегированных бенчмарках (MMLU, MMLU-Pro), рассуждении CommonsenseQA, PIQA, WinoGrande и HellaSwag), программировании (HumanEval и MBPP), математике (GSM8K и MATH) и классических NLP-задачах (TriviaQA, NaturalQuestions, DROP и ARC-C).


🟡Набор моделей
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #MoE #HunyuanLarge #Tencent

🌟 Hunyuan3D-1.0: генерации 3D-моделей по тексту и изображению.

Hunyuan3D-1.0 - двухэтапная система для быстрой генерации 3D-моделей по текстовым запросам или изображениям. Модель представлена в трех версиях:

🟢Hunyuan3D-1 Lite - облегченная версия многовидовой генерации;
🟢Hunyuan3D-1 Standard - стандартная версия многовидовой генерации;
🟢Hunyuan3D-1 Sparse view reconstruction - модель реконструкции с ограниченным набором видов.

▶️ Ключевые особенности Hunyuan3D-1.0:

🟠Генерация 3D-модели занимает всего 10 секунд для облегченной версии и 25 секунд для стандартной версии;

🟠Высокая детализация текстур и геометрии;

🟠Динамическая регулировка CFG в процессе генерации;

🟠Модуль суперразрешения повышает разрешение трехплоскостных карт для создания детализированных аспектов 3D-формы;

🟠Использование функции знаковых расстояний (SDF) позволяет преобразовать неявную репрезентацию 3D-формы в явную сетку с помощью алгоритма Marching Cubes.

▶️ Пайплайн Hunyuan3D-1.0:

Первый этап Hunyuan3D-1.0 основан на многовидовой диффузионной модели, которая генерирует набор RGB-изображений с разных ракурсов. Эти изображения, фиксирующие детали 3D-объекта с различных точек зрения, поступают на вход во второй этап - модель реконструкции.

Модель реконструкции преобразует многовидовые изображения в готовую 3D-модель. Она обучена обрабатывать шумы и несоответствия, присущие многовидовой диффузии, и использовать информацию из входного изображения или текста для восстановления 3D-структуры.

▶️ Как обучалась Hunyuan3D-1.0:

Обучение многовидовой диффузионной модели и модели реконструкции осуществляется раздельно. Lite-версия многовидовой модели использует SD-2.1 в качестве основы, a standard-версия основана на SDXL.

Модель реконструкции сначала обучалась на многовидовых изображениях разрешением 256x256, а затем донастраивалась на изображениях разрешением 512x512. Весь процесс обучения проводился на 64 графических процессорах A100.

▶️ Оценка Hunyuan3D-1.0:

Для оценки Hunyuan3D-1.0 использовались датасеты GSO и OmniObject3D с выборкой около 70 объектов. В качестве метрик использовались расстояние Чамфера (CD) и F-мера, которые являются стандартными показателями точности реконструкции 3D-форм.

Standard-версия модели показала лучшие результаты по метрикам CD и F-score на обоих датасетах. Hunyuan3D-1.0 достигла оптимального баланса между качеством и скоростью по результаты сравнения с другими моделями.


Инференс Hunyuan3D-1.0 доступен в CLI и с Gradio UI. Описание ключей запуска для CLI и список преднастроенных скриптов для запуска можно найти в репозитории проекта на Github.

⚠️ Позиции камеры на инференсе зафиксированы на азимуте (относительно позиции камеры на входе) +0, +60, +120, +180, +240, +300.

⚠️ Рекомендованная VRAM - 40GB, но по неподтвержденным данным из issue - запускается c 20 GB на 3090.


▶️Локальный запуск с GradioUI:

# Cloning the repository
git clone https://github.com/tencent/Hunyuan3D-1
cd Hunyuan3D-1

# Create conda env
conda create -n hunyuan3d-1 python=3.9
conda activate hunyuan3d-1
bash env_install.sh

# Run Gradio UI with Hunyuan3D-1.0 Lite
python app.py --use_lite 

# Open in browser link http://127.0.0.1:8080/

📌Лицензирование: Tencent Hunyuan Non-Commercial License.


🟡Модель
🟡Техотчет
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #TextTo3D #ImgTo3D #Hunyuan3D #Tencent

⚡️ HunyuanVideo: модели генерации видео по тексту от Tencent.

Tencent опубликовала в отрытый доступ модели с 13 млрд. параметров для генерации видео по текстовым промптам: HunyuanVideo и HunyuanVideo-PromptRewrite.

Архитектура HunyuanVideo простроена на пространственно-временном сжатии, которое позволяет обрабатывать видео и изображения в едином формате.

Входные текстовые запросы кодируются с помощью MLLM (комбинация CLIP and T5-XXL) и используются в качестве основы для генерации. Модель генерирует латент, который затем декодируется в изображения или видео с помощью 3D VAE.

HunyuanVideo-PromptRewrite - специальный файнтюн для адаптации и автоматического расширения пользовательских промптов к предпочтениям модели. В PromptRewrite 2 режима работы: Normal и Master:

🟢Режим Normal улучшает понимание моделью намерений пользователя, способствуя более точной интерпретации промпта.

🟢Режим Master улучшает описание композиции, освещения сцены генерации и движения камеры, что на выходе дает видео с более высоким визуальным качеством.

HunyuanVideo оценивалась 60 экспертами на 1533 промптах в сравнении с топовыми T2V-моделями: Gen-3, Luma 1.6 и тремя лучшими китайскими коммерческими моделями.

Результаты оценки показали, что HunyuanVideo достигает общего уровня удовлетворенности, особенно выделяясь качеством движения объектов.

▶️Планы развития HunyuanVideo:

🟠Бенчмарк Penguin Video;
🟠Web Demo (Gradio);
🟠Поддержка ComfyUI;
🟠Поддержка Diffusers;
🟠Модель и код инференса Image-to-Video версии.

⚠️ Минимальный объем GPU - 60 GB для 720pX1280pX129f и 45 GB для 544pX960pX129f. Рекомендованный GPU - 80 GB.

▶️Установка и инференс T2V в 720р:

# Clone repo:
git clone https://github.com/tencent/HunyuanVideo
cd HunyuanVideo

# Prepare conda environment
conda env create -f environment.yml
conda activate HunyuanVideo

# Install pip dependencies
python -m pip install -r requirements.txt

# Install flash attention v2
python -m pip install git+https://github.com/Dao-AILab/[email protected]

# Inference
python3 sample_video.py \
    --video-size 720 \
    --video-length 129 \
    --infer-steps 50 \
    --prompt "%prompt%" \
    --flow-reverse \
    --use-cpu-offload \
    --save-path ./results

📌Лицензирование: Tencent Hunyuan Community License.


🟡Страница проекта
🟡Модель HunyuanVideo
🟡Модель HunyuanVideo-PromptRewrite
🟡Техотчет
🖥 GitHub


@ai_machinelearning_big_data

#AI #ML #Text2Video #Tencent #HunyuanVideo

⚡️Tencent выпустили новую версию модели для генерации 3D из текста и изображения - Hunyuan3D 2.0.

Hunyuan3D 2.0 - усовершенствованная система 3D-синтеза и генерации текстурированных 3D-объектов высокого разрешения.

Эта система включает в себя два основных компонента: модель генерации формы - Hunyuan3D-DiT и модель синтеза текстуры - Hunyuan3D-Paint.

Генеративная модель формы, построена на масштабируемом диффузионном трансформере, она нужна ​​для создания правильной геометрии объекта и отвечает за согласование генерации.

Модель синтеза текстур создает карты текстур высокого разрешения для сгенерированных или созданных вручную сеток.

Модель превосходит предыдущие модели, как с открытым кодом, так и платные модели по детализации, геометрии, качеству текстур и т. д.

▪ GitHub
▪ HF
▪Demo

@ai_machinelearning_big_data


#AI #ML #TextTo3D #ImgTo3D #Hunyuan3D #Tencent #3dgenerator

🌟 InstantCharacter — новый фреймворк от Hunyuan (Tencent) для стилизации любых персонажей.

Традиционные методы файн‑тюнинга моделей под конкретный образ персонажа обычно либо:
💬 деградируют качество генерации при сохранении идентичности (UNet‑подходы),
💬 либо требуют отдельного, ресурсоёмкого обучения для каждого персонажа

InstantCharacter решает обе проблемы сразу:
Высокое качество
- Построен на базе DiT-моделей, которые по качеству превосходят классические UNet‑архитектуры.

🔥 Гибкая персонализация.
Китайцы сделали адаптер с каскадными энкодерами‑трансформерами, который модулирует признаки персонажа и взаимодействует с латентным пространством DiT.

✔️ Масштабируемость
Фреймворк обучен и на огромном датасете - более 10 миллионов примеров, поделённых на парные и непарные (текст+изображение) примеры.

Трёхэтапное обучение:
🟢Предварительное обучение на низком разрешении без пар.
🟢Дообучениена парных примерах для консистентности.
🟢Финальная донастройка для текстового управления генерациями.

Результаты:
🟢на демке выдает высокое качество, персонажи плавно переходят в различыне стили и меняют позы.
🟢высокая консистентность и сохранение мелких деталей персонажа.
🟢легко управляется промптами без потери качества.

В сравнении с предыдущими подходами InstantCharacter задает высокую планку качества в задачах character-driven image generation.

🔜Попробуйте демку
🔜Project
🔜Аrxiv
🔜Github

@ai_machinelearning_big_data

#Hunyuan #Tencent #InstantCharacter
#OpenSource #AI #CharacterCustomization

🌟 UnifiedReward-Think-7B: первая reward-MMLM с CoT для визуального анализа.

Ресерчеры из Tencent и их коллеги создали UnifiedReward-Think-7B, первую мультимодальную модель, которая сочетает цепочки рассуждений с обучением с подкреплением.

Основная идея была в том, чтобы научить модель не только выдавать итоговую оценку, но и подробно объяснять ход мыслей. Например, анализируя сгенерированное изображение, она шаг за шагом проверяет соответствие текстовому запросу, качество деталей и логическую согласованность. Такой механизм не только повышает надежность оценок, но и помогает выявлять ошибки в сложных сценариях, где поверхностный анализ слишком трудоемкий.

Тестовую модель обучали в 3 стадии:

🟢«Холодный старт» - небольшой набор данных с примерами рассуждений, созданных GPT-4o, который учит модель формату CoT.

🟢Отбраковка выборок: модель генерирует собственные рассуждения для разных задач, а правильные варианты сохраняются для дальнейшей тонкой настройки.

🟢GRPO - на финальной стадии модель экспериментирует с ошибочными ответами, улучшая логику методом проб и ошибок.

Эксперименты показали, что UnifiedReward-Think обходит существующие аналоги. В задачах на понимание изображений она на 5-7% точнее базовой UnifiedReward-7b, созданной месяцем ранее. В генерации видео разрыв еще заметнее: модель лучше оценивает как соответствие запросу, так и плавность анимации.


📌Лицензирование: MIT License.


🟡Страница проекта
🟡Модель
🟡Arxiv
🟡Набор датасетов
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #MMLM #CoT #UnifiedReward #Tencent

⚡️ HunyuanCustom: консистентная видеогенерация c инпейнтом и липсинком.

Tencent выпустила HunyuanCustom, фреймворк, который не только генерирует видео по заданным условиям, но и умеет сохранять консистентность субъектов, будь то человек, животное или предмет. Модель справляется даже с мультисубъектными сценами: в демо-роликах люди естественно взаимодействуют с предметами, а текст на упаковках не плывет между кадрами.

В основе модели лежит улучшенный механизм слияния текста и изображений через LLaVA. Например, если вы загружаете фото женщины в платье и текст «танцует под дождем», система анализирует оба инпута, связывая описание с визуальными деталями.

Но главное - это модуль временной конкатенации: он «растягивает» особенности изображения вдоль временной оси видео, используя 3D-VAE. Это помогает избежать «прыгающих» лиц или внезапных изменений фона, проблемы, которая характерна даже для топовых моделей видеогенерации.

Tencent переработали и пайплайн аудио. Для синхронизации звука с движениями губ или действиями в кадре HunyuanCustom использует AudioNet, модуль, который выравнивает аудио- и видеофичи через пространственное кросс-внимание.

Фреймворк поддерживает возможность замены объекта в готовом ролике (скажем, подставить новую модель кроссовок в рекламу), модель сжимает исходное видео в латентное пространство, выравнивает его с шумными данными и встраивает изменения без артефактов на границах.

Экспериментальные тесты показали, что HunyuanCustom обходит конкурентов по ключевым метрикам. Например, Face-Sim (сохранение идентичности лица) у Tencent — 0.627 против 0.526 у Hailuo, а с Keling, Vidu, Pika и Skyreels разрыв еще больше.

⚠️ Для работы модель требует минимум 24 ГБ видеопамяти для роликов 720p, но чтобы раскрыть все возможности, разработчики рекомендуют 80 ГБ VRAM.

Код и чекпоинты уже доступны в открытом доступе, а в репозитории есть примеры запуска как на нескольких GPU, так и в экономном режиме для потребительских видеокарт.


📌Лицензирование кода : Tencent Hunyuan Community License.


🟡Страница проекта
🟡Модель
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Video #HunyuanCustom #Tencent

✔️ Релиз Hunyuan 3D 2.1!

Первая полностью open-source, готовая к продакшену PBR 3D генеративная модель!

PBR (Physically Based Rendering) - это технология, при которой внешний вид 3D-объектов рассчитывается с учётом реальных физических законов взаимодействия света и поверхности.

✅ Модель выдает кинематографичное качество: синтез PBR-материалов — кожа, бронза и другие поверхности выглядят фотореалистично с красивыми эффектами освещения.

✅ Open source: доступны веса модели, код для обучения и инференса, пайплайны — всё можно доработать под себя.

✅ Запускается даже на потребительских GPU (Модель тестировалась на GPU A100 с Python 3.10 и PyTorch 2.5.1+cu124.) — с моделью создавать 3D-контент могут не только студии, но и любые разработчики и малые команды.

▪ Модель: https://huggingface.co/tencent/Hunyuan3D-2.1
▪ Github: https://github.com/Tencent-Hunyuan/Hunyuan3D-2.1
▪ Hunyuan 3D Creation Engine: https://3d.hunyuan.tencent.com

@ai_machinelearning_big_data


#Hunyuan3D #OpenSource #3DCreation #tencent

📌 Tencent выложила открытую модель — Hunyuan-A13B-Instruct на Hugging Face

💡 Особенности:
• 13 млрд параметров
• Поддержка длинного контекста — до 32,000 токенов
• Заточена на диалоги, код и reasoning
• Использует архитектуру SwiGLU, Multi-Query Attention, RoPE и другие современные оптимизации

📌 Хорошие результаты на бенчмарках:

🟠CMATH, GSM8k, MATH — >91 балла
🟠MBPP (код): 83.86 — топ-1
🟠EvalPlus (code reasoning): 78.64 — топ-2

📉 Слабые результаты на:

🟠SuperGPQA: 41.32
🟠GPQA: 49.12
🟠MultiPL-E: 69.33

Модель Hunyuan-A13B-Instruct:

🟢Конкурирует с Qwen3-A22B и DeepSeek R1 в большинстве задач

🟢Особенно сильна в reasoning, математике, кодировании и агентных задачах

🟢Слаба в General QA (GPQA, SuperGPQA)

✔️ По ряду метрик лучше моделей большего размера (Qwen2.5-72B)

Лицензия: Hunyuan Community License Agreement

🔗 Модель доступна на Hugging Face: https://huggingface.co/tencent/Hunyuan-A13B-Instruct

@ai_machinelearning_big_data

#ml #ai #Hunyuan #tencent

🌟 X-Omni от Tencent: авторегрессионная text-to-image модель с RL.

X-Omni - методика обучения T2I моделей, которая наглядно доказывает, что RL может вдохнуть новую жизнь в авторегрессионный подход и вывести такие модели на SOTA-уровень.

X-Omni построена на гибридной, но при этом унифицированной архитектуре. Схематично она выглядит так:

Семантический токенизатор изображений SigLIP-VQ с фиксированным словарем на 16 384 токена кодирует картинку в дискретные токены. Эти визуальные токены вместе с текстовыми подаются в единую авторегрессионную модель на базе Qwen2.5-7B. Наконец, в финальном рендеринге используется диффузионный декодер на основе FLUX.1-dev.

🟡Уникальность метода - в смеси RL по GRPO и комплексной reward-системе.

Вместо одного критерия, модель оценивается сразу по нескольким направлениям. За эстетику и соответствие предпочтениям человека отвечает HPSv2 и модель Unified Reward. За семантическую связь между промптом и изображением — VLM-модель Qwen2.5-VL-32B. А за самое сложное, отрисовку текста внутри картинки, отвечает отдельная награда на основе OCR-систем GOT-OCR2.0 и PaddleOCR.

Тестовую модель X-Omni обучали на смеси из 200 млн. изображений, которые после токенизации превратились в 600 млрд мультимодальных токенов, а на этапе SFT использовал ещё 1.5 млрд. токенов.

Для RL-фазы был отобран микс из 180 тыс. промптов, состоящий как из творческие запросы, так и задач на рендеринг текста.

🟡И это дало свои плоды, особенно в отрисовке текста, где авторегрессионные модели исторически пасовали.

На бенче OneIG-Bench X-Omni показала результат 0.901 для английского языка, обойдя GPT-4o (0.857). А на собственном LongText-Bench, специально созданном для оценки рендеринга длинных надписей, модель буквально разгромила всех в китайском языке, набрав 0.814 балла против 0.619 у GPT-4o.

В задачах общей генерации по тексту X-Omni также на высоте. На DPG-Bench модель достигла SOTA-результата 87.65, опередив GPT-4o (86.23) и Show-o2 (86.14). На GenEval результат составил 0.83, чуть-чуть не дотянув до модели Mogao (0.89).

Даже в задачах на понимание изображений X-Omni показывает себя достойно: на OCRBench ее результат (704) превосходит другие унифицированные модели, например Emu3 (687).

🟡Интересные подробности.

Во-первых, X-Omni не нуждается в CFG. В отличие от Emu3 или Janus-Pro, качество которых резко падает при отключении CFG, X-Omni работает стабильно.

Во-вторых, что, пожалуй, самое важное, RL превосходит даже SFT с последующим сэмплингом best-of-N.

Этот вывод идет вразрез с устоявшимся мнением в области языкового моделирования и доказывает, что для изображений холистическая оптимизация через RL дает существенный прирост качества.


📌Лицензирование: Apache 2.0 License.


🟡Страница проекта
🟡Набор моделей
🟡Arxiv
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #T2I #RL #XOmni #Tencent

🚀 Hunyuan-Large-Vision: новая мощная мультимодальная модель от Tencent

🔹 MoE-архитектура — 389B параметров (52B активных) для оптимального баланса мощности и эффективности.
🔹 Лидер в рейтингах — 1256 баллов в LMArena Vision, #1 в Китае, на уровне GPT-4.5 и Claude-4-Sonnet.
🔹 Глубокое понимание — визуальное рассуждение, анализ видео и 3D-пространства, 79,5 баллов в среднем по бенчмарку OpenCompass.

📌 Модель дополняет линейку Hunyuan-TurboS-Vision и Hunyuan-T1-Vision, доступных через Tencent Cloud для задач в самых разных отраслях.

🟢Попробовать: https://hunyuan.tencent.com/modelSquare/home/list?modelKey=VisionUnderstand
🟢 Блог: https://vision.hunyuan.tencent.com
🟢API: https://cloud.tencent.com/document/product/1729/104753

@ai_machinelearning_big_data


#AI #Multimodal #MachineLearning #MoE #VisionAI #Tencent #Hunyuan #LLM #ComputerVision #3DVision