ContentV: Efficient Training of Video Generation Models with Limited Compute

Новая видеогенерилка от ByteDance, 8B параметров, минималистичная архитектура

Умеет в разные разрешения и хронометражи

Хвастаются временнОй согласованностью

#SOTA , 85.14 на VBench

Основано на SD3.5 Large и Wan-VAE

Гитхаб
HF

#text2video

Grok 4

Релизнули.

– Фокус на рассуждениях и академических способностях

– Контекст 256k токенов

– Есть две версии модели: обычная Grok 4 и продвинутая Grok 4 Heavy

– Grok 4 Heavy прошел тест по математике AIME25 на 100%

– В самом сложном бенчмарке «Последний экзамен человечества» обе модели побили прошлый рекорд, набрав 38,6% и 44,4% соответственно

– обещают, что Grok 4 может генерировать видеоигры по одному промпту и с высокой вероятностью редсказывать исход различных спортивных событий (не читал, думаю, высокая вероятность это где-то в районе 60%)

Ну все, наконец тотализаторы загнутся. Правда, и кожаные перестанут играть в игры и состязаться. А зачем если результат известен.

Доступен на офсайте по подписке
Grok 4 за $300 в год
Grok 4 Heavy за $3000 в год

в халявном твиттере все еще 3 версия, разумеется

#news #assistant #sota

X-Omni: Reinforcement Learning Makes Discrete Autoregressive Image Generative Models Great Again

Генератор картинок на авторегрессии от Tencent Hunyuan X
Вернее, это визульно-языковая модель, генерирует одновременно изображение и языковые данные

Декодер изображений X-Omni - #SOTA в генерации картинок языковой моделью с 7B параметров

Благодаря такой архитектуре хорошо следует инструкциям и умеет отображать на картинках длинные тексты на английском и китайском

Код
Веса ~20Gb
Демо

#multimodal #text2image

FLUX.1 Krea [dev]

Новая модель Flux, опенсорсная версия Krea-1

#SOTA в фотореализме
Полная архитектурная совместимость с FLUX.1 [dev]
12B параметров

Демо
Веса
Гитхаб
воркфлоу

#ComfyUI #text2image #workflow

Genie 3: A new frontier for world models

Новое поколение модели от Googleб #SOTA в создании игровых миров с навигацией по ним

Я тут перечислял что он умеет но тг сожрал текст и сказал что ничего не было.
Да и пофиг, потому что попробовать все равно не дают а только хвастаются

#text2world #research #text2game

Разработчики Genie 3 сходили в картину Эдварда Хоппера Полуночники.

Пусть покажут что в кейсе у Джулса

#text2world #research #text2game #news

Voost : A Unified and Scalable Diffusion Transformer for Bidirectional Virtual Try-On and Try-Off

Виртуальная примерочная-раздевалочная, #sota
Результатом раздевания будет не человек без одежды, как вы в силу своей испорченности подумали, а одежда без человека

Код ждем
Демо ждем

#tryon #tryoff

💡LightSwitch💡: Multi-view Relighting with Material-guided Diffusion

Изменение освещения на изображениях (релайтинг) с учётом свойств материалов объектов.
Пишут что побили #SOTA

Обрабатывает любое количество входных изображений, собирая информацию о материалах.
Пока дело доходит до релайтинка данные уже превращаются в сцену на гауссианах. И на выходе тоже гауссианы.
А там видимо рендерите чем хотите.

Авторы тестировали на A100

Код

#relighting

StableAvatar: Infinite-Length Audio-Driven Avatar Video Generation

🥁🥁🥁 барабанная дробь

И у нас еще один оживлятор картинок по звуку от Microsoft Research Asia, Hunyuan, Tencent

Много примеров с пением, видимо фокус на эту нишу. Но есть и просто речь.
Обещают неограниченный по длительности оживляж с сохранением идентичности персонажа.
Мне кажется или липсинк не такой уж и синк, не попадает в речь?

Ну и конечно есть видео превосходства над #SOTA моделями-конкурентами

Построен на базе Wan2.1-1.3B
Разрешение: 512x512, 480x832, 832x480

5-секундное видео (480x832, fps=25) генерируется 3 минуты на 4090 и требует 18GB VRAM

Код

#lipsync #portraitanimation #characteranimation #speech2video #avatar

Miromind

Полностью опенсорсный фреймворк для deepresearch, по приборам побивающий Opean AI

MiroThinker - набор моделей deepresearch

MiroTrain / MiroRL - микроструктура для обучения MiroThinker

MiroFlow - #sota агент умеющий пользоваться инструментами.

Я дал ему задание найти средний рост мужчин за последние 1000 лет. Выдал подробный результат за 1 минуту, см картинку

Попробовать

#deepresearch #assistant

NextStep-1: Toward Autoregressive Image Generation with Continuous Tokens at Scale

Новая модель от Степана (Stepfun). Генератор-редактор картинок на авторегрессии (картинка создается последовательно, пиксель за пикселем, а не итеративно как в диффузии)

#sota авторегресии на генерации изображений. 14B параметров, 60Гб весов. Результаты трудно разглядеть. Предположительно, качество на уровне SD1.5. Астрологи объявили эру неподъемных моделей с незаметным качеством, но послушных (но это неточно)

Офсайт не прогружается
Гитхаб
HF

#text2image #imageediting

Tripо 3.0

Обновка 3D генератора.
Под капотом TripoSF - не знаю та ли версия что была выложена в марте.

Картинки генерятся силами Flux Kontext и GPT-4o

#SOTA PBR текстуры

Обещают сделать 3D видеогенератор

Попробовать

#3d #textto3d #imageto3d #pbr