MDM: Human Motion Diffusion Model - генерирует движение человеческой фигуры.

Модель диффузионная. Это значит что для начала она генерит шум, из которого итеративно выкристаллизовывает результат. Тут я дилетант, объяснил как сам понял.

Среди возможностей - редактирование (например изменить движение только верхней части), заполнение промежуточных кадров между ключевыми - по аналогии с классической анимацией. В общем, я опять впечатлен. Но кода все равно пока нет, обещают позже.
#text2motion

Смотрите, как на базе Stable Diffusion плодятся проекты для создания конкретных инструментов в области создания графики.
Barium AI - генерация текстур из текстовых подсказок.
Раньше ты выбирал тип процедурной текстуры типа чекер или нойз и дальше неистово крутил педальки, которые автор зашил в текстуру. А теперь ты неистово подбираешь слова типа "сделать красивую текстуру камня с лишайниками, мелкими и зелеными притом". То есть и рисование, и генерация, и подбор параметров.

BariumAI может генерировать текстуры и карты (height, normal, emission, roughness and metallic) от 256x256 до 8192x8192. Бесплатные аккаунты могут генерировать разрешение до 4k и хранить до 30 материалов на серверах. Аккаунты Pro могут генерировать разрешение до 8k и хранить 500 материалов.

Что роднит все эти новоиспеченные сервисы - подписочная модель и желание срубить деньжат прямо сейчас. Что в принципе правильно, бесплатных мощных и всегда доступных серверов для генерации в интернет не завезли, авторы перепродают амазон и других.

А решений из коробки для локальных машин пользователя еще нет (кроме "дистрибутива" Stable Diffusion). А когда они появятся, то надо будет смотреть экономику - где дешевле.

Ну и думаю в этом смысле первым всех обскачет Blender. Обрастет плагинами типа Stable Diffusion для текстур, Stable Diffusion для HDR, Stable Diffusion для панорам, Stable Diffusion для анимации.

А потом подтянутся олигархи.
https://barium.ai/

3DiM: Novel View Synthesis with Diffusion Models
Еще одна нейросеть image-to-3d, генерит 3D-модели по исходному изображению.

кода нет

Если как следует упороться, то можно за два месяца сделать не мета-, а Тру-Вселенную в Minecraft.
Один конченый майнкрафтер так и сделал.
Интересно, когда диффузионные модели доберутся до Майнкрафта?

Промпт: "Мишка на скейте на Таймс-Сквер"
А пажалста!
Промпт: "крипер взорвется от взрыва"
А легко!
Промпт: "Наш утлый мир, глазами крипера"
Смотрите видео.