Есть, в общем, такая продакшен-студия - Bad Decisions. Они чем-то напоминают или даже копируют Corridor Digital, но суть не в этом. Они сильно захайпились последнее время за счет переноса известных сцен из кино в 3D через использование Gaussian Splatting. Тут они перенесли фильм Shining, так же в полном видео есть Матрица, Бесславные ублюдки, Асасин и Гарри Поттер.

Я честно не могу сказать, что это прям очень частая потребность в 3D или кино-продакшене (я именно про перевод из кино-материала в 3D), но эффект производит интересный. Ладно, может быть есть польза данных траектории камеры и может быть для Deep композа удобно имплементировать материал.

Можно еще попробовать повытаскивать из игр данные, но тоже не понятно для чего, т.к. есть инструменты более удобные для того, чтобы вытащить оригинальную геометрию и текстуры сразу. (Поправьте, если еще видите какую-то киллер-фичу, которую я не углядел)

InternLM-XComposer

Еще одна VLM

Код
Демо (HF)
Демо (Replicate)

#chatbot #LLM #VLM #assistant

Riffusion

Генератор песен, звучит офигительно, работает быстро.
Из минусов - продолжительность трека всего 12 секунд.

Запилил для вас пару цитат Бендера.
Кидайте творчество в коменты.

В коментах есть лайфхак

#text2music #text2song #text2audio

божечки, это прекрасно

Должен сказать, это офигительный инструмент для накидывания музыкальных идей. Нужно чтобы оно умело продолжать заданный отрывок

LAMP: Learn A Motion Pattern for Few-Shot-Based Video Generation

генератор видео по тексту. Генерит в два этапа: сначала генерит первый кадр, потом предсказывает движение. (А разве не все генераторы так делают?)

Редактировать видео тоже умеет, но при замене фона искажает и передний план, примеры на сайте

Код, пока без весов. Но особо буйные смогут обучить свой претрейн

#text2video

YandexART и Video-Kandiskiy

Яндекс и Сбер выкатили по генератору видео.
YandexART работает в приложении Шедеврум и Яндекс.Бизнес, Кандинский - в телеге
Не буду рассусоливать, пробуйте сами по ссылкам выше. Котики из Шедеврума

#text2video