У ProPainter обновки

Улучшение качества и пара новых демоспейсов

Гитхаб
Демо1
Демо2

#video2video #cleanup #inpainting #outpainting

Ну, за курсы по блендору и техническую поддержку.
А в общем-то за любые курсы, инструкторов и вот эти вот проверки заданий, ответы на вопросы, живые, блин, созвоны, и все, что продается как ценность очередных курсов.

Вот вы же шарили экран на зум-созвонах? Ну или были в ситуации типа "покажи свой экран, я быстро скажу, что надо сделать".

Теперь вы просто можете пошарить свой экран с ИИ, и поговорить с ним об этом, голосом. Чем ИИ хуже кожаного?

Поглядите - на видео обобщенный Радж шарит свой экран с chatGPT и спрашивает голосом(!) самый главный вопрос трехмерщиков - как превратить кубик в шарик. В Блендоре.

Просто разговаривает с ним, делает, что ему говорят, спрашивает "ичодальше", получает ответы.

Я три месяца назад охреневал о того, как мне chatGPT рассказал за вечер, как перенести блендшейпы из майки в юнити и научил прикручивать слайдеры к деформации. А теперь это можно делать на совершенно другом уровне.

Явшоке.

P.S. Тут напрашивается сначала пост про то, что проще не только шарить экран, а сразу давать управление, пусть наведет порядок и превратит все кубики в шарики.
Ну и все идет в эту сторону, как сказал Билл Гейтс, у нас у всех в ухе будет ассистент, который будет шептать нам полезные ситуации в моменте.
А шарить с ним мы будем все, что с нами происходит.
Шаринг жизни, в общем.

Music ControlNet:Multiple Time-varying Controls for Music Generation

Мощная музыкальная нейронка.
- генерация музыки по образцу мелодии и текстовлму описанию
- контроль динамики
- контроль ритма

На сайте много примеров всевозможных комбинаций входных параметров. Кода, к сожалению, нет

Полное видео, 2 минуты

#music2music #text2music

Nova2 теперь поддерживает много языков, в том числе русский

Доступ здесь

#speech2text

Ранний доступ к Fabrika

Друзья, мы начинаем программу раннего доступа к нашему новому проекту - Fabrika. Fabrika - это новая плафторма для совместной разработки AI ассистентов (агентов/GPTs).

Попасть в waitlist

Появился плагин Maya для экспорта персонажей в Wonder Studio

Официальный гайд

#characteranimation #compositing #lighting

RAPIDS

Штука, которой смогут самостоятельно воспользоваться только умельцы в код.
Есть такая библиотека в Python для работы с данными - Pandas. Её активно используют аналитики данных и дата-сайентисты, в том числе она используется и в нейросетках. Но! Она до сих пор работала только на CPU.

Так вот. Nvidia выпустили новую библиотеку RAPIDS, которая делает Pandas в 150 раз быстрее. Она автоматически определяет, работаете ли вы на GPU или CPU, и ускоряет код. При этом нет абсолютно никаких изменений в синтаксисе, просто перед импортом пандаса запускаем эту команду:

%load_ext cudf.pandas

Ждем обновок с ускорением всех наших любимых нейросеток.

Код

#coding #tools

D3GA - Drivable 3D Gaussian Avatars

Первая управляемая 3D-модель человеков с использованием гауссиан.

Благодаря гауссианам аватары рендерятся в реальном времени

Деформация аватаров основана на объемных каркасных деформациях и ключевых точках.

На вход нужны видео с нескольких ракурсов, далее получаем модель в виде композиции из 3D-гауссиан, встроенных в четырехгранные клетки. Гауссианы преобразуются этими клетками, раскрашиваются с помощью MLP (не спрашивайте что это такое, я не понял, но на видео его работа объяснена) и растеризуются в виде пятен. Аватар представлен в виде многослойного набора трехмерных гауссиан, что позволяет разложить аватар на различные слои ткани.

Среди авторов - Meta Reality Labs Research. Так что вы знаете, что разработка не из праздного интереса

Код обещают выложить

#humanavatar #humananimation #gaussian #video2avatar