Опубликован код генератора 3D по тексту MVDream

Код
Альтернатива в threestudio
Колаб - принес @analball

#textto3D

Live Avatar от artflow.ai

Хотел написать про их Actor Builder - конкурента D-ID или чем там оживляют мертвые головы Гарри Поттера. Его можно уже попробовать, на бесплатном тарифе дают обучить одного "актера"

Но живые аватары гораздо интереснее, имхо.

Записаться в вейтлист Live Avatars

#talkinghead #humanavatar #liveavatar

Neural Microfacet Fields for Inverse Rendering

Восстанавливает геометрию, материалы и освещение. Умеет заменять освещение и совмещать объекты из разных сцен в одну. Авторы использовали 100 входных изображений с известными параметрами камеры.

Объемный рендер и поверхностный рендер объединили в поле микрофасеток, в котором каждая точка пространства наделена объемной плотностью и локальной микроповерхностью. Это же не #nerf да?

Код
Полное видео, 2+ минуты

#image2shader #image2material #rendering #novelview #nmf

Re-ReND: Real-time Rendering of NeRFs across Devices

Мы прямо сейчас на ICCV презентуем постер по нашей статье Re-ReND. Мы представляем новый метод для запекания NeRF-ов в явную репрезентацию, которую можно очень быстро рендерить до 1000 FPS.

Когда рендерится сцена Нерфом, нужно сделать тысячи прогонов черезе MLP из-за вычисления интеграла вдоль каждого луча.

Чтобы ускорить рендеринг, мы предлагаем:
- выдрать из нерфа примерную мешь
- Дистиллировать radience field в специальный ligth field (это когда по координате точки и углу обзора MLP сразу выдает цвет за один прогон, без интеграции)
- Наш light field предсказывает view-dependent и position-dependent эмбеддиги, скалярный продукт которых дает цвет 3D точки.
- Затем мы запекаем эти эмбеддиги как тектсуры на меши
- В итоге получаем текcтурированную мешь, которую можно быстро рендерить в стандартных графических пайпланах с кастомным шейдером

Скорость: 1000 FPS на десктопе, 74 PFS на Quest Pro (демо на видео) и 30-60 FPS на мобилах.

Код
Статья

@ai_newz

Hotshot

Опенсорсный SDXL генератор гифок

Модель
Код
Колаб

#text2gif #text2video

Вы спрашивали про Speech-to-Text.
Я процитирую пост Саши Ларьяновского из фб.
Социологам, кастдевщикам и всем, кто занимается расшифровкой аудио-записей срочно тестировать.

"Нашел лучшее решение speech-to-text для расшифровки аудио и видео.
1. Бережно работает с англицизмами в речи. Вот реальный фрагмент результата:
«То есть, это история про accuracy данных, и на данный момент мы не реализовали ни all insights ни raw statistics».
2. Отличная гигиена текста: умеет хорошо расставлять знаки пунктуации и делить текст на абзацы.
3. Быстрый. Часовая беседа расшифровывается меньше чем за полминуты.
4. Работает как бот в телеге и вотсапе (!).
В телеге есть для премиума расшифровка от Дурова. Но там кошмарное readability на длинных сообщениях.
У вотсапа вообще нет такого решения.
5. Бот умеет на вход брать на вход файлы и ссылки (!) , а не только аудиосообщения
6. Он еще на сдачу саммаризирует расшифрованное, но мне не было актуально и я не оценивал эту фичу.
Для телеги: https://yangx.top/JillWhite_voice_notes_bot
Для вотсапа: https://bit.ly/jillwhitevoicenotes
Это как раз хорошая иллюстрация к предыдущему посту, что можно сотворить крутые продукты, дообучая на своих данных чужие ИИ- технологии".

Вы это видели?
В Luma.ai прикрутили гауссианы
Говорят что вес сцены до 20 Mb и что-то там про стриминг/рендер на 30 кадрах в секунду в браузере

#imageto3D #image2scene #rendering

Замена лиц сервисом Facemorph в играх. Эксперимент от Corridor Digital
https://youtu.be/7juJgPbQx8w?si=X6PkcmcxxfbNlWGT

Попробовать Facemorph

#faceswap #deepfake

Expressive Text-to-Image Generation with Rich Text

Занятная штука. Контроль генерации изображения через формат текста: цвет, стиль, сноски.

Код
Демо
Расширение для automatic1111

#text2image #style2image #format2image #font2image

Гугл анонсировал Google Assistant with Bard.
Скоро на андроидах.
Он сможет копаться в вашей почте, рассматривать ваши фотки чтобы настуч самостоятельно написать к ним пост в соцсети. И много другого полезного для Гугла

Что скажет Тим Кук?

#assistant #chatbot

В обновлении Яндекс браузера прикрутили фичу краткий пересказ видео.
Теперь длинные видео можно прочитать за пару минут.
Как я жил без этого?

#summary #video2text #video2summary

UniAudio: An Audio Foundation Model Toward Universal Audio Generation

Универсальная базовая модель генерации звука
- текст в речь
- клонирование голоса
- замена голоса по образцу
- вокал по образцу без дообучения
- улучшение качества звука без дообучения
- удаление шума
- выделение одного голоса из микса голосов
- текст в звук
- текст в музыку
- редактирование звука по тексту
- удаление эха
- редактирование речи текстовыми указаниями

Впечатляет? Примеров слишком много чтобы тащить сюда, смотрите на сайте проекта, авторы планируют добавить примеры других задач

Код

#audio #TTS #text2music #text2sound #speech2speech #voicecloning #demix #denoise #audioenhance

Insta-3D

Интерактивный демоспейс от ilumine.ai, где можно поиграть, сделав из картинки 3D-сцену и накидывая эффекты.

Вам понадобится карта глубины, ее можно сделать каким-нибудь генератором, поиск в этом канале по тегу #image2depth

#image2scene