AnimeInbet: Deep Geometrized Cartoon Line Inbetweening

Интерполяция промежуточных кадров лайнарта в анимации с учетом геометрии. Есть тут аниматоры чтобы оценить?

Код
Видео полной презентации, 7 минут

#frameinterpolation #animation

Show-1: Marrying Pixel and Latent Diffusion Models for Text-to-Video

Генератор видео по тексту. Демонстрирует лучшее следование пропмту в сравнении с конкурентами.

Код

#text2video

ReMoDiffuse: Retrieval-Augmented Motion Diffusion Model

Генератор движения/анимации двуногих 3D персонажей по тексту.

Код
Демо
Колаб
Полное видео, 5 минут

#text2motion #text2animation #humananimation

Diverse and Aligned Audio-to-Video Generation viaText-to-Video Model Adaptation

Генератор видео по естественному звуку и/или тексту

Код

#text2video #audio2video #sound2video

RealFillReference-Driven Generation for Authentic Image Completion

Прикольная штука. Дополняет изображение по референсам. Например, из нескольких фото одно было бы самым удачным если б не неудачное кадрирование. RealFill посмотрит остальные фотки и дорисует то что за кадром. Ну или наоборот, заменит что-то внутри кадра.

На входных референсах дообучается, поэтому работает медленно.
Не справится если ракурс на референсе сильно отличается от ракурса целевой картинки

Сходите на сайт, там много примеров

Кода нет

#image2image #inpainting #outpainting

Decaf: Monocular Deformation Capture for Face and Hand Interactions

Восстановление 3D головы и рук и их взаимодействия с деформациями по одному видео.

Код обещают выложить

Полное видео, 4 минуты

#videoto3D #talkinghead #humanavatar #head #hands #mocap

Nova2 от Deepgram

Транскрибатор речи из аудио в текст.
Deepgram поддерживает много языков, в том числе русский и английский.
Про Nova2 на сайте висит инфа что пока только английский и планируют расширять список языков.

Заявлено лучшее качество и скорость среди конкурентов.
На вход принимает файлы и потоковое аудио в реальном времени.
Умеет в суммаризацию и еще какие-то ИИ-постобработки.
Есть API. Короче, плюшек много.

На старте дают бесплатного сервиса на 200$, обработка минуты аудио примерно от 0.005$. Немало? Ну а когда эти стартовые иссякнут вы знаете что делать.

#speech2text

Опубликован код генератора 3D по тексту MVDream

Код
Альтернатива в threestudio
Колаб - принес @analball

#textto3D

Live Avatar от artflow.ai

Хотел написать про их Actor Builder - конкурента D-ID или чем там оживляют мертвые головы Гарри Поттера. Его можно уже попробовать, на бесплатном тарифе дают обучить одного "актера"

Но живые аватары гораздо интереснее, имхо.

Записаться в вейтлист Live Avatars

#talkinghead #humanavatar #liveavatar

Neural Microfacet Fields for Inverse Rendering

Восстанавливает геометрию, материалы и освещение. Умеет заменять освещение и совмещать объекты из разных сцен в одну. Авторы использовали 100 входных изображений с известными параметрами камеры.

Объемный рендер и поверхностный рендер объединили в поле микрофасеток, в котором каждая точка пространства наделена объемной плотностью и локальной микроповерхностью. Это же не #nerf да?

Код
Полное видео, 2+ минуты

#image2shader #image2material #rendering #novelview #nmf

Re-ReND: Real-time Rendering of NeRFs across Devices

Мы прямо сейчас на ICCV презентуем постер по нашей статье Re-ReND. Мы представляем новый метод для запекания NeRF-ов в явную репрезентацию, которую можно очень быстро рендерить до 1000 FPS.

Когда рендерится сцена Нерфом, нужно сделать тысячи прогонов черезе MLP из-за вычисления интеграла вдоль каждого луча.

Чтобы ускорить рендеринг, мы предлагаем:
- выдрать из нерфа примерную мешь
- Дистиллировать radience field в специальный ligth field (это когда по координате точки и углу обзора MLP сразу выдает цвет за один прогон, без интеграции)
- Наш light field предсказывает view-dependent и position-dependent эмбеддиги, скалярный продукт которых дает цвет 3D точки.
- Затем мы запекаем эти эмбеддиги как тектсуры на меши
- В итоге получаем текcтурированную мешь, которую можно быстро рендерить в стандартных графических пайпланах с кастомным шейдером

Скорость: 1000 FPS на десктопе, 74 PFS на Quest Pro (демо на видео) и 30-60 FPS на мобилах.

Код
Статья

@ai_newz

Hotshot

Опенсорсный SDXL генератор гифок

Модель
Код
Колаб

#text2gif #text2video

Вы спрашивали про Speech-to-Text.
Я процитирую пост Саши Ларьяновского из фб.
Социологам, кастдевщикам и всем, кто занимается расшифровкой аудио-записей срочно тестировать.

"Нашел лучшее решение speech-to-text для расшифровки аудио и видео.
1. Бережно работает с англицизмами в речи. Вот реальный фрагмент результата:
«То есть, это история про accuracy данных, и на данный момент мы не реализовали ни all insights ни raw statistics».
2. Отличная гигиена текста: умеет хорошо расставлять знаки пунктуации и делить текст на абзацы.
3. Быстрый. Часовая беседа расшифровывается меньше чем за полминуты.
4. Работает как бот в телеге и вотсапе (!).
В телеге есть для премиума расшифровка от Дурова. Но там кошмарное readability на длинных сообщениях.
У вотсапа вообще нет такого решения.
5. Бот умеет на вход брать на вход файлы и ссылки (!) , а не только аудиосообщения
6. Он еще на сдачу саммаризирует расшифрованное, но мне не было актуально и я не оценивал эту фичу.
Для телеги: https://yangx.top/JillWhite_voice_notes_bot
Для вотсапа: https://bit.ly/jillwhitevoicenotes
Это как раз хорошая иллюстрация к предыдущему посту, что можно сотворить крутые продукты, дообучая на своих данных чужие ИИ- технологии".

Вы это видели?
В Luma.ai прикрутили гауссианы
Говорят что вес сцены до 20 Mb и что-то там про стриминг/рендер на 30 кадрах в секунду в браузере

#imageto3D #image2scene #rendering

Замена лиц сервисом Facemorph в играх. Эксперимент от Corridor Digital
https://youtu.be/7juJgPbQx8w?si=X6PkcmcxxfbNlWGT

Попробовать Facemorph

#faceswap #deepfake