VAST: Video-Audio Separation through Text. Language-Guided Audio-Visual Source Separation via Trimodal Consistency
Изоляция источников звука на видео по текстовому запросу. Этакий vocalremover на стероидах. Указываем кого хотим слышать, кого не хотим - получаем изолированный звук от выбранного источника
Код
#audio2audio #video2video #video2audio #audioseparation #unmix
Изоляция источников звука на видео по текстовому запросу. Этакий vocalremover на стероидах. Указываем кого хотим слышать, кого не хотим - получаем изолированный звук от выбранного источника
Код
#audio2audio #video2video #video2audio #audioseparation #unmix
VideoPoet
Генератор видео от Google. А точнее - генератор историй.
Сами авторы классифицируют свое детище как LLM, а не какой-то там генератор видео.
- продление поданных на вход видео
- генерация звука к заданному видео
- Inpaint/Outpaint
- Редактирование видео с помощью анимации промптов
- Анимация входного изображения
- стилизация видео
Кода нет.
#text2video #image2video #video2audio #video2video
Генератор видео от Google. А точнее - генератор историй.
Сами авторы классифицируют свое детище как LLM, а не какой-то там генератор видео.
- продление поданных на вход видео
- генерация звука к заданному видео
- Inpaint/Outpaint
- Редактирование видео с помощью анимации промптов
- Анимация входного изображения
- стилизация видео
Кода нет.
#text2video #image2video #video2audio #video2video
❤5🔥1
Media is too big
VIEW IN TELEGRAM
SEE-2-SOUND: Zero-Shot Spatial Environment-to-Spatial Sound
Генератор пространственного звука по изображению или видео.
Идея интересная, звуки пока даже по смыслу часто не попадают😒
Код
Демо
#image2sound #video2sound #image2audio #video2audio
Генератор пространственного звука по изображению или видео.
Идея интересная, звуки пока даже по смыслу часто не попадают
Код
Демо
#image2sound #video2sound #image2audio #video2audio
Please open Telegram to view this post
VIEW IN TELEGRAM
👀3🔥1
Media is too big
VIEW IN TELEGRAM
FoleyCrafter: Bring Silent Videos to Life with Lifelike and Synchronized Sounds
генератор звуковых эффектов по видео. Можно добавлять текстовый промпт
Код ждем
Демо
#video2audio #video2sound
генератор звуковых эффектов по видео. Можно добавлять текстовый промпт
Код ждем
Демо
#video2audio #video2sound
🔥9👍2
Media is too big
VIEW IN TELEGRAM
👍5🥴3⚡1👎1🔥1
Media is too big
VIEW IN TELEGRAM
Video-Foley: Two-Stage Video-To-Sound Generation via Temporal Event Condition for Foley Sound
генератор звуковых эффектов по видео. Можно добавлять текстовый промпт.
Конкурент FoleyCrafter, для которого, кстати, уже вышел код
Код ждем
#video2audio
генератор звуковых эффектов по видео. Можно добавлять текстовый промпт.
Конкурент FoleyCrafter, для которого, кстати, уже вышел код
Код ждем
#video2audio
🔥7
Media is too big
VIEW IN TELEGRAM
MMAudio: Taming Multimodal Joint Training for High-Quality Video-to-Audio Synthesis
Генератор звука по видео или текстовому описанию
Код
Демо
Колаб
#video2audio #video2sound #text2audio
Генератор звука по видео или текстовому описанию
Код
Демо
Колаб
#video2audio #video2sound #text2audio
👍10❤1🔥1
Media is too big
VIEW IN TELEGRAM
ThinkSound
Модель от Tongyi Lab (авторов InspireMusic и много чего еще) создаёт реалистичный звук для видео. Архитектура - цепочка рассуждений (#CoT). Необычно для генерилки звука, да? Скоро достижения языковых моделей будут везде, к этому все идет.
Модель сначала генерирует общий звуковой фон, затем улучшает качество звука конкретных объектов на экране и, наконец, редактирует всё это по текстовым указаниям пользователя
Код
Демо
Спасибо @p0lygon
#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx
Модель от Tongyi Lab (авторов InspireMusic и много чего еще) создаёт реалистичный звук для видео. Архитектура - цепочка рассуждений (#CoT). Необычно для генерилки звука, да? Скоро достижения языковых моделей будут везде, к этому все идет.
Модель сначала генерирует общий звуковой фон, затем улучшает качество звука конкретных объектов на экране и, наконец, редактирует всё это по текстовым указаниям пользователя
Код
Демо
Спасибо @p0lygon
#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx
🔥14👍1🤔1
Для рассуждающего генератора звука ThinkSound опубликован код обучения/файнтюна
Модель облегчили, оптимизировали расход памяти и GPU? упростили установку
Код
Демо
#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx #any2audio
Модель облегчили, оптимизировали расход памяти и GPU? упростили установку
Код
Демо
#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx #any2audio
👍5