Нейронавт | Нейросети в творчестве
9.27K subscribers
3.55K photos
3.06K videos
40 files
4.03K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках не участвую

для связи @Neuronauticus
加入频道
https://imaginarysoundscape.net/ - Генерация звука (и не только музыки) на основе картинки или локации из гугл-карт.
Есть галерея готовых генераций.

Звучит на мой неискушенный слух лучше чем Riffusion. Я о нем не писал потому что о нем и так писали везде. Это stablediffusion дообученный на спектрограммах + генератор музыки из спектрограмм.

Не исключено что под капотом у Imaginary soundscape тот же Riffusion, ведь судя по описанию, работает он по такой же схеме

Работает быстро, пользоваться удобно. Но есть ощущение что иногда он не генерирует, а подсовывает готовый файл.

В следующем посте мои примеры генераций

#image2audio
🔥1
Media is too big
VIEW IN TELEGRAM
Image to Sound Effect

демо на huggingface, генерирует звуковые эффекты к изображению.
Под капотом свежий генератор звука из текста AudioLDM и старый image2text CoCa Image Captioning

#image2audio #text2audio
👍1
Media is too big
VIEW IN TELEGRAM
SEE-2-SOUND: Zero-Shot Spatial Environment-to-Spatial Sound

Генератор пространственного звука по изображению или видео.
Идея интересная, звуки пока даже по смыслу часто не попадают😒

Код
Демо

#image2sound #video2sound #image2audio #video2audio
Please open Telegram to view this post
VIEW IN TELEGRAM
👀3🔥1