эйай ньюз

Elevenlabs жестко тролит гугл.

Бедные работяги из DeepMind только выложили блогпост о том, как они научились генерировать звук для видео, так ребята из Elevenlabs за сутки своротили похожую тулзу, да дали доступ к API, да еще и веса выложили.

Я уже было подумал, что последние просто разнесли гугл, лол. Посмотрел, что там да как, и просто орнул. Чуваки из Elevenlabs просто берут пару кадров из инпут-видео, скармливают GPT-4, который пишет промпт для их свежей txt2sfx модели. Рабоатет на удивление не так уж плохо - но хуже гугловской.

В целом, гугловская моделька имеет более фундаментальный подход, где сначала в диффузионную модель кормится текстовый промпт и все токены из видео, а по ним уже генерируется аудиодорожка. Модель хоть как-то да синхронизирует звук и видео - это видно на примерах. Особенно прикольный результат на видосе с гитарой.

Выше сравнение черепиков от DeepMind с моими zero-shot испытаниями Elevenlabs. Сами угадайте, где кто :) Качество видосов такое шакальное, потому что гугл их в таком виде выложили.

В методе Elevenlabs используются 4 кадра из первых 4-х секунд (поэтому последний подрезал в начале, иначе там просто шум), так что местами создается впечатление наличия какой-то синхронизации, особенно если выбрать лучший вариант из 4 предложенных.

video2sfx ElevenLabs
Код
txt2sfx ElevenLabs
Блогпост DeepMind

@ai_newz

19.2K views12:12

эйай ньюз

Кажись Игра Престолов в Stability пока приостановилась - по данным The Information, в компанию зашла новая группа инвесторов с баблишком. Из их числа будет и новый CEO, Прем Аккараджу. Это бывший CEO Weta, компании созданной для производства спецэффектов в Властелине Колец, а с тех пор делающей самые сложные сцены в Аватаре, Мстителях и других графонистых фильмах.

Компании нужно срочно искать новых клиентов, ведь она теряет деньги бешенными темпами: в первом квартале этого года расходы были 30 миллионов, при доходе в 5. А на балансе компании висит долг в $100 млн за облачные вычисления и прочее.

Похоже новые инвесторы верят что именно они смогут найти новые источники дохода, непонятно как это сочетается с открытыми релизами моделей. Я бы сказал, что это как раз не сочетается, и возможно золотые дни Stability с опесорсами уже сочтены.

@ai_newz

18.3K viewsedited 15:37