IC-Light

Новая полезная тулза от автора Controlnet, Fooocus, Forge!

Релайтинг изображений, вписывание объекта в фон по свету. При том, что модель не обучалась на нормалях, она выдает нормали качественнее чем Geowizard и Switchlight (судя по примерам на гитхабе)

Код
Демо

#relighting #image2image

Состязание роботов-гитаристов продолжается.

Elevenlabs показали свой генератор песен. Надо признать, бомбический. Доступ ждем здесь

Генератор песен Udio теперь умеет создавать треки продолжительностью до 15 минут и может «держать в уме» контекст 2 минут трека (ранее только 30 сек) и добавил функцию инпейнтига (но только для оплативших подписку), позволяя менять слова в песне, добавлять инструменты, или исправлять проблемные места.

#text2music #music2music #inpainting

Gazelle v0.2

Инновационная open source речевая модель от TincansAI. Способна обрабатывать устные запросы и длинные аудиофайлы напрямую, без предварительной транскрипции или распознавания речи.

Благодаря прямой обработке аудиоданных, модель работает быстрее и точнее, а также способна интерпретировать эмоции и даже сарказм в речи. Код “из коробки” достигает скорости 120 миллисекунд до первого токена, что значительно быстрее, чем любой другой сопоставимый подход.

Это первая и единственная open source модель, способная вести диалог в реальном времени.

Код
Демо

#speech2text #audio2text #assistant