Imagic: Текстовое редактирование реальных изображений с использованием диффузионных моделей

Коротко: фотошоп через текст

Статья
Источник

Код
Работает на 30+ гб картах

Тут хотелось бы сказать пару слов - точно так же как и с 3d генерациями через текст в данных моделях сейчас есть огромные ограничения:
Они требует колоссальные ресурсы, медленные (фрилансер справится быстрее и дешевле) и не всегда супер качества.

Хотя потенциал в данных моделях огромный!

Prompt-to-Prompt: Latent Diffusion and Stable Diffusion implementation

"Наш метод позволяет редактировать сгенерированные изображения, изменяя только текстовую подсказку. Например, здесь мы сначала генерируем изображение из подсказки ввода «Кошка в шляпе лежит на шезлонге». с использованием модели диффузии текста в изображение Imagen . Тогда с нашим подходом мы легко сможем заменить шляпу или главного героя"

"Еще одним примером редактирования подсказки является изменение семантического влияния определенных слов в подсказке на сгенерированное изображение. Используя наш метод, мы можем усилить или ослабить «пушистость» куклы-кролика на изображении ниже."

• Подробнее
• Github Code

А вот и веб-приложение "Erase and Replace" (сотри и замени) подоспело от стартапа runwayml.

Та же механика, что и в приложении из предыдущего поста — выделяем регион, пишем текстовый запрос и вуа-ля, магия! Картинка меняется. Фотошоп для безрукого.

Промо-ролик получился эффектный, нравится.

@ai_newz

откуда-то с твиттера

Хотел сам запостить, да некогда писать. Последнее время репостю, благо соседние каналы такие новости замечают

Мой кент Патрик Эссер из runwayml затвитил, что они выложили код для инпейнтинга, который бегает под капотом их приложения Erase & Replace из вчерашнего поста.

Отличный опен-соурс!

@ai_newz

Внимание! Обновились статьи нейроуголовного кодекса. Помните, что незнание нейрозаконов не освобождает от нейроответственности!


>>Статья 514. Искажение многомерности пространства и времени.

>>Статья 521. Акты ненависти, презрения и неуважения к кабачкам

>>Статья 538. Проникновение в мировое сознание путем просмотра телепередач и газет, где затрагиваются злободневные темы.

>>Статья 538. Творчество в сопровождении гомосексуализма.

>>Статья 643. Дегенеративное поведение по отношению к листьям салата, огурцам, перцам и дыням.

>>Статья 309. Отход от принципов сексуальной революции в СССР и Югославии.

>>Статья 547. Оскорбление личности путем демонстрации конского члена как символа превосходства мужчин.

>>Статья 441. Незаконные попытки повышения кармы путем употребления алкоголя и других продуктов с высоким содержанием этанола.

>>Статья 41. Продажа детей со скидкой.

>>Статья 360. Жизнь без Христа.

>>Статья 548. Преднамеренное отупение с целью опорочить репутацию СССР

>>Статья 421. Превращение стрельцов в козерогов без разрешения администрации

>>Статья 9. Незаконное наращивание гениталий и другие бессмысленные занятия для придания себе имперского вида

>>Статья 03. Построение концлагерей с целью массового облегчения жизни

>>Статья 743. Бег в мешках по минному полю

Сервис генерации ИИ-музыки mubert.com поделился кодом генерации музыки по текстовому запросу.

Есть колаб!
(Для пользования колабом понадобится аккаунт на mubert и там получить токен доступа)
Можно даже пачку треков за раз нагенерить
И звучит хорошо.

Нагенерите - кидайте свои работы в чат
#text2music #aimusic

Наконец генеративный текст.
Непонятно когда и в каком виде будет.
#text2font #AIfont

И еще одно свежее достижение в генерации музыки.
Museformer: Transformer with Fine- and Coarse-Grained Attention for Music Generation

Кода нет, красивого звука нет, лишь midi.
Весь изюм в том, что эта модель помнит мелодию, которая была в предыдущем квадрате, помнит последовательность аккордов, помнит рисунок барабанов. И может все это повторить в нужный момент.

По ссылке еще несколько примеров

тем временем Runwayml релизнули Stable diffusion v1.5
А для нас это означает более лучшие генерации

Веса на huggingface
Код на гитхабе

Проекту ICON запилили демку на Huggingface. Теперь можно сделать 3D модель из фотки человека в веб интерфейсе
#imageto3D

Языковой подход к генерации аудио
AudioLM

Всего по трем секундам входного аудио:

- Связное семантически корректное продолжение речи с сохранением акустики, тебра и прочих личных голосовых качеств (первые 2 трека)

- Изменение голоса, манеры речи, акустики. С сохранением сказанного (следующие 3 трека)

- Продолжение отрывка пианинной музыки (последние два трека)

#audio2audio #speech2speech