Stable Audio
Генератор музыки по текстовому запросу от Stability AI.
На бесплатном тарифе до 20 некоммерческих треков в месяц по 45 секунд.
Можено генерировать как готовые треки, так и отдельные инструменты и немузыкальные звуковые эффекты.
Загружается с трудом, видимо, там аншлаг.

Объявляю парад вашей генеративной музыки в комментариях

#text2music #text2audio

InstaFlow! One-Step Stable Diffusion with Rectified Flow

Люди придумали как делать качественную диффузную генерацию картинок за один единственный шаг! Скоро во всех генераторах

Кода пока нет

#text2image

Хорошие новости для тех кто хотел поиграть с векторизатором Vertorizer.ai
Платные тарифы на API откладываются до 3 октября

Tree-Structured Shading Decomposition
Узрите же перенос материала на изображении с объекта на объект

Код обещают выложить

#shading

Принес вам прогресс в нейронном текстуринге от MeshyAI. Вопросов, конечно, больше, чем ответов.

Если нам не важен уникальный визуальный ряд и консистентность, то можно использовать.
Получение корректных, а тем более физически корректных, или хотя бы PBR значений в дополнительных текстурных каналах - речи не идет пока.

Таким образом, опять все гавно скидываем на этап прототипирования. Тут конечно, подобные инструменты могут чувствовать себя чуть более комфортно. Продолжаем следить, но чемоданы пакуем.

Как сделать красивую презентацию продукта с говенным текстурингом, смотреть тут

Generative Image Dynamics

Добавляет к фото динамику, может делать закольцованное видео из фото.

Кода нет

#image2video #image2motion

Зумеры переизобрели хромакей. Кто-нибудь объясните зачем?

реддит

Generative fill теперь платная фича. За каждую генерацию. Проверьте свой бета-фотошоп, у вас тоже оно уже не работает?

Хотите покрутить гауссинаны в браузере?
Вам сюда gsplat.tech

DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior
Реставрация и апскейл фото. Конкурент GFP-GAN, CodeFormer, RealESRGAN. Все есть: код, демо, даже портативная версия. Ну как портативная, 24 Гб. Очень прожорливый до ресурсов, работает по маленьким разрешениям. По моим тестам результат не превзошел GFP-GAN. Но тут есть рульки и можно писать промпты, надо разобраться.


Код
Демоспейс
Колаб
Портативная версия от Neurogen

#restoration #enhance #facerestoration #upscale

Код Render-a-video опубликован.

Модель сочетает SD + Optical Flow и отличается хорошей консистентностью видео без фликера. И даже работает без трени или файнтюна.

Кнопки в веб-интерфейсе:
Run 1st Key Frame — генерим только 1-й кадр, чтобы настроить промты/модели/параметры.

Run Key Frames — проход по ключевым кадрам на основе настроек первого кадра, что позволяет задать временные параметры для лучшей консистентности перед запуском на всё видео.

Run Propogation — применение настроек ключевых кадров на остальные кадры для полного перевода видео.

Run All — запустись всё разом.

Демо
Гитхаб

🦔 OpenAI обучили DALL-E 3

Сложно назвать это релизом, скорее просто неплохая модель, работающая в связке с GPT-4. Мне лично кажется, что следующий Stable Diffusion будет куда умнее и интереснее эстетической точки зрения.

2021 DALL-E 1 — 12B модель, пейпер / API нет
2021 GLIDE — 2B модель, пейпер + опенсорс 300M модели
2022 DALL-E 2 — 2B модель, пейпер unCLIP + API
2023 DALL-E 3 — Хрен пойми что это, но будет интеграция с GPT-4 для подписчиков ChatGPT+


Про DALL-E 3 на сайте OpenAI

AnimateDiff for ComfyUI

В ComfyUI теперь можно генерить видео при помощи AnimateDiff длиннее 16 кадров. Автор обновил кастомную ноду и поделился набором сетапов.

Гитхаб

#image2video

AudioSR: Versatile Audio Super-resolution at Scale

Улучшение качества звука на основе диффузии. Музыка, речь - все улучшит.
На примерах звучит волшебно.
AudioSR может преобразовать любой входной аудиосигнал в диапазоне частот от 2 кГц до 16 кГц в аудиосигнал высокого разрешения с полосой пропускания 24 кГц и частотой дискретизации 48 кГц.
Одно из применений - улучшение результатов генераторов музыки и речи.

Код

#audio2audio #upsample #audioenhance #audiodenoise

Можно вечно смотреть как бот подается на вакансии. Если ваши рекрутеры все ещё кожаные, то вас ждут тяжелые времена ;)

Этот скрипт считывает вакансию, сопоставляет её c резюме и заполняет вопросы и сопроводительные письма, где это требуется, индивидуальными ответами в стиле аппликанта.