Neutone Morpho

Преобразование одного музыкального инструмента (или голоса) в другой. В виде плагина VST3, а не чего-то там.
Ну и еще они разрабатывают облачное обучение, то есть,вы сможете обучать свои модельки для тон-морфинга.
Заполняете форму - получаете ссылку на инсталлятор

А можете не заполнять))
Win
Mac OS

#music2music #musicediting

Еще один повод освоить ComfiUI

Разработчик апскейлера SUPIR опубликовал ноду ComfiUI. В нынешней версии она скачивает 10GB модель CLIP и прожорлива до ресурсов.

Гитхаб

#upscale

Старшая модель Mistral - Mistral Large доступна по API и в бете ассистента le Chat. Эта модель по характеристикам конкурирует с GPT-4 и Claude 2.

API (для России недоступно)
le Chat

#llm #assistant #chatbot

LoRA+

Вдвое быстрее чем LoRA

Гитхаб

#finetuning

Вот держите гибридный пайплайн от генерации 3D-модели персонажа, до рига, анимации и нейрорендера. Без всякого ретопа, текстурирования и шейдинга.

Берется Luma AI для того чтобы сгенерить десяток вариантов 3Д-персонажа по текстовому промпту.
Получается довольно обмылочный персонаж в духе PS1 с кривой топологией и кашей вместо головы и рук.
Дальше он тащится в Mixamo и там на него тупо кидается авториг. А потом и анимация в духе Hadouken!
Дальше превью анимации с этим болваном кормится в КонтролНет, чтобы достать оттуда позу и объем с глубиной - для дальнейшего нейрорендеринга с помощью AnimateDiff.
Ну то есть идея такая - генерим низкокачественного болвана персонажа с помощью ИИ, кладем болт на топологию и качественный риг, просто одеваем его в скелет и наваливаем нужную нам анимацию (пусть с заломами и косяками на сгибах). На этапе нейрорендеринга все эти косяки сгладятся в процессе переноса стиля из промпта или картинки.

Одна засада - надо знать Mixamo, анимацию и вот это ваше дурацкое 3Д.

Впрочем нажать кнопку Autorig и потом выбрать из библиотеки анимацию (или сгенерить промптом, или забрать по эклеру из видео с помощью open pose) может любой, даже не знакомый с 3Д. Осталось эти кнопки вструмить внутрь ComfyUI или A1111 и спрятать подальше эти ацкие настройки ControlNet - вот и будет вам AIMixamo.

P.S. Качество ИИ-генерации 3Д настолько плохое, что чувак отдельно потом генерит голову и руки для персонажа и пришивает их к полигональному мешу и начинает все сначала (иначе КонтролНет не хавает уродца). И вот тут уже надо знать 3Д, сорян.

Но проблески будущих однокнопочных пайплайнов отчетливо проступают из шума диффузии.

P.S.S. Была такая поговорка у продакшенов - "на посте все поправят". Теперь на посте сидят такие: "зачем моделить правильно, на нейрорендеринге все поправится".

Короче, расслабляем булки, ИИ все поправит. За вас.

Автор обещает полный тутор тут:
https://twitter.com/8bit_e/status/1761111050420727895

Multi-LoRA Composition for Image Generation

Метод контроля генерации изображений позволяет обойти ограничение обычных LoRa, которые при слиянии спорят друг с другом и теряют детали.
Пишут, что работает без дообучения

Код

#conditioning #text2image #image2image

From Skin to Skeleton: Towards Biomechanically Accurate 3D Digital Humans

Биомеханически корректное восстановление позы, скелета, меша по видео.
Код там же, три ссылки внизу

#video2pose #videoto3D #image2pose

Инструкция по локальному запуску SUPIR на 10-11 GB VRAM

Подробнее на гитхабе

git clone https://github.com/Fanghua-Yu/SUPIR.git (Клонирование репозитория)

cd SUPIR (перейдите к каталогу)

установка pip -r requirements.txt (При этом будут установлены отсутствующие пакеты, но будьте осторожны, некоторые версии могут быть удалены, если они не совпадают, или используются conda или venv)

Загрузите SDXL CLIP Encoder-1 (Вам нужен полный каталог, вы можете выполнить git clone https://huggingface.co/openai/clip-vit-large-patch14)

Скачать https://huggingface.co/laion/CLIP-ViT-bigG-14-laion2B-39B-b160k/blob/main/open_clip_pytorch_model.bin (только этот файл)

Загрузите модель SDXL, Juggernaut работает хорошо (https://civitai.com/models/133005?modelVersionId=348913) Без Lightning или LCM

Пропустите материалы LLaVA (они большие и требуют много памяти, она создает промт из вашего исходного изображения, но если ваше изображение сгенерировано, вы можете использовать тот же промт)

Скачать SUPIR-v0Q (https://drive.google.com/drive/folders/1yELzm5SvAi9e7kPcO_jPp2XkTs4vK6aR?usp=sharing)

Скачать SUPIR-v0F (https://drive.google.com/drive/folders/1yELzm5SvAi9e7kPcO_jPp2XkTs4vK6aR?usp=sharing)

Измените CKPT_PTH.py локальные пути для загруженных вами файлов SDXL CLIP (каталог для CLIP1 и файл .bin для CLIP2).

Измените SUPIR_v0.yaml в качестве локальных путей для других загруженных вами файлов, в конце файла SDXL_CKPT, SUPIR_CKPT_F, SUPIR_CKPT_Q (расположение файлов для всех 3-х)

Перейдите в каталог SUPIR в командной строке и запустите "python gradio_demo.py --use_tile_vae --no_llava --use_image_slider --loading_half_params"

#upscale

sd-forge-layerdiffusion

Поддержка layerdiffusion в Forge
Не забудьте обновить Forge командой

git pull

#text2image

Ideogram 1.0

Уже известный нам генератор картинок от гугла обновился до версии 1.0 и теперь доступен всем.

Фишки: хорошо справляется с генерацией текста на изображении, хорошо понимает промты, ну и Magic Prompt - улучшайзер промта

Генерим здесь, хвастаемся в коментах

#text2image