Multi-LoRA Composition for Image Generation

Метод контроля генерации изображений позволяет обойти ограничение обычных LoRa, которые при слиянии спорят друг с другом и теряют детали.
Пишут, что работает без дообучения

Код

#conditioning #text2image #image2image

From Skin to Skeleton: Towards Biomechanically Accurate 3D Digital Humans

Биомеханически корректное восстановление позы, скелета, меша по видео.
Код там же, три ссылки внизу

#video2pose #videoto3D #image2pose

Инструкция по локальному запуску SUPIR на 10-11 GB VRAM

Подробнее на гитхабе

git clone https://github.com/Fanghua-Yu/SUPIR.git (Клонирование репозитория)

cd SUPIR (перейдите к каталогу)

установка pip -r requirements.txt (При этом будут установлены отсутствующие пакеты, но будьте осторожны, некоторые версии могут быть удалены, если они не совпадают, или используются conda или venv)

Загрузите SDXL CLIP Encoder-1 (Вам нужен полный каталог, вы можете выполнить git clone https://huggingface.co/openai/clip-vit-large-patch14)

Скачать https://huggingface.co/laion/CLIP-ViT-bigG-14-laion2B-39B-b160k/blob/main/open_clip_pytorch_model.bin (только этот файл)

Загрузите модель SDXL, Juggernaut работает хорошо (https://civitai.com/models/133005?modelVersionId=348913) Без Lightning или LCM

Пропустите материалы LLaVA (они большие и требуют много памяти, она создает промт из вашего исходного изображения, но если ваше изображение сгенерировано, вы можете использовать тот же промт)

Скачать SUPIR-v0Q (https://drive.google.com/drive/folders/1yELzm5SvAi9e7kPcO_jPp2XkTs4vK6aR?usp=sharing)

Скачать SUPIR-v0F (https://drive.google.com/drive/folders/1yELzm5SvAi9e7kPcO_jPp2XkTs4vK6aR?usp=sharing)

Измените CKPT_PTH.py локальные пути для загруженных вами файлов SDXL CLIP (каталог для CLIP1 и файл .bin для CLIP2).

Измените SUPIR_v0.yaml в качестве локальных путей для других загруженных вами файлов, в конце файла SDXL_CKPT, SUPIR_CKPT_F, SUPIR_CKPT_Q (расположение файлов для всех 3-х)

Перейдите в каталог SUPIR в командной строке и запустите "python gradio_demo.py --use_tile_vae --no_llava --use_image_slider --loading_half_params"

#upscale

sd-forge-layerdiffusion

Поддержка layerdiffusion в Forge
Не забудьте обновить Forge командой

git pull

#text2image

Ideogram 1.0

Уже известный нам генератор картинок от гугла обновился до версии 1.0 и теперь доступен всем.

Фишки: хорошо справляется с генерацией текста на изображении, хорошо понимает промты, ну и Magic Prompt - улучшайзер промта

Генерим здесь, хвастаемся в коментах

#text2image

ловите воркфлоу SUPIR для ComfyUI

#upscale

AUTOMATIC1111 stable-diffusion-webui 1.8.0

Вышла обновка автоматика.
Если будете обновляться, сделайте бэкап сначала. У людей уже ломается отображение результатов

#news #text2image

ComfyUI-layerdiffusion

Поддержка Layerdiffusion для ComfyUI

#text2image

Самое важное о чем я не успел вам рассказать на прошлой неделе

Groq - самая быстрая альтернатива ChatGPT, быстый - 500 токенов/сек

Chateq - чатбот спорщик, поможет спорить в интернете

Pika научился делать липсинк. Загружаем запись речи и получаем видео с говорящим персонажем

Suno.ai V3 научился генерить музыку без вокала с отменным качеством, до 2 минут

Adobe анонсировали Project Music GenAI Control - генератор/редактор аудио с помощью текстовых указаний.

#llm #assistant #chatbot #news #lipsync #text2music #music2music #audio2aidio

Помните я писал про секретный анонс фичи Gemini, который никто не продвигал, был лишь один ролик? Вот тут: https://yangx.top/seeallochnaya/911, суть в том, что под каждый запрос LLM генерирует код интерфейса, в котором нужно показывать пользователю ответ, а затем уже его наполняет.

Vercel, компания, предоставляющая облачный сервис для развёртывания сайтов, обновила AI SDK до версии 3.0, добавив туда такую фичу. Формочки на демо не предзапрограммированны, а создаются на лету и могут содержать любой контент в любой форме. Думаю, что через пару лет такая персонализация будет широко распространена — особенно с учётом количества пользователей, на которых можно запускать A/B тесты и оптимизировать интерфейс до мельчайших деталей. И главное программисты, перекрашивающие годами две кнопки, будут не нужны!