EMO: Emote Portrait Alive - Generating Expressive Portrait Videos with Audio2Video Diffusion Model under Weak Conditions
Еще один оживлятор портретов от Alibaba, на сей раз говорящей головой управляет звук
Код ждем
#audio2video #speech2video #talkinghead
Еще один оживлятор портретов от Alibaba, на сей раз говорящей головой управляет звук
Код ждем
#audio2video #speech2video #talkinghead
🔥26❤1
Нейронавт | Нейросети в творчестве
Video
Обратите внимание на волосы, отражение в очках. Под отражением глаза живут честной жизнью. Серьга качается. Горло еще не совсем живое, но оно почти живое и точно не мертвое! Грудь поднимается на вдохе. Разве что руками не размахивает. Где тут читерство, Али?
А на непиркрытых зрачках видно что они плывут((
А на непиркрытых зрачках видно что они плывут((
👍11
Playground v2.5
И снова кто-то уделал конкурентов одной левойпо циферкам на приборах . Но картинки мне действительно нравятся.
Итак генератор картинок по тексту с инпейнтингом и вообще среда редактирования, о которой я уже писал.
Генерирует 1024*1024, неквадратные тоже может. На бесплатном тарифе 500 генераций в день и ограничение на разрешение.
Но эй, модель опенсорсная, бери и юзай у себя бесплатно!
Модель на HF
Попробовать онлайн
#image2image #text2image #imageediting
И снова кто-то уделал конкурентов одной левой
Итак генератор картинок по тексту с инпейнтингом и вообще среда редактирования, о которой я уже писал.
Генерирует 1024*1024, неквадратные тоже может. На бесплатном тарифе 500 генераций в день и ограничение на разрешение.
Но эй, модель опенсорсная, бери и юзай у себя бесплатно!
Модель на HF
Попробовать онлайн
#image2image #text2image #imageediting
❤2
KOALA: Knowledge Distillation based Stable Diffusion XL
В полку скорострелов прибыло.
Южнокорейские исследователи надистиллировали маленьких и быстрых SDXL моделей. Самая маленькая - 700М.
Говорят, контролнет с ними не может работать. Зато слабое железо потянет.
Демо
Гитхаб
#text2image
В полку скорострелов прибыло.
Южнокорейские исследователи надистиллировали маленьких и быстрых SDXL моделей. Самая маленькая - 700М.
Говорят, контролнет с ними не может работать. Зато слабое железо потянет.
Демо
Гитхаб
#text2image
👍7
This media is not supported in your browser
VIEW IN TELEGRAM
Neutone Morpho
Преобразование одного музыкального инструмента (или голоса) в другой. В виде плагина VST3, а не чего-то там.
Ну и еще они разрабатывают облачное обучение, то есть,вы сможете обучать свои модельки для тон-морфинга.
Заполняете форму - получаете ссылку на инсталлятор
А можете не заполнять))
Win
Mac OS
#music2music #musicediting
Преобразование одного музыкального инструмента (или голоса) в другой. В виде плагина VST3, а не чего-то там.
Ну и еще они разрабатывают облачное обучение, то есть,вы сможете обучать свои модельки для тон-морфинга.
Заполняете форму - получаете ссылку на инсталлятор
А можете не заполнять))
Win
Mac OS
#music2music #musicediting
🔥12👍2❤1
Transparent Image Layer Diffusion using Latent Transparency
Генерация картинок с прозрачностью. Даже сайта нет
Код ждем
#text2image
Генерация картинок с прозрачностью. Даже сайта нет
Код ждем
#text2image
🔥10
Старшая модель Mistral - Mistral Large доступна по API и в бете ассистента le Chat. Эта модель по характеристикам конкурирует с GPT-4 и Claude 2.
API (для России недоступно)
le Chat
#llm #assistant #chatbot
API (для России недоступно)
le Chat
#llm #assistant #chatbot
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
This media is not supported in your browser
VIEW IN TELEGRAM
Вот держите гибридный пайплайн от генерации 3D-модели персонажа, до рига, анимации и нейрорендера. Без всякого ретопа, текстурирования и шейдинга.
Берется Luma AI для того чтобы сгенерить десяток вариантов 3Д-персонажа по текстовому промпту.
Получается довольно обмылочный персонаж в духе PS1 с кривой топологией и кашей вместо головы и рук.
Дальше он тащится в Mixamo и там на него тупо кидается авториг. А потом и анимация в духе Hadouken!
Дальше превью анимации с этим болваном кормится в КонтролНет, чтобы достать оттуда позу и объем с глубиной - для дальнейшего нейрорендеринга с помощью AnimateDiff.
Ну то есть идея такая - генерим низкокачественного болвана персонажа с помощью ИИ, кладем болт на топологию и качественный риг, просто одеваем его в скелет и наваливаем нужную нам анимацию (пусть с заломами и косяками на сгибах). На этапе нейрорендеринга все эти косяки сгладятся в процессе переноса стиля из промпта или картинки.
Одна засада - надо знать Mixamo, анимацию и вот это ваше дурацкое 3Д.
Впрочем нажать кнопку Autorig и потом выбрать из библиотеки анимацию (или сгенерить промптом, или забрать по эклеру из видео с помощью open pose) может любой, даже не знакомый с 3Д. Осталось эти кнопки вструмить внутрь ComfyUI или A1111 и спрятать подальше эти ацкие настройки ControlNet - вот и будет вам AIMixamo.
P.S. Качество ИИ-генерации 3Д настолько плохое, что чувак отдельно потом генерит голову и руки для персонажа и пришивает их к полигональному мешу и начинает все сначала (иначе КонтролНет не хавает уродца). И вот тут уже надо знать 3Д, сорян.
Но проблески будущих однокнопочных пайплайнов отчетливо проступают из шума диффузии.
P.S.S. Была такая поговорка у продакшенов - "на посте все поправят". Теперь на посте сидят такие: "зачем моделить правильно, на нейрорендеринге все поправится".
Короче, расслабляем булки, ИИ все поправит. За вас.
Автор обещает полный тутор тут:
https://twitter.com/8bit_e/status/1761111050420727895
Берется Luma AI для того чтобы сгенерить десяток вариантов 3Д-персонажа по текстовому промпту.
Получается довольно обмылочный персонаж в духе PS1 с кривой топологией и кашей вместо головы и рук.
Дальше он тащится в Mixamo и там на него тупо кидается авториг. А потом и анимация в духе Hadouken!
Дальше превью анимации с этим болваном кормится в КонтролНет, чтобы достать оттуда позу и объем с глубиной - для дальнейшего нейрорендеринга с помощью AnimateDiff.
Ну то есть идея такая - генерим низкокачественного болвана персонажа с помощью ИИ, кладем болт на топологию и качественный риг, просто одеваем его в скелет и наваливаем нужную нам анимацию (пусть с заломами и косяками на сгибах). На этапе нейрорендеринга все эти косяки сгладятся в процессе переноса стиля из промпта или картинки.
Одна засада - надо знать Mixamo, анимацию и вот это ваше дурацкое 3Д.
Впрочем нажать кнопку Autorig и потом выбрать из библиотеки анимацию (или сгенерить промптом, или забрать по эклеру из видео с помощью open pose) может любой, даже не знакомый с 3Д. Осталось эти кнопки вструмить внутрь ComfyUI или A1111 и спрятать подальше эти ацкие настройки ControlNet - вот и будет вам AIMixamo.
P.S. Качество ИИ-генерации 3Д настолько плохое, что чувак отдельно потом генерит голову и руки для персонажа и пришивает их к полигональному мешу и начинает все сначала (иначе КонтролНет не хавает уродца). И вот тут уже надо знать 3Д, сорян.
Но проблески будущих однокнопочных пайплайнов отчетливо проступают из шума диффузии.
P.S.S. Была такая поговорка у продакшенов - "на посте все поправят". Теперь на посте сидят такие: "зачем моделить правильно, на нейрорендеринге все поправится".
Короче, расслабляем булки, ИИ все поправит. За вас.
Автор обещает полный тутор тут:
https://twitter.com/8bit_e/status/1761111050420727895
🔥4👍2