🎆 V Objective Diffusion: Код, Модель, Веса + Colab
Королева генеративного искусства Rivers Have Wings Катерина выложила аккуратно обученную диффузионную модель, кондишн на текстовых эмбедингах собственно обученного 602M CLIP. Скажем спасибо stability.ai за компьют и помощь в ресерче! По факту подход classifier-free guidance похож на недавний GLIDE от OpenAI.
Генерации просто на высшем уровне. И понимание текста, и целостность (консистентность) изображений, и стилистика. Доступны 481M и 968M модели, обученные на 33M парах изображение-текст, сабсет Yahoo Flickr Creative Commons 100 Million.
💻 Code 🔮 Unofficial Colab
Королева генеративного искусства Rivers Have Wings Катерина выложила аккуратно обученную диффузионную модель, кондишн на текстовых эмбедингах собственно обученного 602M CLIP. Скажем спасибо stability.ai за компьют и помощь в ресерче! По факту подход classifier-free guidance похож на недавний GLIDE от OpenAI.
Генерации просто на высшем уровне. И понимание текста, и целостность (консистентность) изображений, и стилистика. Доступны 481M и 968M модели, обученные на 33M парах изображение-текст, сабсет Yahoo Flickr Creative Commons 100 Million.
💻 Code 🔮 Unofficial Colab
🔥16👍4
Коллеги, друзья. Помогите выбрать победителя для будущей статьи «ИИ Итоги 2021 года» | Мультивыбор
Anonymous Poll
46%
CLIP
50%
DALL-E
14%
VQ-GAN
9%
Perceiver / IO
2%
mDETR
21%
AlphaFold 2
12%
RETRO
3%
LiT
18%
Diffusion Models Beat GAN
11%
CODEX
🔥20👍1
Победителями года стали DALL-E и CLIP! Внимание вопрос: Может ли один трансформер генерировать как DALL-E, и сам оценивать свои результаты, как CLIP (при этом обладая zero-shot и linear probe способностями CLIP)? Одним словом можно ли их объединить?
Final Results
86%
Да. Реально обьединить DALL-E и CLIP в одной сети. Я за гипер-модальные трансформеры будущего!
14%
Невозможно. DALL-E это DALL-E, CLIP это CLIP. Одна модель не может и генерировать классифицировать.
👍9🔥7
🦌🎄☃️ One Hyper-Modal Transformer can be
Creative as DALL-E and Smart as CLIP
Встречайте, RuDOLPH! Текстово-визуальный гипермодальный GPT-3 (350M), сочетающий в себе генеративные возможности текстового GPT-3 и текст-картиночного DALL-E с Reranking & Zero-Shot способностями CLIP.
👀 см картинки к посту
Гипермодальный RuDolph может:
▪️ Генерировать текст
▪️ Генерировать изображения по тексту
▪️ «Проявлять» диффузией в высоком качестве и разрешении сгенерированные изображения
▪️ Изменять (inpainting) изображения по описанию
▪️ Генерировать текстовые описания для изображений
▪️ Быть Feature Extractor’ом для few-shot и linear probe классификации
▪️ Ранжировать изображения по текстовому описанию
▪️ Классифицировать изображения в режиме Zero-Shot
💻 Git Код + Веса
📰 Paper [soon]
🦌 HF demo (только 4 картинки)
🤗 Model Card
🔮 Colab со всеми возможностями
Creative as DALL-E and Smart as CLIP
Встречайте, RuDOLPH! Текстово-визуальный гипермодальный GPT-3 (350M), сочетающий в себе генеративные возможности текстового GPT-3 и текст-картиночного DALL-E с Reranking & Zero-Shot способностями CLIP.
👀 см картинки к посту
Гипермодальный RuDolph может:
▪️ Генерировать текст
▪️ Генерировать изображения по тексту
▪️ «Проявлять» диффузией в высоком качестве и разрешении сгенерированные изображения
▪️ Изменять (inpainting) изображения по описанию
▪️ Генерировать текстовые описания для изображений
▪️ Быть Feature Extractor’ом для few-shot и linear probe классификации
▪️ Ранжировать изображения по текстовому описанию
▪️ Классифицировать изображения в режиме Zero-Shot
💻 Git Код + Веса
📰 Paper [soon]
🦌 HF demo (только 4 картинки)
🤗 Model Card
🔮 Colab со всеми возможностями
🔥23👍16