Forwarded from Denis Sexy IT 🤖
🔥 Запипили апскейл картинок на GAN-стероидах
Продолжаем добавлять на neural.love новые сервисы — в этот раз выкатили работу с фотографиями, да и любыми картинками включая эти ваши мемы в интернете. На видео реальный пример.
Какие фичи есть уже сейчас:
— Можете бесплатно улучшить 5 картинок
— Можно увеличить разрешение изображения в 2 или 4 раза
— Можно клево убрать артефакты от компрессии jpeg файлов
— Можно нейронкой улучшить четкость лиц
— Можно поправить цветовые проблемы старых фотографий (розовый цвет который появляется от химических реакций на старых фоточках)
— Можно удалить повреждение пленки — аля царапины (оно же удаляет иногда детали фоточек, поэтому по умолчанию мы наверное все же выключим это)
— И отдельная платная фича, можно запроцессить 100 фоточек сразу
Еще мы почти дотренировали нашу новую модельку для колоризации, ее тоже добавим в ближайшем апдейте о котором я напишу отдельно.
👉 Играться тут
Если соберетесь приобрести подписку и поддержать наш стартаперский быт — то вот промокод на 10% скидку на первый месяц подписки:
P.S. Кстати, написали на английском статью о том как работает Upscale простым языком, если интересно — то велкам.
P.P.S. Кстати, напомню, что по нашей продуктовой политике мы не собираем никаких маркетинговых кук, ваши заказы хранятся на шифрованном хранилище, и процессят все только роботы. Так что можете спокойно играться, никто из нас не будет потом таргетировать рекламу на половину интернета 🤍
Продолжаем добавлять на neural.love новые сервисы — в этот раз выкатили работу с фотографиями, да и любыми картинками включая эти ваши мемы в интернете. На видео реальный пример.
Какие фичи есть уже сейчас:
— Можете бесплатно улучшить 5 картинок
— Можно увеличить разрешение изображения в 2 или 4 раза
— Можно клево убрать артефакты от компрессии jpeg файлов
— Можно нейронкой улучшить четкость лиц
— Можно поправить цветовые проблемы старых фотографий (розовый цвет который появляется от химических реакций на старых фоточках)
— Можно удалить повреждение пленки — аля царапины (оно же удаляет иногда детали фоточек, поэтому по умолчанию мы наверное все же выключим это)
— И отдельная платная фича, можно запроцессить 100 фоточек сразу
Еще мы почти дотренировали нашу новую модельку для колоризации, ее тоже добавим в ближайшем апдейте о котором я напишу отдельно.
👉 Играться тут
Если соберетесь приобрести подписку и поддержать наш стартаперский быт — то вот промокод на 10% скидку на первый месяц подписки:
LETSIMPROVEP.S. Кстати, написали на английском статью о том как работает Upscale простым языком, если интересно — то велкам.
P.P.S. Кстати, напомню, что по нашей продуктовой политике мы не собираем никаких маркетинговых кук, ваши заказы хранятся на шифрованном хранилище, и процессят все только роботы. Так что можете спокойно играться, никто из нас не будет потом таргетировать рекламу на половину интернета 🤍
👍6🔥5
Forwarded from эйай ньюз
Ресерчеры из Meta AI масштабировали разреженные языковые модели до 1.1 триллиона параметров. Причем сделали это эффективно и показали, что они требует в 4 раза меньше ресурсов чем сравнимые по точности плотные (dense) модели.
Подробнее в статье Efficient Large Scale Language Modeling with Mixtures of Experts.
Подробнее в статье Efficient Large Scale Language Modeling with Mixtures of Experts.
🔥12👍1
❗️ConvNeXt действительно офигенная работа, но диаграмму нужно поправить.
Помните ConvNeXt, который показывает, что прошлое поколение еще может гордиться своими свертками.
Так вот, по мнению (твит) Lucas Beyer Fig.1 нуждается в небольшой поправке. Ребята и FAIR сравнивают aug/reg SWIN+ConvNeXt с оригинальным (ванильным) ViT. Google Research Brain Team исправили это в How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers.
Имхо, вполне было бы логично сравнивать SWIN и ConvNeXt модели с сильными аугментациями и регуляризацими с таким же по сути уже не "ванильным" ViT.
Пейпер ConvNeXt достаточно крут еще и с точки зрения того, как стоит проводить бенчмарк анализ влияния разных методов и идей. Стоит сказать, что подобный подход применим и к трансформерам: SWIN-V2 и How to train you ViT показали, что небольшие изменения в операциях и в регуляризациях + аугментациях дают значимый буст. Пока рано сдаваться, Трансформеры. Ждем ViT-2.
С наилучшими пожеланиями, Мишин Лернинг!
Помните ConvNeXt, который показывает, что прошлое поколение еще может гордиться своими свертками.
Так вот, по мнению (твит) Lucas Beyer Fig.1 нуждается в небольшой поправке. Ребята и FAIR сравнивают aug/reg SWIN+ConvNeXt с оригинальным (ванильным) ViT. Google Research Brain Team исправили это в How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers.
Имхо, вполне было бы логично сравнивать SWIN и ConvNeXt модели с сильными аугментациями и регуляризацими с таким же по сути уже не "ванильным" ViT.
Пейпер ConvNeXt достаточно крут еще и с точки зрения того, как стоит проводить бенчмарк анализ влияния разных методов и идей. Стоит сказать, что подобный подход применим и к трансформерам: SWIN-V2 и How to train you ViT показали, что небольшие изменения в операциях и в регуляризациях + аугментациях дают значимый буст. Пока рано сдаваться, Трансформеры. Ждем ViT-2.
С наилучшими пожеланиями, Мишин Лернинг!
👍14❤10🔥3
Forwarded from ExMuffin
This media is not supported in your browser
VIEW IN TELEGRAM
💃 HomeStylist v.1.0 🕺
Сегодня выкатили нейросеть, которая может не только менять позу, но и переодевать человека на фотографии. Код есть, а Колаба небыло. Я исправил это недоразумение. Сделал его удобным на столько, на сколько это вообще возможно, ибо чтобы завести эту нейросеть пришлось клонировать еще парочку, но оно того стоило. Качество синтезированного изображения на высоте. Разрешение, конечно, 512 по большей стороне, но те, кому нужно, прогонят дополнительно через какой-нибудь апскейлер.
https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/HomeStylist.ipynb
Сегодня выкатили нейросеть, которая может не только менять позу, но и переодевать человека на фотографии. Код есть, а Колаба небыло. Я исправил это недоразумение. Сделал его удобным на столько, на сколько это вообще возможно, ибо чтобы завести эту нейросеть пришлось клонировать еще парочку, но оно того стоило. Качество синтезированного изображения на высоте. Разрешение, конечно, 512 по большей стороне, но те, кому нужно, прогонят дополнительно через какой-нибудь апскейлер.
https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/HomeStylist.ipynb
👍31🔥7❤2😁1
Го тестить на что способна почти SOTA сверточная сеть в эпозу визуальных трансформеров.
Потестил на генерации DALL-E. Ну неплохо, но сгенерить такое, имхо, круче, чем классифицировать.
🤗 ConvNeXt Demo
Потестил на генерации DALL-E. Ну неплохо, но сгенерить такое, имхо, круче, чем классифицировать.
🤗 ConvNeXt Demo
👍9🔥1
🚀🗄 FAST DATA LOADER IS ALL YOU NEED: Fast Forward Computer Vision
Тут студенты из MiT собрали быстрейший даталоадер!
Все что нужно, так это заменить
Такой подход позволяет затренить родным PyTorch модель ResNet на ImageNet всего за 35 минуут (1$ на AWS)
📮 FFCV 💻 Git 📚 Docs
Тут студенты из MiT собрали быстрейший даталоадер!
Все что нужно, так это заменить
from torch.utils.data import DataLoader на from ffcv.loader import Loader, OrderOption, и далее по примеру из картинки поста.Такой подход позволяет затренить родным PyTorch модель ResNet на ImageNet всего за 35 минуут (1$ на AWS)
📮 FFCV 💻 Git 📚 Docs
🔥59👍8
Forwarded from Love. Death. Transformers.
Парни из Silero выкатили релиз с улучшенными украинскими моделями.
Гит
Гит
GitHub
GitHub - snakers4/silero-models: Silero Models: pre-trained speech-to-text, text-to-speech and text-enhancement models made embarrassingly…
Silero Models: pre-trained speech-to-text, text-to-speech and text-enhancement models made embarrassingly simple - snakers4/silero-models
👍7🔥5
🎓 Music Theory
Немного оффтопа. Нашёл чудесный канал и плейлист по теории музыки. Так что если для Вас функциональная гармония — нечто привычное и Вас не пугают некоммутативные (не Абелевы) группы, то милости прошу. Язык достаточно легкий, подача тоже.
🎼 Music Theory
Немного оффтопа. Нашёл чудесный канал и плейлист по теории музыки. Так что если для Вас функциональная гармония — нечто привычное и Вас не пугают некоммутативные (не Абелевы) группы, то милости прошу. Язык достаточно легкий, подача тоже.
🎼 Music Theory
🔥19👍6
Forwarded from DL in NLP (Vlad Lialin)
Как мне подойти к задаче классфификации/QA/NER/...? В чатах можно часто услышать такие вопросы. И несмотря на обилие туториалов по всем стандартным задачам NLP, я пока что не видел хорошего места, куда можно было бы послать людей, где есть все эти задачки.
Теперь такое место есть! 🤗 Tasks
Вы выбираете задачу, которая вас волнует: классификация, QA, NER, MT, суммаризация, генерация, схожесть текстов
На каждую из них есть короткая лекция, описываются вариации задачи, есть ссылки на датасеты и предобученные модели. Самое главное: есть ссылки на A) хороший ноутбук, который подробно, но доступно описывают как применить условный BERT к этой задаче B ) хорошо задокументированный скрипт, который вы можете легко подогнать под свою задачу.
Кроме этого есть ссылки на релевантные блогпосты, которые могут рассматривать задачу с разных сторон. В общем советую теперь слать людей на 🤗 Tasks.
Теперь такое место есть! 🤗 Tasks
Вы выбираете задачу, которая вас волнует: классификация, QA, NER, MT, суммаризация, генерация, схожесть текстов
На каждую из них есть короткая лекция, описываются вариации задачи, есть ссылки на датасеты и предобученные модели. Самое главное: есть ссылки на A) хороший ноутбук, который подробно, но доступно описывают как применить условный BERT к этой задаче B ) хорошо задокументированный скрипт, который вы можете легко подогнать под свою задачу.
Кроме этого есть ссылки на релевантные блогпосты, которые могут рассматривать задачу с разных сторон. В общем советую теперь слать людей на 🤗 Tasks.
huggingface.co
Tasks - Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
👍21🔥9
🤖🎓 Проверяю домашку Regression using Gradient Descent моего курса Introduction to Machine Learning & Neural Networks. Выдались спокойные выходные: проверяю и понимаю, насколько же простая математика стоит не только за обычной регрессией, но и за трансформерами типа GPT и DALL-E.
Всем мотивации, крутых идей, интересной и продуктивной рабочей недели!
Всем мотивации, крутых идей, интересной и продуктивной рабочей недели!
😁41🔥20👍11
👨🎨 Что такое Image Inpainting и с чем его едят? Разбираем на примере RePaint, GLIDE, RuDOLPH.
Inpainting решает проблему удаления объекта или достраивания окружения изображения внутри произвольных масок по контексту.
Качество подходов зависит от кондишена масок, от скорости inpainting'а и от возможности использования текста в качестве дополнительного кондишена.
По скорости:
- Быстрые, e.g.: GAN'ы, работающие за один forward (условно оne stage)
▪️LaMa, Deep Fill v2
- Медленные, e.g.: Diffusion и DALL-E-like, работающие за 384-1280 forward'ов.
▪️RePaint, GLIDE, DALL-E
По использованию текста:
- Text Condition or Text guided, e.g.: GLIDE
- Image Context Only: диффьюжн RePaint
По зоне image кондишена:
- Condition Invariant Inpainting: кондишн берется из любой доступной точки вне маски. e.g.:
▪️ GLIDE: Classifier-Free Diffusion файнтюн под задачу Inpainting.
За минуту GLIDE делает один inpainting в разрешении 64х64, потом из коробки можно сделать диффьюз-апскейл в 256х256.
📇 GLIDE 🔮 GLIDE Colab
- Fixed Condition Inpainting: кондишн берется из фиксированных областей. В DALL-E-like поздние токены имеют кондишн в ранних, независимо от выбора кривой, заполняющая пространство, e.g.:
▪️ RuDOLPH: DALL-E, со способностями CLIP, решающий в zero-shot задачу Text Condition Image Inpainting. Из-за fixed condition природы, RuDOLPH лучше справляется с нижней частью изображения (пример).
За минуту GLIDE делает более 100 inpainting'ов в разрешении 128х128, потом из коробки можно диффьюз-декодить понравившиеся варианты в 256х256 и проапскейлить в 1024х1024.
📇 RuDOLPH 🔮 RuDOLPH Colab
Вывод:
- Если нужны быстрые подходы, которые не нужно настраивать текстом, то советую взять LaMa. Если же нужно качество, и готовы жертвовать временем, то ждите кода RePaint
- Если нужна текстовая настройка для Inpainting, например "олень в синей новогодней шапке", то советую обратить внимание на GLIDE Diffusion или на RuDOLPH в режиме DALL-E.
#разбираем_собираем #всохраненки
Inpainting решает проблему удаления объекта или достраивания окружения изображения внутри произвольных масок по контексту.
Качество подходов зависит от кондишена масок, от скорости inpainting'а и от возможности использования текста в качестве дополнительного кондишена.
По скорости:
- Быстрые, e.g.: GAN'ы, работающие за один forward (условно оne stage)
▪️LaMa, Deep Fill v2
- Медленные, e.g.: Diffusion и DALL-E-like, работающие за 384-1280 forward'ов.
▪️RePaint, GLIDE, DALL-E
По использованию текста:
- Text Condition or Text guided, e.g.: GLIDE
- Image Context Only: диффьюжн RePaint
По зоне image кондишена:
- Condition Invariant Inpainting: кондишн берется из любой доступной точки вне маски. e.g.:
▪️ GLIDE: Classifier-Free Diffusion файнтюн под задачу Inpainting.
За минуту GLIDE делает один inpainting в разрешении 64х64, потом из коробки можно сделать диффьюз-апскейл в 256х256.
📇 GLIDE 🔮 GLIDE Colab
- Fixed Condition Inpainting: кондишн берется из фиксированных областей. В DALL-E-like поздние токены имеют кондишн в ранних, независимо от выбора кривой, заполняющая пространство, e.g.:
▪️ RuDOLPH: DALL-E, со способностями CLIP, решающий в zero-shot задачу Text Condition Image Inpainting. Из-за fixed condition природы, RuDOLPH лучше справляется с нижней частью изображения (пример).
За минуту GLIDE делает более 100 inpainting'ов в разрешении 128х128, потом из коробки можно диффьюз-декодить понравившиеся варианты в 256х256 и проапскейлить в 1024х1024.
📇 RuDOLPH 🔮 RuDOLPH Colab
Вывод:
- Если нужны быстрые подходы, которые не нужно настраивать текстом, то советую взять LaMa. Если же нужно качество, и готовы жертвовать временем, то ждите кода RePaint
- Если нужна текстовая настройка для Inpainting, например "олень в синей новогодней шапке", то советую обратить внимание на GLIDE Diffusion или на RuDOLPH в режиме DALL-E.
#разбираем_собираем #всохраненки
❤10👍6🔥1
👨🎨 RePaint: Inpainting using Denoising Diffusion Probabilistic Models
Free-form inpainting — это задача заполнения изображения в областях, заданных произвольной бинарной маской. В RePaint это решается чисто через image condition (без текста).
К сожалению, при обучении, большинство существующих подходов тренят на определенных распределениях масок, что ограничивает их возможности генерализации для реальных типов масок.
RePaint использует под капотом Denoising Diffusion Probabilistic Model (DDPM), и что ожидаемо, такая диффьюзия в Inpainting задаче обходит авторегрессию и gan'ы.
📇 Paper 💻 Code (будет тут)
Free-form inpainting — это задача заполнения изображения в областях, заданных произвольной бинарной маской. В RePaint это решается чисто через image condition (без текста).
К сожалению, при обучении, большинство существующих подходов тренят на определенных распределениях масок, что ограничивает их возможности генерализации для реальных типов масок.
RePaint использует под капотом Denoising Diffusion Probabilistic Model (DDPM), и что ожидаемо, такая диффьюзия в Inpainting задаче обходит авторегрессию и gan'ы.
📇 Paper 💻 Code (будет тут)
👍8🔥6
Мишин Лернинг 🇺🇦🇮🇱 pinned «👨🎨 Что такое Image Inpainting и с чем его едят? Разбираем на примере RePaint, GLIDE, RuDOLPH. Inpainting решает проблему удаления объекта или достраивания окружения изображения внутри произвольных масок по контексту. Качество подходов зависит от кондишена…»
Forwarded from ExMuffin
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🧔Обновленная модель генератора HD портретов 👩🦳
Недавно мы в neural.love выкатили новый генератор лиц по исходному изображению, который был анонсирован в одном из предыдущих постов. Точность значительно возросла, в сравнении со старой моделью, однако немного просела скорость. Теперь на вычисление тратится чуть больше времени, но оно того стоит. По окончанию работы можно будет либо сравнить изменения, двигая шторкой, либо просто забрать результат, который придет на email. Протестировать можно по ссылке ниже:
https://neural.love/portraits
Недавно мы в neural.love выкатили новый генератор лиц по исходному изображению, который был анонсирован в одном из предыдущих постов. Точность значительно возросла, в сравнении со старой моделью, однако немного просела скорость. Теперь на вычисление тратится чуть больше времени, но оно того стоит. По окончанию работы можно будет либо сравнить изменения, двигая шторкой, либо просто забрать результат, который придет на email. Протестировать можно по ссылке ниже:
https://neural.love/portraits
🔥9👍4