Нейронавт | Нейросети в творчестве
9.41K subscribers
3.62K photos
3.14K videos
40 files
4.1K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках не участвую

для связи @Neuronauticus
加入频道
IC-Light V2-Vary

Альтернативные модели релайтера IC-Light V2 для тех кому нужны более мощные варианты освещения и модификации

Люди на гитхабе в один голос спрашивают будет ли опенсорс, но автор еще ничего не ответил

Демо

#relighting
11
This media is not supported in your browser
VIEW IN TELEGRAM
Generative Multiview Relighting for 3D Reconstruction under Extreme Illumination Variation

Реконструкция 3D объектов в экстремальных условиях освещения

Проект Гугла, кода нет

#relighting #nerf #3Dreconstruction #photogrammetry
😭2👀21
This media is not supported in your browser
VIEW IN TELEGRAM
NVIDIA Broadcast 2.0.0

День звука на канале продолжается

Обновилась утилита рилтаймовой обработки звука и видео

По звуку:
удаляет эхо, посторонний шум, оставляя голос. наверчивает ИИ-эквалазер, приближая говномикрофоны к студийному качеству

По видео: направляет зрачки в камеру, блюрит фон, заменяет фон, удаляет шум. Релайтинг лица - подсвечивает лицо виртуальным источником.

#realtime #streaming #denoise #audioenhance #eyecontact #bgreplacement #bg #relighting #deecho
👍11🔥2
LuminaBrush

Экспериментальный проект lllyasviel, похожий на IC-Light
Эффект освещения задаем цветными мазками кисти и текстовым промптом, на выходе получаем наш картинку, где персонаж помещен в другие условия освещения.

Обработка происходит в два этапа. На первом этапе объект приводят к равномерному освещению. Из этого этапа автор сделал отдельную фичу, см второе демо.

Гитхаб - там кода нет, только описание и примеры, так обычно оформляют сайт проекта
Демо
Демо2 равномерное освещение

#relighting
🔥93
Diffusion Self-Distillation for Zero-Shot Customized Image Generation

Персонализация для генераторов картинок.
Применяют самодистилляцию - дообучение модели на ею же сгенерированном наборе пар картинок.

Считают что превзошли все методы персонализации без дообучения.

Метод применим для релайтинга

#тестбендера в комментах

Код
Демо

#text2image #personalization #relighting
👍7🔥5
LBM: Latent Bridge Matching for Fast Image-to-Image Translation

Универсальный метод преобразования изображений

Примеры применения: удаление объекта, генерация карт нормалей и глубины, релайтинг, реставрация/улучшение

Код
Демо (релайтинг)

#image2image #imageediting #inpainting #objectremoval #relighting #image2depth #image2normal #enhance #imagerestoration
5👍1🔥1
Дайджест интересного о чем не успел написать отдельным постом

Free AI background remover: бесплатное удаление фона онлайн от Adobe #backgroundremoval

MANUS: хайповый автономный агент (записаться в вейтлист) для выполнения задач на компе, собранный из 29 инструментов. Есть расширения Chrome и Edge, аппки Android / IOS и приложения для ПК но бесплатно они мало что могут #agent

ANUS: MANUS клонировал сам себя в опенсорс #agent

OpenManus: ANUS, но рабочий. спасибо @Qwinty

Mirage от Captions: генератор видеоблогеров. За ваши $199 генерит и шевелит поясной портрет, а не только голову

Pika: добавили эффекты для превращения в ребёнка, героя, принцессу, или музейный экспонат. Pikaswaps и Pikadditions теперь генерят в 1080p. #image2video

WAN effects/LoRAs: тем временем подобные же эффекты в опенсорсе #image2video

SkyReels: добавили липсинк к своему генератору видео. Демо. #lipsync

FLARE: получение новых видов сцены или её 3D геометрии из несшитых рандомных фоток. Код / Демо #image2mesh #novelview #imageto3d

CTRL-D: редактирование видео промтом. Код #videoediting #video2video

Ideogram: выпустили Ideogram 2a и версию Turbo, для более быстрой и дешевой генерации картинок. Также улучшились тексты на них. #text2image

Light-a-Video: для релайтера видео появилось ComfyUI #relighting #comfyUI

Tight Inversion SDXL: редактирование картинок промтом. #imageediting
👍7🔥31
This media is not supported in your browser
VIEW IN TELEGRAM
LightLab: Controlling Light Sources in Images with Diffusion Models

Гугл в соавторстве создали модель для управления видимыми источниками света на изображениях. Увы кода нет. На сайте проекта можно интерактивно потыкать картинки

#relighting
👍111🔥1
Media is too big
VIEW IN TELEGRAM
Light of Normals: Unified Feature Representation for Universal Photometric Stereo (LINO-UniPS)

Высококачественное восстановление нормалей поверхности объектов при произвольных условиях освещения, не полагаясь на конкретные модели освещения

Разрешение 4K, уровень точности 3D сканера

Код
Демо

#normal #relighting #image2normal
👍61🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
UniRelight: Learning Joint Decomposition and Synthesis for Video Relighting

Релайтинг от Nvidia.
Помимо прочего умеет учитывать прозрачность объектов.

Код ждем

#relighting #research
🔥1411👍1
Harmonize

В фотошопе обновки.
Во-первых конечно Harmonize. Этот инструмент вписывает объект в фон по свету. В прошлом году его представили под названием Project Perfect Blend

Generative Upscale увеличивает разрешение изображений до 8 мегапикселей без потери качества.

Инструмент Remove тоже обновили.

#relighting #upscale #inpainting #objectremoval #imageediting
👍81
💡LightSwitch💡: Multi-view Relighting with Material-guided Diffusion

Изменение освещения на изображениях (релайтинг) с учётом свойств материалов объектов.
Пишут что побили #SOTA

Обрабатывает любое количество входных изображений, собирая информацию о материалах.
Пока дело доходит до релайтинка данные уже превращаются в сцену на гауссианах. И на выходе тоже гауссианы.
А там видимо рендерите чем хотите.

Авторы тестировали на A100

Код

#relighting
👍61