Кроме шуток, есть такой курс от Эндрю Нг, профессора Стэнфорда, соучредителя и бывшего руководителя Google Brain. Если что, этот тот человек, чей курс по Deep Learning держится топе Coursera уже много лет. OpenAI тоже приняла участие при разработке курса. Учат промпт инженерингу – включая промпт-программирование, это когда LLM учат использовать инструменты вроде плагинов и других API.

https://www.deeplearning.ai/short-courses/chatgpt-prompt-engineering-for-developers/

🦿Avatars Grow Legs: Generating Smooth Human Motion from Sparse Tracking Inputs with Diffusion Model

Друзья, спешу поделиться с вами своей статьей на CVPR 2023! Я написал ее со своим интерном в Meta Reality Labs до того, как мы перешли в GenAI.

Метод называется Avatars Grow Legs (AGRoL), и смысл его в том, чтобы научиться управлять всем телом 3D аватара в VR без дополнительных сенсоров. Обычно в VR вы пользуетесь шлемом и двумя джойстиками в руках. При этом сигнала с ног не поступает никакого. И даже несмотря на то, что в Quest есть камеры которые направлены вниз, ноги почти никогда полностью не видны, и уж тем более если у вы человек широкой кости.

Поэтому мы предложили своё решение — диффузионную модель, которая по трекингу рук и головы синтезирует движение всего тела в 3D. То есть по глобальной 3D позиция и 3D повороту трех точек можно предсказать как двигаются ноги, даже явно их не наблюдая.

❱❱ Мы опубликовали код и веса, так что можете позапускать сами.
❱❱ arXiv
❱❱ Сайт проекта с примерами

@ai_newz

NeRF + SD + ControlNet + EbSynth

реддит

AUTOMATIC1111 обновился до версии 1.1.0

Features:

- switch to torch 2.0.0 (except for AMD GPUs)
- visual improvements to custom code scripts
- add filename patterns: [clip_skip], [hasprompt<>], [batch_number], [generation_number]
- add support for saving init images in img2img, and record their hashes in infotext for reproducability
- automatically select current word when adjusting weight with ctrl+up/down
- add dropdowns for X/Y/Z plot
- setting: Stable Diffusion/Random number generator source: makes it possible to make images generated from a given manual seed consistent across different GPUs
- support Gradio's theme API
- use TCMalloc on Linux by default; possible fix for memory leaks
- (optimization) option to remove negative conditioning at low sigma values #9177
- embed model merge metadata in .safetensors file
- extension settings backup/restore feature #9169
- add "resize by" and "resize to" tabs to img2img
- add option "keep original size" to textual inversion images preprocess
- image viewer scrolling via analog stick
- button to restore the progress from session lost / tab reload
Minor:

- gradio bumped to 3.28.1
- in extra tab, change extras "scale to" to sliders
- add labels to tool buttons to make it possible to hide them
- add tiled inference support for ScuNET
- add branch support for extension installation
- change linux installation script to insall into current directory rather than /home/username
- sort textual inversion embeddings by name (case insensitive)
- allow styles.csv to be symlinked or mounted in docker
- remove the "do not add watermark to images" option
- make selected tab configurable with UI config
- extra networks UI in now fixed height and scrollable
- add disable_tls_verify arg for use with self-signed certs
Extensions:

- Add reload callback
- add is_hr_pass field for processing
Bug Fixes:

- fix broken batch image processing on 'Extras/Batch Process' tab
- add "None" option to extra networks dropdowns
- fix FileExistsError for CLIP Interrogator
- fix /sdapi/v1/txt2img endpoint not working on Linux #9319
- fix disappearing live previews and progressbar during slow tasks
- fix fullscreen image view not working properly in some cases
- prevent alwayson_scripts args param resizing script_arg list when they are inserted in it
- fix prompt schedule for second order samplers
- fix image mask/composite for weird resolutions #9628
- use correct images for previews when using AND (see #9491)
- one broken image in img2img batch won't stop all processing
- fix image orientation bug in train/preprocess
- fix Ngrok recreating tunnels every reload
- fix --realesrgan-models-path and --ldsr-models-path not working
- fix --skip-install not working
- outpainting Mk2 & Poorman should use the SAMPLE file format to save images, not GRID file format
- do not fail all Loras if some have failed to load when making a picture

Плагин к Aseprite для пиксельарт-анимации

Записаться в список ожидания

#pixelart #animation

GeneFace++

Лицевая анимация на основе аудиозаписи.
Кода пока нет

#facialanimation #talkinghead #videoavatar #audio2animation #audio2video #speech2animation

Eleven Labs научилась переводить вашу речь на другой язык с сохранением голоса и интонаций

Я плохо понимаю по китайски, но похоже что Tencent запускает фабрику цифровых людей.

Приложение компании — DFaaS позволяет создавать дипфейки используя всего 3 минуты живого видео, 100 произнесённых фраз и $145. А готовый результат будет через сутки.

SD в качестве фильтра вебкамеры.
Стрим с камеры через TouchDesigner в режиме реального времени на стабильный Diffusion img2img. Повышение скорости с помощью фреймворка Meta AITemplate
Около 0.5-0.6 c на рендер одного кадра на 3090 ti

реддит

Бесплатный Kaiber все.

Мы решили временно отключить все бесплатные пользовательские творения на нашей платформе. Это решение было непростым, но необходимо обеспечить качество продукта мирового класса ценой вирусного роста. Определение приоритетов для нашей небольшой команды имеет решающее значение, и мы ценим ваше терпение.

Мы столкнулись с 10-кратным увеличением числа злоупотреблений бесплатной пробной версией и мошеннических рассылок спама по платежам, что побудило нас принять меры. Мы обнаружили мошенников, которые создавали видео, притворяющихся реальными пользователями, и это негативно сказалось на пользовательском опыте платных пользователей, отнимая драгоценное время графического процессора (что означает более длительное время ожидания и более медленную генерацию видео).

Мы предпринимаем шаги, чтобы повысить планку обнаружения мошенничества в Kaiber, и как можно скорее внедрим PayPal. Мы также приняли другие меры, которые не можем раскрывать публично, для защиты нашей платформы. и т д

Революционный редактор изображений от «flydog»

Здесь можно использовать готовые 3D модели в связке с текстовым запросом, рисовать кистью будущую генерацию, вырезать и встраивать объекты или текст в окружение.

— Бесплатная версия на ПК уже доступна, а через пару дней выйдет плагин для Photoshop.

@seeneuro

В Midjourney V5.1 встроили новую ИИ-цензуру промптов, которая срабатывает не только на отдельные слова, а на фразы и целые промпты

Например,
"Женщина расчесывает волосы щеткой перед соседним двором, в то время как по соседству полыхает огромный пожар, повсюду пожарные машины, дома в огне..." - такой промпт не прошел цензуру.

Юзеры на реддите грозятся не продлевать больше подписку на MJ

Люди с подпиской, поделитесь своими впечатлениями?

В ближайшем будущем каждый пиксель будет не отрендерён, а сгенерирован.

На будущем Siggraph Nvidia представит около 20 исследовательских работ. Конечно, большая часть будет посвящена нейронкам.

Пара моментов мне показалась очень интересными. Это нейронное сжатие текстур до 16 раз. Текстуры будут оставаться невероятно чёткими при меньшем занимаемом объёме. Сейчас, как известно, именно текстуры занимают большую часть дистрибутива.

Далее это нейронная физика для волос (пока для волос), работающая на предсказании движений: каждый волосок больше не рассчитывается отдельно, что тоже ускорит просчёт и добавит реализма.

И третье – это визуализация сложных, многослойных кинематографичного качества материалов в реальном времени.