Пол МакКартни объявил о выходе в этом году новой песни Beatles с голосом Джона Леннона. Голос восстановили при помощи ИИ с какой-то демо-записи

DeepFaceLabClient

Графический интерфейс для DeepFaceLab - той самой программы для изготовления дипфейков. Пока ещё сырой

#deepfake

Современное искусство выглядит так: на ПМЭФ-2023 Сбер показал своего робота-художника, который рисует крутые картины.

Внутри Kandinsky 2.1, который используется для создания изображения-основы. Затем набросок превращается в векторный рисунок, а другой ИИ превращает все это в команды для движения манипулятора.

Ждем выставку работ робо-художника.

Помянем профессию учителя: стартап Syntesis показал, как в будущем дети будут учить математику.

Никаких тебе криков, только терпеливый ИИ-учитель и крутые интерактивные задания, которые в игровой форме научат точной науке.

Можно записаться в бету или потыкать демо, оно очень крутое.

Вот это новость от AMD! Как долго я этого ждал.

AMD наконец вступила в Deep Learning игру и показывает серьезную заявку пошатнуть монополию NVIDIA на рынке AI чипов.

Сегодня они представили новую видеокарту для обучения и инференса нейронных сетей — AMD MI300X.

Эта крошка вполне может тягаться с Nvidia H100.

Вот её характеристики:
— 192 Gb VRAM на одном чипе, (против 80Gb у H100, NVL версия не в счёт)
— 5.2Tb пропускная способность памяти (против 3.35 y H100)
— Бенчмарков по скорости пока нет, но одна Mi300X легко тянет 40B языковую модель Falcon в риалтайме (см на видео). Это первая видеокарта, которая вмещает модель такого размера полность в своей памяти.

Ещё (это очень важно) AMD договорились с Pytorch Foundation о том, что их софтовый стэк ROCm и все обновления будет поддерживаться и сразу запиливаться в Pytorch 2.0. То есть теперь гонять сети на картах AMD станет также легко как и на гпу от Nvidia! Это чудесные новости!

@ai_newz

Colab MusicGen с простым интерфейсом, но без очереди как на HuggingFace

После появления Mubert мы все ждали новых инструментов с генерацией музыки в опенсорсе. MusicGen классный релиз, но к нему непросто добраться на HF и возможности были ограничены, вариант без интерфейса тоже нравится не всем.

Можно вставлять мелодии как референс, можно генерировать до двух минут музыки.

Сгенерировала без референта славянскую фольклорную песню о любви, по-моему здорово и достаточно качественно вышло!

Инструкция по запуску тут

За ссылку спасибо St Laurent Jr

RERENDER A VIDEO: ZERO-SHOT TEXT-GUIDED VIDEO-TO-VIDEO TRANSLATION

Недолго музыка Gen-1 играла.
Модель #video2video совместимая с ControlNet и LoRa!
Работает в два этапа: перевод ключевых кадров и полный перевод видео.

В первой части используется адаптированная диффузионная модель для генерации ключевых кадров с иерархическими межкадровыми ограничениями, применяемыми для обеспечения согласованности форм, текстур и цветов. Вторая часть распространяет ключевые кадры на другие кадры с учетом временного соответствия патчей и смешивания кадров. Наш фреймворк обеспечивает согласованность глобального стиля и локальной текстуры во времени при низких затратах (без повторного обучения или оптимизации).

Кода нет. Когда его опубликуют, станут ненужны Deforum, Warpfusion, Gen-1. Да и Gen-2 тоже. Впрочем, пророк из меня - так себе. Демо тоже нет. Но зайдите на сайт, там есть что посмотреть

#text2video #video2video

Neural Scene Chronology

Реконструкция 3D-модели изменяющихся во времени достопримечательностей по интернет-фотографиям. На выходе фотореалистичные изображения с независимым контролем ракурса, освещения и времени, крупномасштабных достопримечательностей.

Мы предлагаем новое представление сцены с временной пошаговой функцией, который может моделировать дискретные изменения содержимого на уровне сцены в виде постоянных функций по частям с течением времени. В частности, мы представляем сцену как пространственно-временное поле яркости с встраиванием подсветки для каждого изображения, где временные изменения сцены кодируются с использованием набора изученных пошаговых функций. Мы также собираем новый набор данных из четырех сцен, которые демонстрируют различные изменения с течением времени.

Код еще не выложили

#imageto3D #image2scene

🎨 Adobe анонсировала Generative Recolor — первую интеграцию своего инструмента искусственного интеллекта Firefly в Illustrator, который позволяет пользователям «экспериментировать с цветами, используя простые текстовые подсказки».

- Adobe анонсировала Generative Recolor — первую интеграцию своего инструмента искусственного интеллекта Firefly в Illustrator, который позволяет пользователям «экспериментировать с цветами, используя простые текстовые подсказки».

Вы можете передать свои идеи — например, «полдень в пустыне» или «полночь в джунглях» — в Generative Recolor, и он автоматически применит соответствующие цвета к сложной векторной графике.

Generative Recolor доступен в бета-версии.
• Подробнее

А вот и "цифровой ученик Жириновского" с ПМЭФ.

там есть еще одно видео, его я сюда не буду постить

Metahuman Animator официально вышел 🔥

Когда на презентации Unreal Engine продемонстрировали этот инструмент, мы отнеслись к нему со скепсисом… Самое время проверить!

Среди его возможностей:

• Захват лицевой анимации из видео, где достаточно камеры iPhone.
• Возможность вносить творческие корректировки.
• Несколько минут на обработку на локальном устройстве для получения результата.

Если всё правда, то вскоре Animator станет незаменимым в нашей работе.

P.s. Для установки необходимо обновить плагин Metahuman Creator, а также движок Unreal Engine до версии 5.2. Этим мы сейчас и займёмся 🤸

Новости 3D, аватаров и метавселенных — подписаться!

Произошел очередной отвал жепы башки на поприще ИИ-ассистентов!

Даем на входе видео с ютуба, скриншот из дискорда, и говорим: я вот дошел до этого шага на видео, покажи на скриншоте, куда мне кликать дальше.

Агенты ищут в видео кусок, описанный юзером, смотрят, что идет дальше, ищут нужный кусок скриншота.

Какой простор для оптимизации техподдержки, 99% работы которой сводится к совместному чтению уже существующих мануалов вместе с юзером.

Hold on to your jobs papers, what a time to be alive intensifies

Магия, да и только!

paper
tweet