Сравнение 10 ИИ-ассистентов кодера

Наверняка предвзятое в какой-то мере, потому что составлено командой CodiumAI, и они поставили себя на 2 место, сразу после Copilot.

* GitHub Copilot
* Codium
* Tabnine
* MutableAI
* Amazon CodeWhisperer
* AskCodi
* Codiga
* Replit
* CodeT5
* OpenAI Codex
* SinCode

#shootout #comparison #coding

AG3D: Learning to Generate 3D Avatars from 2D Image Collections

Создание 3D аватара человека по набору изображений.
В сравнении с EVA3d дает хорошую геометрию даже по бокам и текстуры без артефактов (см полное видео). Результат пригоден для анимации

Код
Полное видео, 4 минуты

#imageto3D #image2avatar #humanavatar #3Davatar #humananimation

Zero2Story

Занятный комплексный демоспейс для создания историй.
По шагам проводит вас через настройку персонажей, жанр, сеттинг и т. д. На выходе рассказ с картинками и каким-то звуком.

#text2story #tools #assistant

Zero123++: a Single Image to Consistent Multi-view Diffusion Base Model

Диффузионный генератор новых ракурсов по одному изображению

Код
Демо (официальный)
Демо2
Колаб

#novelview #image2image

DreamCraft3D: Hierarchical 3D Generation with Bootstrapped Diffusion Prior

Генератор 3D моделей по одному изображению. Хвастаются хитростями, к которым пришлось прибегнуть чтобы результат выглядел хорошо. Но пусть покажут сетку)

Код обещают выложить

#imageto3D

GPT Engineer

ИИ-программист, пишет всю кодовую базу по текстовому заданию. Умеет переписывать ваш имеющийся код. Можно установить локально. Для работы требуется API ключ OpenAI или локальная языковая модель.

Код

#coding #text2code #code2code

Pegasus-1

Какое название подойдет чтобы конкурировать с Eleven Labs? Правильно, Twelve Labs. И вот они объявляют (твиттер) о релизе своей базовой модели преобразования видео в текст. Уверяют что их модель анализирует именно видеоданные. Аудио и речь, конечно, тоже.

Записаться в вейтлист

#video2text

ChatGPT теперь поддерживает работу с файлами (загружай PDF и задавай вопросы) и совмещение разных модальностей в одном чате (может рисовать картинки, гуглить, писать и исполнять код в одном чате).

Для большинства это шок, потому что их стартап идея была разбита о быструю доставку качественного продукта команды OpenAI с инженерами за $600к в год.

Дабы предупредить будущий шок, давайте сразу обсудим, что ChatGPT выкатит в следующих версиях:

- подключение своих данных: Gmail, slack, WhatsApp
- общение в едином чате, который помнит все о вас. по сути - разговор с ассистентом.
- возможность соединять цепочки действий и плагинов (агенты)
- маркетплейс плагинов с монетизацией и курацией (curation, если на человеческом)
- полная мультимодальность: на вход видео, на выход голос; на вход музыку, на выход видео; на вход excel на выход диаграммы
- проактивный ИИ: сам поймёт когда и что у вас спросить или вам рассказать
- у каждого пользователя персональная модель, обученная на последних годах диалога (каждому — свою LoRA)

Coqui + Bark Voice Cloning

Демоспейс для клонирования голоса по 20-секундному образцу снова работает. Можно сохранять голоса. Даже умеет несколько коряво говорить по-русски. Возможно, если ему скормить русскоязычный образец, будет получше.

Демо

#voicecloning #text2speech

Real-Time Latent Consistency Model

👞туц-👞туц-👞туц-👞туц
дальше музыка должна сама запуститься в голове
Стилизация видео в браузере «в реальном времени». У меня вышло чуть быстрее 1 fps.
А все дело в Latent Consistency Model

#video2video #realtime

FastSD CPU

И еще про Latent Consistency Model, полезная штука, оказывается.
StableDuffusion на процессоре, без GPU

Скачать бета-релиз здесь
Гитхаб - здесь в том числе и инструкция по установке

#text2image

Unity + StableDiffusion = варьирование текстур.
Текстурирование обратной стороны в разработке.

реддит

#text2texture

Wonder3D: Single Image to 3D using Cross-Domain Diffusion

Генератор 3D моделей по одному изображению.
Применен известный уже трюк с заходом на 3D через карту нормалей. Делают это многократно для получения пачки ракурсов, из которых уже восстанавливают текстурированный меш.

Тест Бендера на ракурсах проходит очень неплохо! (кину в комментарии). А меш демка не делает, к сожалению

Код
Колаб
Демо

#imageto3D