Re-tell.ai

Сервис генерации речи NPC.
Фишка - эмоции можно прописывать текстовым промтом.
Запуск бета-тестирования через неделю.

реддит
Записаться в вейтлист

#text2speech #tts #text2voice #text2emotion #voice

HierSpeech++: Bridging the Gap between Semantic and Acoustic Representation of Speech by Hierarchical Variational Inference for Zero-shot Speech Synthesis

Генератор речи из текста по короткому заданному образцу. Воспроизводит не только индивидуальный голос, но и эмоции с интонациями.

Пока только английский язык, скоро сделают мультиязычную версию.

Код
Демо

#text2speech #tts #text2voice #text2emotion #voice2voice #speech2speech #voicecloning

ComfyUI Stable Diffusion Video

ComfyUI теперь поддерживает Stable Diffusion Video и при этом инференс влезает в 8GB VRAM, что позволит генерить даже на T4.

Некоторые пояснения к параметрам:
— video_frames: количество генерируемых видеокадров. (В зависимости от моделей от 1 до 24)
— motion_bucket_id: чем выше число, тем больше движения будет в видео.
— fps: чем выше частота кадров, тем менее прерывистым будет видео.
— augmentation level: количество шума, добавляемого к начальному изображению. Чем оно выше, тем меньше видео будет похоже на исходное изображение. Увеличьте его для большего движения.
— VideoLinearCFGGuidance: этот узел немного улучшает выборку для этих видеомоделей, он линейно масштабирует cfg по разным кадрам.

Качество генераций очень нравится, еще бы поддержку ControlNet и Lora, и станет заменой AnimateDiff.

Если возникнет ошибка при генерации связанная с xformers, то при запуске добавить параметр:
--use-pytorch-cross-attention

В комментах скидываю два .json для ComfyUI.

ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs

LoRA на стероидах от Google Research. Метод, позволяющий эффективно объединять LoRa объектов и стилей чтобы генерировать любой объект в любом стиле.

Авторы не поделились кодом, но уже есть неофициальная версия от умельцев

Код (неофициальный)

#finetuning #text2image

Breathing Life Into Sketches UsingText-to-Video Priors

Нейронимация svg по текстовому промту от NVIDIA.
Из ограничений: умеет анимироват ьтолько один объект. Кроме того, модель обучена на одном конкретном стиле эскизов, и в остальных стилях не стоит ожидать хороших результатов. В будущем собираются это починить.

Код обещают выложить

#sketch2video #image2video #vector2video

Рисуем вместе с нейронкой - прямо в GitHub Codespaces

Бывает, нужно быстро сделать зарисовку идеи или просто хочется порисовать. К несчастью, в художественом плане у меня руки-крюки и вместо красивостей, обычно получается абстрактный экспрессионизм. Сегодня я обнаружил рабочий workflow, благодаря которому скетч не стыдно будет показать кому угодно.

Записал подробную инструкцию, как запустить рисовалку Draw-Fast на Github CodeSpaces. Кстати у них уже почти 500 звезд на гитхабе.

Открываем их гит, наводим на кнопку Code <> в правом верхнем углу и выбираем вкладку Codespaces.

Дальше создаем новый Space, копируем команды из верхнего окошка в нижнее (терминал) и нажимаем Open in Browser.

Ура - вы прекрасны и теперь можете насладиться процессом рисования вместе с нейросетью.

CollageRL. Neural Collage Transfer: Artistic Reconstruction via Material Manipulation

Генератор коллажей, собирает заданное изображение из газетных вырезок.

Код

#image2image #image2collage

На полках уже начали появляться товары с нейросетевым артом

Если раньше китайцы просто неправильный текст на английском писали, то теперь просто не будут проверять за нейронкой

Ты еще не научился делать ровную, аккуратную сетку, а Mesh GPT уже взяли на работу.

Что интересно, генерации происходят на базе LLM-модели, обученной на выборке с готовыми моделями. При разработке стремились добиться схожих результатов с тем, как обычно художники производят этап Lowpoly.

И тут я вижу проблему вот в чем. С одной стороны, цель благородная: облегчить, автоматизировать один из этапов производства. С другой, этот этап настолько заебистый, и столько входящих параметров нужно учитывать, чтобы действительно по требованиям сделать эту лоупольку, что, казалось бы, нет смысла это автоматизировать.

Т.к. помимо пайплайна Lowpoly+bake существуют и другие: мидполи, с фасками, без фасок, через USD с сабдивами, nanite и другие, которые, как я очень надеюсь, вытеснят со временем все остальные. Пока что я вижу, что так и происходит, проблема только в том, что не все движки нативно поддерживают эту технологию.

Пока алгоритм оптимизируют и доведут до потребностей реального продакшена, переход уже произойдет.

Если с самим принципом построения мы разобрались, то сама идея генерации через LLM дает куда более точные результаты, чем через те же поинтклауды. Грани мы имеем более четкие, что важно для хардсерфейс объектов. Тут под хардсерфейс я имею в виду любые твердотельные объекты, включая мебель, тоже туда же, не органические формы в целом. Вопрос только в том, может ли этот подход также эффективно работать с более органическими формами.

Читать подробнее
Видео

LittleTales.co

Генератор историй.
На вход нужно одно селфи, короткое описание и опционально сюжет.
Под капотом StableDiffusion

На старте дают 20 кредитов, чего не хватает даже закончить одну историю с картинками.

Впрочем, можете написать автору на реддите что кредитов мало. Если будет много таких коментов, может кредитов добавят.

Доктор Зло возрождает динозавров

#image2story #story

FlowZero:Zero-Shot Text-to-Video Synthesis withLLM-Driven Dynamic Scene Syntax

Очередной генератор видео по тексту. Но на согласованность во времени здесь работает большая языковая модель (#LLM), подробно синтаксически описывая объекты, движение, сцену, фон и т д.

Код обещают выложить

#text2video

SketchVideo

Переводит видео в анимированный эскиз. Авторы что-то пишут про открытие возможностей редактирования видео на основе эскизов.

Наконец можно сделать свой Take on me

Код

#video2video #video2sketch