Бегло потестил Sad Talker, скрипт для оживления портретов, который недавно появился в виде расширения для Автоматика. По большому счёту это тот же Thin Plate, выдающий видео размером 256x192, но с дополнительным апскейлом и восстановлением лиц.

Авторы утверждают, что результат настолько реалистичный, что им пришлось добавить вотермарк. Правда у меня случился какой-то глюк и файл sadtalker_logo.png в папке extensions/SadTalker/docs почему-то заменился на пустую прозрачную пнгшку, и вотермарк пропал (знаю, знаю, странное дело с этими багами).

Ну а по впечатлениям:
- Голос нужно отдельно обрабатывать, нормализовывать и компрессировать, иначе рот может открываться не до конца.
- В целом как будто нормально выглядит, но разрешение всё портит.
- Лучше работает с реалистичными изображениями.
- Параметров в Автоматике кот наплакал, при том, что сам скрипт позволяет настраивать многое.
- Установка забагованная, мне пришлось вручную скачивать модели и копировать их в папку.
- Пофиксили. В правильную папку результат не записывает, надо смотреть в папке Results.
- Нужен установленный ffmpeg.
- Пофиксили. Для запуска требует ключ --disable-safe-unpickle, к тому же (надеюсь ложно) некоторые антивирусы находили трояна в файлах с весами. Если вы не такой рисковый, чтобы доверять китайцам, лучше дождитесь пропатченной версии.

https://github.com/Winfredy/SadTalker

#sadtalker #анимация