До двух раз быстрее

Или как очень долго запрягать и более-менее быстро ехать за новыми дровами от Nvidia

2 дня назад Nvidia прямо на сайте у себя написала, что с новыми драйверами версии 545.84 Stable Diffusion будет работать до 2х раз быстрее*.

* Только на видеокартах серии RTX (потому что ускорение происходит за счет задействования тензорных ядер) и при условии установки специального аддона для Automatic1111.

Оказалось, что в отличие от практически всех остальных аддонов для авто11, установить его практически невозможно. Он устанавливает 210 (карл) пакетов зависимостей через PIP, делает это так долго, что люди думают, что установка просто зависла. Некоторые из них он установить не может по той или иной причине, конфликтует с уже установленными пакетами и т.д. В общем, на гитхабе за 2 дня набралось уже больше 50 тем с проблемами (issues).

Второй и главный подвох в том, что для каждой комбинации чекпоинта, размера изображения и размера бэтча надо предварительно генерить специальный тензор-движок, на что уходит 5-10 минут. При этом это все еще и не работает с контрол нетом, под лоры надо тоже делать движки, SDXL не поддерживается, и ломается Highres Fix.

На реддите ребята, которые все же смогли все это запрячь, говорят об ускорении от 20 до 70%. Т.е. это может быть оправдано, если собираешься генерить огромную партию однотипных изображений.

Я для себя пока что решил, что я не так много генерю, чтобы можно было оправдать объем необходимой мордовни. Надеюсь, технология будет развиваться, и станет проще и удобнее в использовании.

Stability AI радует плюшками. Недавно выпустили Stable Video Diffusion, бесплатный аналог Runway и ему подобным, вот только что показали SDXL, который генерит в реальном времени, пока печатаешь промпт.
Попробовать можно на Clipdrop.
К сожалению, бесплатные попытки кончаются так же быстро, как он выдает картинки, но к счастью, это все же Stability AI, так что модель уже доступна бесплатно на Huggingface. Ждем минут 15, пока кто-ниубдь ее не прикрутит к Automatic1111 и к Comfy.

Раньше меня мало интересовала анимация в нейронках, но анимация - это логическое развитие статического изображения, как кино развитие фотографии. В общем просидел весь день в Comfy UI с логотипом любимой студии.
По-моему вышло неплохо.

Продолжаю рассказывать про любимый софт, не реклама, если что.

На этот раз Anki — это чит в реальной жизни на бесконечную память.

Я считаю, что, учить, например, языки без Анки — это все равно, что ползти в другую страну на четвереньках, а с Анки — лететь на самолете. И при этом учить не обязательно языки, можно учить что угодно, что требует запоминания большого объема информации. Анки невероятно популярна среди американских студентов-медиков, которым все время нужно заучивать огромное количество фактов из разных сфер.

Анки работает на принципе интервального повторения, о нем очень наглядно рассказывает вот эта интерактивная страница.
Недавно в Анки добавили FSRS. Это новый алгоритм, который вычисляет оптимальное время для повторения каждой карточки. Старый алгоритм был разработан в 1987 году. Даже он был эффективнее простой зубрежки во много много раз. Новый алгоритм принимает во внимание больше факторов и сводит к минимуму бесполезные повторения материала, который вы и так неплохо помните. Т.е. главная цель — учиться меньше, запоминать лучше. Вчера вышел отличный видос от самого авторитетного эксперта по Анки, в котором он рассказывает про новый алгоритм и показывает оптимальные настройки программы.

Анки есть на Андроид и iOS. Вполне в духе этих платформ, Анки на андроид скачивается с гитхаба в виде альфа версии (только в ней пока есть FSRS, но версия вполне стабильная, несмотря на пометку альфа), а на iOS Анки просто стоит 25 баксов. Все остальные версии бесплатные. Есть также бесплатный сервис AnkiWeb для синхронизации коллекции между компом и телефоном. Повторять карточки однозначно удобнее на телефоне, но следить за коллекцией — на компьютере.

Также Анки — это не Дуолинго, в нем нет заранее зашитых курсов. Вы либо создаете нужные карточки самостоятельно, как обычные бумажные флэш-карточки, либо скачиваете колоды, созданные сообществом. Их также выкладывают на AnkiWeb. В разделе Russian, кстати, много колод не только для изучающих русский, но и для тех, для кого русский язык родной.

Приглашаю вас в Dead&Breakfast - леденящий душу отель для монстров, ведьм и мифических существ!


Это моё первое нейровидео 💫
Завела канал на ютубе - там тоже можно посмотреть.

Генерации - Minimax
Музыка - Suno
Звук - FreeSound
Озвучка - ElevenLabs
Монтаж и цветокор - DaVinci

Я, мягко говоря, давно не постил ничего, конечно, из-за нехватки времени. Не знаю, буду ли я когда-нибудть продолжать регулярно постить тут. Пока что приглашаю всех в Ксюшин канал из предыдущего поста, можно сказать, что это идейное продолжение этого канала. ) Она также пишет про нейронки, про работу в CG сфере, и немного про то как, работая там, не поехать кукухой.

Это один из лучших советов по блендеру, что я видел. Как никогда не выключать face orientation. Не могу не поделиться.

И как включить отображение флипнутых нормалей по умолчанию.

Вчера был просто парад планет для видеонейронок, поэтому просто невозможно не восстать из мертвых ненадолго и не поделиться новостями.

1. Ксюша завела твич и провела свой первый стрим. Рассказала про все основные нейроночные сервисы всех видов: текст, картинки, звук, видео. Что для чего хорошо, что сколько стоит, на что стоит подписываться. Пришло много народу, и все прошло супер. Стрим получился длинный 3:40, Ксюша сказала, что порежет на логические части и выложит запись на ютуб.

2. lllyasviel, легендарный разработчик из ИИ сообщества допилил Hunyuan Video и сделал Frame Pack. С его помощью можно оживлять картинки локально на видюхе от 6 гб видеопамяти. Т.е. буквально на многих ноутах будет работать. И вторая киллер-фича, что можно генерить почти сколько угодно длинные видео. Что интересно, генерит он как-то с конца к началу. На 4090 1 сек видео генерится где-то минуту, на 4070ti - 2 - 2,5 минуты. Разрешение 512x768 и сразу в 30 фпс. Есть сборка на Pinokio для легкой установки (но почти 50 гб придется скачать). Kijai, другой легендарный разработчик уже прикручивает это дело к комфи.

3. Обнова LTX видео, которая позволяет генерить видео очень быстро. Буквально за секунды. Некоторые картинки во Flux генерятся дольше. И качество нормальное вроде.

4. Wan выпустили новую модель, которая позволяет указать первый и последний кадр. Потенциально можно будет делать прикольные длинные цепочки из ключевых кадров. Модель 720p, ждем прикручивания к комфи, квантованных вариантов и т.д.

5. Не новость, но если вы хотели попробовать Wan video, но не знали как, очень советую вот этот воркфлоу. Там парень основательно подошел. Есть подробная инструкция по использованию, скрипт для автоустановки комфи и всего необходимого. Есть разные модели под разный объем видеопамяти. Генерится достаточно быстро и качество хорошее. Советую заморочиться и поставить Sage attention по отдельной инструкции, чтобы еще быстрее было. Есть прикольные лоры, точнее одна, которая позволяет делать из картинки 360 турнтейбл, например.

После недавнего Ксюшиного стрима про 3д нейронки, многие снова спрашивали, как поставить Hunyuan3d локально. Решил записать коротенький видос, в котором показываю подробно весь процесс.
Ссылки на ресурсы:
https://git-scm.com/
https://github.com/comfyanonymous/ComfyUI
https://github.com/Comfy-Org/ComfyUI-Manager
https://github.com/kijai/ComfyUI-Hunyuan3DWrapper
https://civitai.com/models

Я несколько лет назад столкнулся с тем, что надо было работать в ACES в блендере, но нормального решения для этого не было. В итоге я сделал конфиг для блендера с поддержкой цветовых пространств и вью-трансформов ACES, выложил бесплатно на гамроуде: https://alphyn.gumroad.com/l/OscarBlend
Судя по статистике, до сих пор этот конфиг скачивают, и на профильных форумах, реддите и т.д. продолжают задавать на эту тему вопросы.
В честь этого я обновил сам конфиг, пофиксил пару багов, сделал установку проще, и главное, записал видос про то, как всем этим пользоваться. Загрузил его на YouTube, чтобы можно было нагуглить, т.к. я в свое время нормального видоса на эту тему так и не нашел.
Вообще все это нужно и потому, что приходится иногда работать в нормальном пайплайне, где есть общий контроль над цветом, и чисто для себя прикольно иметь какое-то подобие системы общего цветового пайплайна. Чтобы в каждом софте не было новых неожиданных и удивительных цветов.
В видео показываю только самые основы, чтобы начать работать. Конечно, про это книги есть толстенные и можно вообще всю жизнь изучать.
https://youtu.be/9vELTAnxWP0?si=He9DYgoVoIj58J-l

Я когда-то давно делал пост про то, как в простом StableDiffusion генерить в 4к с добавлением деталей, запостил это также на реддит. И хотя сама картинка была скорее как технический тест, какой-то человек нашел меня и попросил разрешение распечатать и повесить ее на стене у них в студии. )) Мелочь, а приятно.