Dreams and Robots
3.06K subscribers
120 photos
20 videos
1 file
67 links
ИИ на практике или "мама, а меня тоже заменят?"
加入频道
Каждый раз, когда выходит новая модель для генерации изображений, я первым делом пытаюсь сгенерировать Cyberpunk city at night from above, чтобы посмотреть, как она справляется с окнами.

Так вот, рекламируемая из каждого утюга Dalle-3 этот тест не проходит и, как будто, ничего кардинально нового не привносит.

Попробуйте меня переубедить в комментариях.

https://www.bing.com/images/create/

#dalle
👍24😁6👎2🤨1
А вот что в Dall-e 3 действительно хорошо, так это работа с запросами. В Stable Diffusion очень сложно избавиться от утечки цвета, когда в одном запросе перечисляешь разные цвета.

Возьмем такой промпт: Girl with red hair, blue eyes, wearing green jacket with brown tie. В Стейбле у вас будут появляться синие галстуки и красные куртки. А Dall-e 3 отлично справился.

#dalle
👍42
В ChatGPT постепенно выкатывают DALL-E 3 для пользователей с подпиской.

Больше не нужно мучаться с промптами, запоминать стили и художников. Достаточно в общих чертах описать по-русски, что тебе нужно, а GPT4 уже сам преобразует это в подходящий запрос и довольно шустро сгенерирует картинку. При этом можно продолжать чат и просить что-то переделать или дополнить.

#chatgpt #dalle #gpt4 #openai
🔥31👍6🫡6
А ещё использование языковой модели в качестве интерфейса позволяет общаться с Dall-E, как с обычным дизайнером. Только Dall-E быстрее работает и меньше выделывается.

Например, вам нужна карикатура. Можно прямо по-русски в общих чертах сформулировать задачу. Под капотом GPT4 придумает четыре сюжета и для каждого сгенерирует свою картинку, причём сюжеты будут конкретными и детальными, в стиле "черноволосый человек сидит за компьютером, на экране видно то и сё...".

Потом вы можете попросить переделать конкретную картинку: изменить стиль, палитру, добавить-убрать предметы или героев, вставить надпись, поиграть шрифтами, ну, вы понимаете, побыть заказчиком.

Как и с мясным дизайнером результат не всегда предсказуем, и Stable Diffusion со своими инпейнтами и контролнетами всё ещё рулит. Но сам процесс такой работы над картинкой и поиска идей гораздо удобнее и понятнее интерфейса Автоматика.

#dalle #gpt4
🔥39👍31
Media is too big
VIEW IN TELEGRAM
Ну что, я потестил обновлённый API от OpenAI.

1. Из кода через GPT4 сгенерировал шесть описаний последовательности кадров на заданную тему.

2. По ним в Dall-e 3 сгенерировал картинки.

3. По картинкам в GPT4 Vision создал поэтичный текст.

4. Сгенерировал дикторский голос в OpenAI TTS. Эти пункты полностью автоматизированы.

5. Засунул картинки в Gen2 и создал видео (пока вручную).

6. В локальном Audiocraft сгенерировал музыку (если это можно так назвать).

7. Профит


Выводы:

- Для чистоты эксперимента я ничего отдельно не редактировал и не перегенерировал. Если добавить минимальный человеческий ввод, то можно добиться лучших результатов. Единственное, я наложил на видео немного шумов, потому что могу.

- Голос у OpenAI самый лучший из тех, что я слышал. Но у него плохо с ударениями в русском языке. Сложные слова: "мореплавателю", "гавани", "пенистый", "зову".

- Мы всё ближе к полностью автоматической генерации комплексного контента без лишней прослойки в виде человека.

#openai #gpt4 #dalle #gen2
🔥49👍132🥰1💩1
Media is too big
VIEW IN TELEGRAM
А теперь обратный процесс. Видео из текста с помощью OpenAI API.

1. Сгенерировал закадровый голос.

2. По его хронометражу определил, сколько нужно кадров.

3. В GPT4 создал JSON с нужным числом промптов для этих кадров.

4. Скормил их Dall-E 3 и получил картинки. До этого пункта всё автоматизировано. Подаёшь на вход текст, получаешь закадровый голос и секвенцию кадров.

5. Gen-2 для генерации движения (вручную).

6. Отказался от Audiocraft и сделал звук по старинке.

Пока что самое слабое звено в этой цепи - это Gen-2, который сильно портит картинку. Надеюсь, следующие версии будут работать лучше, и добавят API.

Сгенерируй 10 мультфильмов хронометражом 2 минуты в стиле Миядзаки, добавь закадровый голос и мрачную музыку. Выложи на Youtube с оригинальным названием и описанием.

#openai #gpt4 #dalle
🔥32👍5💩2😁1🤔1🥴1