Время вернуться к нашей основе, к нашей базе нейросетей. Но перед этим, если вы не знаете, что такое промпт, апскейл, модель и т.д., специально для вас у меня есть словарик тут, а также тут, здесь и здесь. Обсловариться можно.

Сегодня поговорим о том, какие бывают категории генеративных моделей. И начнём мы с самой простой и очевидной истории...

1️⃣Text-to-Text (Текст в текст, т2т) — модели нейронок, которые генерируют новый текст на основе введённого текстового запроса.

Примеры: Chat GPT, Gemini, Llama, Claude.

2️⃣Text-to-Image (Текст в изображение, т2и) — модели, которые создают картинки по текстовому описанию.

Примеры: Midjourney, DALL·E, Stable Diffusion, Imagen.

3️⃣Text-to-Video (Текст в видео, т2в) — модели, которые генерируют видео на основе текстового запроса.

Примеры: Runway, Pika Labs, Sora, Kling.

4️⃣Text-to-sound (Текст в звук) — тут, думаю, по аналогии понятно. Можно создавать как звуки для видео (такое пока встречала только в Pixverse), так и полноценные музыкальные композиции.

Примеры: Suno, Udio.

Далее модификации, эти модели обычно не существуют самостоятельно, а находятся внутри других систем.

5️⃣Image-to-Image (Изображение в изображение, и2и) — превращает одно изображение в другое, изменяя стиль, детали или улучшая качество.

Примеры: апскейлы разных сервисов, Stable Diffusion, Midjourney и т.д.

6️⃣Image-to-Video (Изображение в видео, и2в) — создаёт анимацию или видео на основе одного или нескольких изображений.

Примеры: Runway, Pika Labs, Kling.

7️⃣Image-to-text (Изображение в текст) — из загружаемой картинки можно получить её описание, например. промпт, чтобы сгенерировать максимально похожую пикчу.

Примеры: Chat GPT, Midjourney.

Как правильно составить текстовый запрос к нейросети? В галерее есть пример базового промпта, это изи. Всё, что отходит от этой базы — результат исключительно ВАШЕЙ практики и ВАШИХ задач.

Например, мы можем найти в энторнетах трёхкилометровый промпт для Чата ЖПТ или Миджорни, или какой угодно нейросети, но если вы бахнете туда свои вводные, то такой запрос может просто не сработать, поскольку нейросеть не понимает, что такое, например. Баба-Яга, Карлсон или как выглядит кокошник. А вам ну прям жизненно необходим Карлсон, летающий в ступе по Найт-Сити и ищущий рипера, способного починить его ржавый пропеллер. Но этого нет в датасете, а бабки вы уже отдали за подписку и надо как-то выкручиваться. О том, как же выкручиваться в подобных ситуациях, мы поболтаем в следующий раз.

#ликбез

Ну што, сладульки мои, погнали по делу

На всякий обозначу: я графический дизайнер, создаю визуал для веб и печатных материалов, не работаю с видео (генерю их только для канала и портфолио), аудио и 3Д. Поэтому обозреваю только графические нейросети и текстовые местами.

Более бесплатные инструменты:

1️⃣Шедеврум от Яндекса. Сейчас выдаёт уже хороший уровень, для начинающих — прекрасный инструмент, чтобы попробовать, поиграться, понять, как работает промпт. Можно бесплатно генерировать на здоровье. А можно оформить подписку, всего 100р/месяц, там предлагается апскейл (хз как работает), приватность и возможность коммерческого использования картинок без согласования с сервисом. Ну и я уважаю то, что у них есть аппка.

2️⃣Reve Image 1.0. Свежая как майская роза нейроночка с возможностью бесплатного и платного использования. Создана для генерации супермегагигареалистичных фотографий (хотя иллюстрации тоже умеет). Генерации доступны для личного и коммерции, но сервис предупреждает, что у другого человека может быть такая же генерация. Приватного режима, да и особых настроек я не наблюдаю.

Более платные инструменты:

3️⃣Ideogram. Прекрасная платформа для создания и доработки иконок, графики, рекламных материалов. Есть режим канвы (как в Фигме, Миро и т.д.), где можно инпейнтить и аутпейнтить объекты, добавляя к ним новые детали. Раньше токены бесплатные выдавались каждый день, теперь, насколько я знаю, раз в неделю. Стоимость подписки начинается от 20$.

4️⃣Krea. По сути своей агрегатор, в котором содержится куча разных моделей и на генерацию видео, и на генерацию картинок. В день даётся небольшое количество токенов, на которые можно погенерить пикчи или поапскейлить их. Можно тренировать свои стили, персонажей или объекты, а также инпейнтить и аутпейнтить. Создание виртуальных фотосессий здесь самое простое и понятное. У меня есть пост на эту тему. Стоимость подписки начинается от 10$.

5️⃣Stable Diffusion. Ставится локально на комп. Тот, кто скажет, что это бесплатный инструмент, может смело пойти в пешее эротическое. И щас я доступно объясню почему:

А) Комплектующие. Если старые модели были не супер требовательны к компу, то для новых вам нужно дофига и больше памяти, а также мощная видеокарта. Или обучение на разработчика Питона, чтобы понимать, как запрогать это дерьмо самому.

Б) Время. Пока в Шедевруме вы просто набираете "цветочек на лугу", в Стейбл придётся изучить как ставить на компуктер все их недоаппки, разбираться с настройками и бесконечными ошибками.

И это я говорю как пользователь Стейбл Диффьюжн. Что я в нём делаю: апскейлю перманентно, инпейнчу картинки. Мне через него проще, но для этого пришлось пройти сквозь анальную боль, чего я никому не желаю (кроме владельцев ботов). В галерее нет генераций Stable, потому что моделей там хренналион, в частности, Flux, который есть в Kree.

Совсем платные инструменты:

6️⃣Chat GPT или Sora. Сейчас самый удобный сервис для генерации изображений, так как с Чатом непосредственно в переписке можно решить все вопросики, в том числе и по доработке изображений. Пока неидеально, но с точки зрения разработки концепта, графики, иконок, очень и очень хорошо. Есть 2 подписки: для простых смертных за 20$ и для непростых бессмертных за 200$.

7️⃣Midjourney. Большая, но сдающая конкурентам свои позиции махина. Генерация изображений, создание собственных визуальных стилей, ретекстура, инпейнт, аутпейнт — это всё здесь есть. Чего здесь нет, так это годной анатомии, в связи с чем я лично уже несколько месяцев Миджу не оплачиваю. Но у неё неповторимый художественный стиль, этого не отнять. Стоимость подписки начинается от 10$.

Про лицензии разных нейронок я делала два поста подряд, но информация сейчас может быть устаревшей. так что ознакамливайтесь самостоятельно.

💰 Поддержать мой титанический труд монетой можно по ссылке.

#ликбез