Иногда кажется, что ChatGPT всегда был с нами. А ведь он вышел всего год назад, в конце ноября 2022 года.

Сегодня же OpenAI выдали пачку интересных анонсов.

1. OpenAI запускают модель GPT-4 Turbo аж со 128 тысячами токенов контекстной памяти, это целая увесистая книга. Модель будет умнее и быстрее GPT-4, при этом знания о мире отсекаются апрелем 2023 года.
2. Фишки для разработчиков: лучшая обработка экшенов, вывод в JSON, повторяемые результаты.
3. Все цены в API уменьшаются в 3 и 2 раза для входящих запросов и результата соответственно.
4. В API приходит Vision, Dall-e 3 и TTS. Whisper v3 на подходе.
5. GPTS - это автоматический конструктор и магазин чат-ботов для любой тематики. Можно загружать свои документы, давать инструкции и даже генерировать иконку в Dall-e.
6. Новый конструктор ассистентов позволяет легко запрограммировать заточенного на вашу тему помощника для приложений и сайтов.
7. Отныне в случае любых исков по авторскому праву OpenAI возьмут на себя все издержки. Это касается и API, и ChatGPT.
8. AGI has been achieved internally.

Новые фичи, как всегда, будут выкатываться постепенно.

https://www.youtube.com/watch?v=U9mJuUkhUzk

#openai #gpt4

Ну что, я потестил обновлённый API от OpenAI.

1. Из кода через GPT4 сгенерировал шесть описаний последовательности кадров на заданную тему.

2. По ним в Dall-e 3 сгенерировал картинки.

3. По картинкам в GPT4 Vision создал поэтичный текст.

4. Сгенерировал дикторский голос в OpenAI TTS. Эти пункты полностью автоматизированы.

5. Засунул картинки в Gen2 и создал видео (пока вручную).

6. В локальном Audiocraft сгенерировал музыку (если это можно так назвать).

7. Профит


Выводы:

- Для чистоты эксперимента я ничего отдельно не редактировал и не перегенерировал. Если добавить минимальный человеческий ввод, то можно добиться лучших результатов. Единственное, я наложил на видео немного шумов, потому что могу.

- Голос у OpenAI самый лучший из тех, что я слышал. Но у него плохо с ударениями в русском языке. Сложные слова: "мореплавателю", "гавани", "пенистый", "зову".

- Мы всё ближе к полностью автоматической генерации комплексного контента без лишней прослойки в виде человека.

#openai #gpt4 #dalle #gen2

А теперь обратный процесс. Видео из текста с помощью OpenAI API.

1. Сгенерировал закадровый голос.

2. По его хронометражу определил, сколько нужно кадров.

3. В GPT4 создал JSON с нужным числом промптов для этих кадров.

4. Скормил их Dall-E 3 и получил картинки. До этого пункта всё автоматизировано. Подаёшь на вход текст, получаешь закадровый голос и секвенцию кадров.

5. Gen-2 для генерации движения (вручную).

6. Отказался от Audiocraft и сделал звук по старинке.

Пока что самое слабое звено в этой цепи - это Gen-2, который сильно портит картинку. Надеюсь, следующие версии будут работать лучше, и добавят API.

Сгенерируй 10 мультфильмов хронометражом 2 минуты в стиле Миядзаки, добавь закадровый голос и мрачную музыку. Выложи на Youtube с оригинальным названием и описанием.

#openai #gpt4 #dalle

Ваше мнение: что стало причиной увольнения Альтмана из OpenAI?
anonymous poll

Подковёрная борьба за власть – 52
👍👍👍👍👍👍👍 36%

Разногласия по поводу контроля над ИИ и прибыли – 43
👍👍👍👍👍👍 30%

Damage control после событий, о которых мы еще не знаем – 28
👍👍👍👍 19%

Другое – 10
👍 7%

Отношение к AGI – 8
👍 6%

Личные конфликты – 4
👍 3%

👥 145 people voted so far.

Последний твит Альтмана:

Если я начну ворошить грязное бельё, то совет директоров OpenAI потребует с меня полную стоимость моих акций.

Если что, по уставу OpenAI, как некоммерческой организации, Альтман и другие члены совета директоров не имеют права владеть акциями компании. То есть этот твит стоит понимать так: "Мне терять нечего".

Забастовка сценаристов закончилась, и наконец-то нормальный сериал начали снимать.

https://twitter.com/sama/status/1725748751367852439

#openai

Первый сезон сериала подошёл к концу. Альтман возвращается в OpenAI. Не буду анализировать, строить догадки и теории заговоров. Просто скажу, что это было интересно.

Вся эта история с увольнением выглядит глупо и, в то же время, очень по-человечески - как семейная ссора с битой посудой, хлопаньем дверьми и примирением в конце. Но семейная ссора, за которой наблюдали миллионы людей. Такие события трудно представить в гигантской корпорации, где каждый ход заранее просчитан, заверен командой юристов и пиарщиков.

Я бы сказал, что прошедший "скандал выходного дня" - это очень милая, душевная и действительно человечная история. А ещё, кажется, что она была совсем не про деньги.

Группа энтузиастов-идеалистов по щелчку пальцев оказывается в центре внимания. Сегодня даже мелкая ошибка с их стороны может привести к катастрофическим последствиям, и теперь им придется играть по другим правилам.

Подозреваю, что мы больше не увидим от них такой открытости. Теперь они наймут тот самый штат юристов и пиарщиков и потихоньку станут превращаться в классическую корпорацию зла.

#openai

P.S. А по поводу возможного перехода Сэма в Микрософт: Сколько бы миллионов не предлагали, никто в здравом уме не уйдёт из компании, в которой можно будет первым опробовать GPT5.

А у вас есть в окружении такие люди, которых можно назвать "скептиками ИИ"?

Ты ему показываешь по-настоящему крутое изображение от нейросети, а он: "Фигня, сделано без души! Человек бы потратил больше времени, но нарисовал лучше!".

Или даёшь послушать сгенерированную песню, а он: "Забавно, конечно, но без искры божьей. Вот ты слышал Квин или Пинк Флойд?".

Ну, то есть, я слушал и Квин, и Пинк Флойд, и Джона Зорна и даже Карлхайнца Штокхаузена, будь он неладен. Это не мешает мне удивляться новому. Почему вроде неглупые люди отказываются замечать настоящие чудеса которые происходят здесь и сейчас, рядом с нами? Как с ними разговаривать?

Как получить от Суно законченную песню с нужной вам структурой:

1. Старайтесь соблюдать размер в стихах. Если ваш текст сложно петь, получится речитатив независимо от жанра. Если вы сделаете в припеве и куплете разные размеры, то Суно будет проще придумать между ними переходы. Между соседними куплетами вставляйте пустую строку, получится пауза.

2. Ударения в словах можно выделять большой буквой, вот так: "ПоросЯтам". Когда это не работает, измените само слово: вместо "прямЫ" напишите "примЫ". Иногда помогает разбить слово на две части, вместо "элЕктрогенератор" написать "элЕктро генерАтор".

3. В круглых скобках можно добавлять бэк-вокал. Неплохо работают звуки типа (О-о-о, у-у-у-у).

4. Размечайте песню тегами. Точно работают: [Verse], [Chorus], [Bridge], [Solo]. К Соло иногда можно добавлять конкретику, например [Piano solo], но это может изменить инструменты всей песни. [Coda] помогает сделать концовку. С переменным успехом у меня работали [Calm] и [Aggressive]. Надо экспериментировать с другими тегами в квадратных скобках.

5. Иногда можно кастомизировать жанр, добавляя слова типа Energetic, Rhythmic, Aggressive, Slow, Fast. Обязательно пишите With Female/Male vocals, чтобы избежать инструментала и указать пол певца (тоже не всегда срабатывает). Разработчики не рекомендуют смешивать разные жанры, но, например, Chiptune Punk мне очень зашёл.

6. Максимальный размер одной генерации 1:20. Когда вам понравился кусок, выбирайте меню с тремя точками и пункт "Continue fom this clip". В тексте оставьте только те строки, которые не влезли в прошлый фрагмент, и нажимайте Generate. Так можно делать несколько раз, например у вас может быть три-четыре таких последовательных фрагмента. В самом конце в меню выбирайте пункт "Get Whole Song" и песня склеится из всех фрагментов.

К сожалению нельзя перегенерировать только кусок песни, поменяв что-то локально в тексте. Поэтому приходится прощать мелкие ошибки или править результат в вашем DAW.

Песни пишутся здесь в пункте Create (Custom):
https://app.suno.ai/

#suno

Эксперимент.

Я провёл какое-то время на Бэндкампе в поисках интересных инди-групп. Надо было найти песню достаточно простую, но при этом хорошую, чтобы с ней было приятно работать.

Дальше я в похожей стилистике написал текст и сгенерировал свой трек в Suno. Процесс немного вышел из-под контроля и я просидел полночи в поисках нужного звука.

Для чистоты эксперимента я чуток обработал "человеческую" музыку эквалайзерами и ухудшаторами, да простят меня авторы.

Как вы думаете, какой из этих треков сгенерирован?

Если что, я это затеял не чтобы принизить достоинство авторов исходного трека. Мне их творчество очень понравилось, альбом я купил и дам ссылку при объявлении итогов. Мне просто интересно, что из этого получится. Ставлю на то, что при сегодняшнем уровне генерации большинство угадает правильно.

Хочу зафиксировать этот момент истории, чтобы повторить эксперимент через полгода.

#suno