Мда, планировал сегодня выпустить простенький пост про лайфхаки для промптов, но пришла OpenAI и все планы пошли лесом. Штош, все 98 страниц я пока не осилил, но некоторые соображения таки есть:
1️⃣ GPT-4 - это явно шаг вперед в анализе изображений. Очень интересно, как именно они сделали так, что сетка может понимать одновременно и текст, и картинки, при этом не проседая по качеству ни там, ни там. И ладно бы она просто выдавала описания, так она может прочитать текст научной статьи с 3-х фотографий (!), распознать на одном из них диаграмму (!!) и пересказать ее содержание (!!!). Если они не тренировали сеть специально на распознавание символов, то становится совсем страшно.
2️⃣ В статье есть огромный раздел, который посвящён тому, насколько лучше новая архитектура справляется с лайфхаками, позволяющие обойти ее этические ограничения (типа DAN, о котором я писал ). С одной стороны, управляемость языковых моделей - это хорошо. С другой - настораживает, что такая модель существует пока в единственном экземпляре, и компанией, которая ее создала, управляет человек с явными политическими амбициями. Короче, Маск, давай уже делай свою ChadGPT, миру нужна альтернатива.
3️⃣ GPT-4 - это первая закрытая архитектура от OpenAI. В статье полностью отсутствуют какие-либо технические детали - нет ни описания тренировочной выборки, ни архитектуры модели, не говорят даже количество параметров! По косвенным признакам уже догадываются, что вроде как там их +- 175B, но без публикации технических подробностей статья больше напоминает мем про рыбов.
4️⃣ Из последнего следует неутешительный вывод - годы открытого доступа к научным данным подошли к концу. Какая еще воспроизводимость результатов? Тебе дали API - вот им и пользуйся, а то, какими методами это разрабатывалось, не твоего ума дело. Конечно, это не означает, что такая архитектура не будет опубликована никогда, да и кроме OpenAI есть много крутых исследовательских команд, но тенденция очевидна.
Попробую найти способ получить платный доступ к OpenAI, если таки получится - поделюсь результатами)
Stay tuned!
@skrn_ai
Попробую найти способ получить платный доступ к OpenAI, если таки получится - поделюсь результатами)
Stay tuned!
@skrn_ai
Please open Telegram to view this post
VIEW IN TELEGRAM
А тем временем, Google вчера выпустил свой ответ ChatGPT. Обещают доступность 24/7 и большое окно контекста. Пока принимают только по инвайтам, что, конечно, можно понять, но все-таки на фоне OpenAI разочаровывает.
Не слышали об этой новости? Ну вот и я не слышал, потому что все говорят о GPT-4😂
Запрос на инвайт я, конечно, отправил, но им явно стоит что-то делать с таймингами. Презентацию свою запустили через пару дней после Майкрософта, чат-бота вообще день в день с GPT-4. Причем в последнем случае это максимально странно, так как слухи о ее выходе ходили всю прошлую неделю.
Как думаете, Акелла промахнулся, или Google все делает правильно?🤔
@skrn_ai
Не слышали об этой новости? Ну вот и я не слышал, потому что все говорят о GPT-4
Запрос на инвайт я, конечно, отправил, но им явно стоит что-то делать с таймингами. Презентацию свою запустили через пару дней после Майкрософта, чат-бота вообще день в день с GPT-4. Причем в последнем случае это максимально странно, так как слухи о ее выходе ходили всю прошлую неделю.
Как думаете, Акелла промахнулся, или Google все делает правильно?
@skrn_ai
Please open Telegram to view this post
VIEW IN TELEGRAM
В интернете полно статей вида “посмотрите, какой контент нам сгенерировала нейросетка“, но очень мало информации о том, как именно с ней надо общаться, чтобы получить результат. В новой нерегулярной рубрике #промпт_инжиниринг буду описывать полезные лайфхаки, чтобы заставлять таки бота генерировать то, что нужно.
❓Ко мне пришел друг с задачей: нужно было перевести координаты из строки формата QuadKey в широту и долготу. На первый взгляд, задача казалась максимально простой, и пояснений не требовала. Ну он и написал:
По итогу, сетка выдала ему ответ, который был похож на правильный, но лишь внешне. Синтаксис функции был абсолютно корректный, но вот только работу она как нужно не выполняла: координаты выдавались практически рандомные. Вот, говорит, фигня эти ваши генеративные сети, ничего сложнее резюме не напишут. Стали разбираться.
ℹ️ QuadKey - это способ записи данных геопозиции, который позволяет кодировать положение на карте мира с помощью строки из цифр от 0 до 3. Каждая цифра обозначает номер сектора на карте мира, ее позиция в тексте обозначает уровень масштабирования. Например, если наш QuadKey выглядит как 001, то это значит, что мы должны разделить карту мира на 4 части, и оставить только левую верхнюю ее четверть (первый “0”), затем у этого сектора также оставить верхнюю четверть (второй “0"), и затем у полученного кусочка взять правый верхний кусок (“1”). В данном конкретном примере мы захватили здоровенный кусок Северного Ледовитого океана неподалёку от Гренландии, но при желании можно было бы добавить еще цифр и вырезать кусок еще поменьше.
Скорее всего, спроси вас на улице, что такое QuadKey, вы бы не рассказали, что он из себя представляет. Так почему же вы требуете от нейросети понять вас с полуслова? ChatGPT - языковая модель общего назначения, и это абсолютно нормально, что по такому короткому описанию она выдает какую-то фигню. Ей просто не хватает контекста задачи.
💡Я нашел в интернете описание формата QuadKey и примеры кода с ним (взял первые 2 абзаца). Затем написал промпт следующего вида:
И в результате ChatGPT написала абсолютно валидную функцию, которая делает ровно то, что требуется.
➡️ На текущий момент, ChatGPT - это не оракул, а скорее студент на экзамене, который не выучил билет, но очень изобретательно складывает слова в предложения. Если вы просто будете бросать в него запросами вида “э, GPT, ну-ка сделай мне магию“, то он вас быстро разочарует. Но если натолкнуть его на правильные мысли, в таком случае можно достичь приятного результата.
#промпт_инжиниринг
@skrn_ai
❓Ко мне пришел друг с задачей: нужно было перевести координаты из строки формата QuadKey в широту и долготу. На первый взгляд, задача казалась максимально простой, и пояснений не требовала. Ну он и написал:
find center of quadkey by lat longПо итогу, сетка выдала ему ответ, который был похож на правильный, но лишь внешне. Синтаксис функции был абсолютно корректный, но вот только работу она как нужно не выполняла: координаты выдавались практически рандомные. Вот, говорит, фигня эти ваши генеративные сети, ничего сложнее резюме не напишут. Стали разбираться.
ℹ️ QuadKey - это способ записи данных геопозиции, который позволяет кодировать положение на карте мира с помощью строки из цифр от 0 до 3. Каждая цифра обозначает номер сектора на карте мира, ее позиция в тексте обозначает уровень масштабирования. Например, если наш QuadKey выглядит как 001, то это значит, что мы должны разделить карту мира на 4 части, и оставить только левую верхнюю ее четверть (первый “0”), затем у этого сектора также оставить верхнюю четверть (второй “0"), и затем у полученного кусочка взять правый верхний кусок (“1”). В данном конкретном примере мы захватили здоровенный кусок Северного Ледовитого океана неподалёку от Гренландии, но при желании можно было бы добавить еще цифр и вырезать кусок еще поменьше.
Скорее всего, спроси вас на улице, что такое QuadKey, вы бы не рассказали, что он из себя представляет. Так почему же вы требуете от нейросети понять вас с полуслова? ChatGPT - языковая модель общего назначения, и это абсолютно нормально, что по такому короткому описанию она выдает какую-то фигню. Ей просто не хватает контекста задачи.
💡Я нашел в интернете описание формата QuadKey и примеры кода с ним (взял первые 2 абзаца). Затем написал промпт следующего вида:
I want you to perform manipulations with QuadKey text. Here is the description of how QuadKey format is organized: <текстовое описание>
This is a JS function which can do some work with QuadKey: <пример кода>
Please write a python program to find the center of given QuadKey. I need latitude and longitude
И в результате ChatGPT написала абсолютно валидную функцию, которая делает ровно то, что требуется.
#промпт_инжиниринг
@skrn_ai
Please open Telegram to view this post
VIEW IN TELEGRAM
В мире ИИ есть достаточно известный блогер, Янник Килчер. Он ведет ютуб-канал с разборами научных статей, а также является сооснователем проекта OpenAssistant, альтернативы ChatGPT с открытым исходным кодом. Недавно он выпустил разбор статьи про GPT-4, в котором высказал интересную мысль. Ниже ее пересказ, но я все-таки советую посмотреть оригинал видоса, на текущий момент анализа подробнее просто нет.
Так вот, Янник утверждает, что материал про GPT-4 - это не научная статья, а просто рекламный буклет. Она не предоставляет никакой возможности воспроизведения ее результатов, которая критически важна для науки. Вместо этого, в статье есть большой раздел про AI safety, в котором - сюрприз - не так уж и много говорится о безопасности. Нет, конечно, они приводят пример, что GPT-4 не расскажет вам, как сделать бомбу, но вы ведь и не собирались у нее это спрашивать, не так ли?
Этот раздел, говорит Янник, предназначен для успокоения крупных компаний, чтобы они не переживали слишком сильно по поводу того, как не вляпаться в очередной скандал. Представляете, что было бы, если бы сова Duolinguo покрывала вас матом за каждую ошибку в слове? OpenAI утверждает: бояться нечего, пацаны, платите деньги и интегрируйте. А как мы это сделали, мы вам не скажем: landscape is too competitive, знаете ли.
Еще в феврале я писал про то, что OpenAI превращается в обычную коммерческую компанию. Что ж, как это ни печально, но мои слова подтверждаются. Альтман скоро должен появиться в подкасте у Лекса Фридмана, и в комментариях под анонсом уже написали много вопросов про эту странную статью. Посмотрим, как он будет выкручиваться. Может быть, объявит о переименовании в OpenForYourCashAI?
#альтман
@skrn_ai
Так вот, Янник утверждает, что материал про GPT-4 - это не научная статья, а просто рекламный буклет. Она не предоставляет никакой возможности воспроизведения ее результатов, которая критически важна для науки. Вместо этого, в статье есть большой раздел про AI safety, в котором - сюрприз - не так уж и много говорится о безопасности. Нет, конечно, они приводят пример, что GPT-4 не расскажет вам, как сделать бомбу, но вы ведь и не собирались у нее это спрашивать, не так ли?
Этот раздел, говорит Янник, предназначен для успокоения крупных компаний, чтобы они не переживали слишком сильно по поводу того, как не вляпаться в очередной скандал. Представляете, что было бы, если бы сова Duolinguo покрывала вас матом за каждую ошибку в слове? OpenAI утверждает: бояться нечего, пацаны, платите деньги и интегрируйте. А как мы это сделали, мы вам не скажем: landscape is too competitive, знаете ли.
Еще в феврале я писал про то, что OpenAI превращается в обычную коммерческую компанию. Что ж, как это ни печально, но мои слова подтверждаются. Альтман скоро должен появиться в подкасте у Лекса Фридмана, и в комментариях под анонсом уже написали много вопросов про эту странную статью. Посмотрим, как он будет выкручиваться. Может быть, объявит о переименовании в OpenForYourCashAI?
#альтман
@skrn_ai
Кстати о совах, которые кроют тебя матом 🔪
Поставил Bing на телефон, и попытался его заставить играть роль совы, которая в агрессивной форме заставляет людей учить английский. И тут произошло странное: GPT-4 (а в бинге используется именно она) сначала действительно начинает угрожать, но потом стирает сообщение как будто ничего не было. Что же, получается, она таки не совсем безопасна? 🤔
@skrn_ai
Поставил Bing на телефон, и попытался его заставить играть роль совы, которая в агрессивной форме заставляет людей учить английский. И тут произошло странное: GPT-4 (а в бинге используется именно она) сначала действительно начинает угрожать, но потом стирает сообщение как будто ничего не было. Что же, получается, она таки не совсем безопасна? 🤔
@skrn_ai
Помимо, собственно, ИИ, я большой фанат электросамокатов. Как говорится, хлебом не корми - в Whoosh уже 974 км накатал)
В какой-то момент в инфополе начали появляться новости вида “самокатчиков-нарушителей будет вычислять ИИ и штрафовать” (раз, два, три). Что там разрабатывают за закрытыми дверьми, мы, конечно, на 100% не знаем, но мы можем прочитать статьи, которые лежат в открытом доступе, и оценить примерное состояние дел в отрасли. Кому такое интересно - велкам читать)
Первая статья к нам пришла из Новой Зеландии. Авторы отмечают, что самокатчики чаще других попадают в ДТП, и надо бы их предварительно отслеживать в потоке, чтобы можно было выехать к ним, и собирать с асфальта то, что от них останется. Взяли YOLOv3 и научили сегментировать на картинке два агрегатных состояния самокатчика (самокатчик едет / самокатчик лежит). Если увидели, что самокатчик сначала ехал, а потом прилег - включаем большую красную лампочку у диспетчера, который отсматривает видос с камеры и проверяет водителя на целостность, а уже если водитель не в порядке - вызывает к нему карету скорой помощи. Сносно работающую модель удалось построить на каких-то 200 картинках из гугла, так что можно говорить с уверенностью - задача определения самоката на дороге уже практически решенная.
Следующая статья более интересная, исследователи из Кореи сделали систему мониторинга безопасности, работающую только на данных с акселерометра и гироскопа. Испытуемых отправили наматывать круги вокруг Сеула по 2 часа каждую, раздав им по паре наушников (почему-то исследователи отдельно отмечают, что водителями были 20-летние девушки). В наушники время от времени подавались звуковые сигналы, которые должны были отвлекать водителя от вождения. В итоге удалось натренировать систему, которая определяет момент, когда водитель отвлёкся от дороги и потерял управление, с точностью до 90%.
Последний материал снова от корейцев, в нем авторы жалуются, как много пьяных самокатчиков развелось в Сеуле, и что с этим безобразием что-то нужно делать. Решение оказалось радикальное - а давайте снабдим все электросамокаты шлемами со встроенным алкотестером, и во время поездки будем определять, бухает водитель или нет. Все бы хорошо, но для корректной работы системы в шлем требуется засунуть батарею (!!!), что кажется уже слегка опасным. Не хотел бы я упасть с самоката с литий-ионной конструкцией возле виска.
Ну и не стоит забывать про отечественные разработки - Whoosh в конце 2022 опубликовал статью на Хабре, в которой они определяют приблизительную массу пассажира самоката, и при ее изменении сигнализируют в саппорт. Правда, что делать, если ты набрал несколько килограммов за зиму, в статье не уточняют. Может, предложат сделать фото на весах?)
Что можно сказать по итогу - так это то, что и за самокатчиками скоро установят контроль. Времена дикого запада, когда можно было гонять по автомагистралям на красный, проходят, и это скорее хорошо, чем плохо) Так что, пока есть возможность, наслаждайтесь последними свободными деньками на вашем электрическом скакуне - вероятно, через пару лет для поездки придется дунуть в трубочку и рассказать алфавит задом наперед.
P.S.: если хотите видеть в блоге больше подобных разборов статей, ставьте 🌚 Посмотрим, много ли таких)
#лонгрид #разборы_статей
@skrn_ai
В какой-то момент в инфополе начали появляться новости вида “самокатчиков-нарушителей будет вычислять ИИ и штрафовать” (раз, два, три). Что там разрабатывают за закрытыми дверьми, мы, конечно, на 100% не знаем, но мы можем прочитать статьи, которые лежат в открытом доступе, и оценить примерное состояние дел в отрасли. Кому такое интересно - велкам читать)
Первая статья к нам пришла из Новой Зеландии. Авторы отмечают, что самокатчики чаще других попадают в ДТП, и надо бы их предварительно отслеживать в потоке, чтобы можно было выехать к ним, и собирать с асфальта то, что от них останется. Взяли YOLOv3 и научили сегментировать на картинке два агрегатных состояния самокатчика (самокатчик едет / самокатчик лежит). Если увидели, что самокатчик сначала ехал, а потом прилег - включаем большую красную лампочку у диспетчера, который отсматривает видос с камеры и проверяет водителя на целостность, а уже если водитель не в порядке - вызывает к нему карету скорой помощи. Сносно работающую модель удалось построить на каких-то 200 картинках из гугла, так что можно говорить с уверенностью - задача определения самоката на дороге уже практически решенная.
Следующая статья более интересная, исследователи из Кореи сделали систему мониторинга безопасности, работающую только на данных с акселерометра и гироскопа. Испытуемых отправили наматывать круги вокруг Сеула по 2 часа каждую, раздав им по паре наушников (почему-то исследователи отдельно отмечают, что водителями были 20-летние девушки). В наушники время от времени подавались звуковые сигналы, которые должны были отвлекать водителя от вождения. В итоге удалось натренировать систему, которая определяет момент, когда водитель отвлёкся от дороги и потерял управление, с точностью до 90%.
Последний материал снова от корейцев, в нем авторы жалуются, как много пьяных самокатчиков развелось в Сеуле, и что с этим безобразием что-то нужно делать. Решение оказалось радикальное - а давайте снабдим все электросамокаты шлемами со встроенным алкотестером, и во время поездки будем определять, бухает водитель или нет. Все бы хорошо, но для корректной работы системы в шлем требуется засунуть батарею (!!!), что кажется уже слегка опасным. Не хотел бы я упасть с самоката с литий-ионной конструкцией возле виска.
Ну и не стоит забывать про отечественные разработки - Whoosh в конце 2022 опубликовал статью на Хабре, в которой они определяют приблизительную массу пассажира самоката, и при ее изменении сигнализируют в саппорт. Правда, что делать, если ты набрал несколько килограммов за зиму, в статье не уточняют. Может, предложат сделать фото на весах?)
Что можно сказать по итогу - так это то, что и за самокатчиками скоро установят контроль. Времена дикого запада, когда можно было гонять по автомагистралям на красный, проходят, и это скорее хорошо, чем плохо) Так что, пока есть возможность, наслаждайтесь последними свободными деньками на вашем электрическом скакуне - вероятно, через пару лет для поездки придется дунуть в трубочку и рассказать алфавит задом наперед.
P.S.: если хотите видеть в блоге больше подобных разборов статей, ставьте 🌚 Посмотрим, много ли таких)
#лонгрид #разборы_статей
@skrn_ai
Опубликовал декабрьскую статью про компьютеры пятого поколения на 🌐 , если вдруг не видели - приглашаю почитать)
Поучительная история про то, как выкинуть огромную сумму денег на ИИ и ни к чему не придти в результате👨🦳
Ссылка тут
UPD: в изначальном заголовке было написано, что японцы потратили на проект 25 миллиардов долларов. В комментах на vc поправили: на самом деле, это был бюджет на все RnD, а на конкретно этот проект суммарно ушло около 500 миллионов. Конечно, все еще огромная сумма, но все-таки не настолько 🥲 Простите за кликбейтный заголовок, в следующий раз буду внимательнее)
Поучительная история про то, как выкинуть огромную сумму денег на ИИ и ни к чему не придти в результате
Ссылка тут
UPD: в изначальном заголовке было написано, что японцы потратили на проект 25 миллиардов долларов. В комментах на vc поправили: на самом деле, это был бюджет на все RnD, а на конкретно этот проект суммарно ушло около 500 миллионов. Конечно, все еще огромная сумма, но все-таки не настолько 🥲 Простите за кликбейтный заголовок, в следующий раз буду внимательнее)
Please open Telegram to view this post
VIEW IN TELEGRAM
vc.ru
Как японцы инвестировали 500 миллионов долларов в ИИ и провалились — Nikita Skrynnikov на vc.ru
В конце 70-х годов XX века правительство Японии запустило невероятный по масштабности проект. На него была выделена огромная сумма денег, за все время проинвестировали около 500 миллионов долларов! Почему в таком случае мы о них ничего не слышим? Потому что…
В Telegram много крутых авторов, которых я читаю. Один из них, Илья Пестов, выложил в своем канале пост про то, насколько хорошо нейросеть справляется с логическими тестами. В свое время Илья разработал тест на логическое мышление @psylogicbot, который прошло порядка 12 тыс. респондентов, и статистику ответов на который можно посмотреть после прохождения.
В посте он писал, что ChatGPT дали пройти этот тест, и результаты этого прохождения оставляли желать лучшего. У меня недавно появился доступ к более умной GPT-4, и я предложил ему проверить, можно ли правильным запросом добиться от нее хотя бы какого-то результата?
Эксперимент проводился следующим образом: я написал текст с описанием задачи, которую нейросети предстояло решить. Полный текст скину в комменты, но смысл был следующий: “я дам тебе логическую задачку и 4 варианта ответа, выбери из них один правильный”. Далее для каждого вопроса теста я создавал новый диалог, и в нем отправлял GPT-4 описание вместе с текстом вопроса. Полученный ответ отправлялся в бота без корректировок и подсказок.
Всего в тесте 25 вопросов, за каждый правильный ответ вам присваивается один балл. Согласно статистике, в среднем пользователи набирают ~13.6 баллов при медиане не больше 14. Как думаете, сколько набрала GPT-4?
16 баллов.
Еще раз: нейросеть проходит тест на логическое мышление лучше, чем медианный человек👨🦳
То есть, справляется лучше, чем большая часть тех, кто этот тест проходил. И это с учетом того, что:
1) тест был на русском языке, а модель заточена под английский;
2) GPT-4, которая используется в чате, глупее ее ранней версии (побочный эффект этических ограничений).
Отдельно выложу прекрасный ответ на 22 вопрос, в котором нейронка применила логику первого порядка и математически вывела результат. Мы на прикладной математике так тоже умели, но у нас для этого целый отдельный курс был.
Все еще уверены, что нейросети - это просто хайп? Для начала попробуйте обогнать GPT-4 🙃 А результатами можете поделиться в комментариях)
#лонгрид
@skrn_ai
В посте он писал, что ChatGPT дали пройти этот тест, и результаты этого прохождения оставляли желать лучшего. У меня недавно появился доступ к более умной GPT-4, и я предложил ему проверить, можно ли правильным запросом добиться от нее хотя бы какого-то результата?
Эксперимент проводился следующим образом: я написал текст с описанием задачи, которую нейросети предстояло решить. Полный текст скину в комменты, но смысл был следующий: “я дам тебе логическую задачку и 4 варианта ответа, выбери из них один правильный”. Далее для каждого вопроса теста я создавал новый диалог, и в нем отправлял GPT-4 описание вместе с текстом вопроса. Полученный ответ отправлялся в бота без корректировок и подсказок.
Всего в тесте 25 вопросов, за каждый правильный ответ вам присваивается один балл. Согласно статистике, в среднем пользователи набирают ~13.6 баллов при медиане не больше 14. Как думаете, сколько набрала GPT-4?
16 баллов.
Еще раз: нейросеть проходит тест на логическое мышление лучше, чем медианный человек
То есть, справляется лучше, чем большая часть тех, кто этот тест проходил. И это с учетом того, что:
1) тест был на русском языке, а модель заточена под английский;
2) GPT-4, которая используется в чате, глупее ее ранней версии (побочный эффект этических ограничений).
Отдельно выложу прекрасный ответ на 22 вопрос, в котором нейронка применила логику первого порядка и математически вывела результат. Мы на прикладной математике так тоже умели, но у нас для этого целый отдельный курс был.
Все еще уверены, что нейросети - это просто хайп? Для начала попробуйте обогнать GPT-4 🙃 А результатами можете поделиться в комментариях)
#лонгрид
@skrn_ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Наверное, все уже слышали про статью в TIME, в которой Элиезер Юдковский призывает запретить создавать сильный ИИ на законодательном уровне. Несмотря на то, что фраза "бомбить датацентр с самолета" и звучит как мемная, мне кажется что в его словах есть смысл (отставить санитаров, сейчас объясню).
Коротко об авторе: Элиезер Юдковский занимается этикой ИИ года так с 2001-го. Он основал популярное сообщество рационалистов LessWrong, а также написал фанфик "Гарри Поттер и методы рационального мышления", который, несмотря на его спорную литературную ценность (Гарри в нем ну слишком мерисьюшный), тем не менее, очень наглядно показывает преимущества прикладной рациональности. В этом же фанфике один из главных героев произносит фразу, которая крайне хорошо согласуется со вчерашней статьей:
— Эти недоумки маглы однажды нас погубят!
— Вы сейчас о чём? О ядерном оружии?
— Да, о ядерном оружии! <...> Есть двери, которые нельзя открывать, есть печати, которые нельзя ломать! <...> Маленькие любознательные дурачки, открывшие секрет ядерного оружия, не смогли удержать его в тайне, раскрыли его своим глупым политикам, и теперь нам приходится жить под постоянной угрозой полного уничтожения!
Если в этой цитате заменить "ядерное оружие" на "сильный ИИ", становится понятно, почему Юдковский выбрал именно такой тон, и почему статья вышла именно сейчас. Да, разговоры о ИИ, который способен причинить человечеству реальный вред, кажутся несколько преждевременными, и я сам к ней поначалу отнесся крайне скептически. Тем не менее, Юдковский обращает внимание на важную проблему, которая на текущий момент не имеет решения: мы не можем гарантировать, что интеллектуальный агент, у которого есть доступ к браузеру, не натворит такого, что мы потом не разгребем. Особенно в случае, если этот агент умнее нас.
Причем интересно, что такая позиция не слишком сильно входит в противоречие с тем, о чем в своих статьях писал Альтман. В недавнем интервью у Лекса Фридмана Юдковский говорит следующее: If you already have giant nuclear stockpile, don’t build more. То есть, направление мысли у них одинаковое - у нас уже есть одна модель, которая показывает "искры" интеллекта, тормозите, больше не надо.
Конечно, мораторий на полгода не подпишет ни одна технологическая компания (лицо топ-менеджеров Гугла представили?), но как минимум дискуссия в обществе продолжится, а за ней последуют и какие-то регуляции со стороны государства. Но выгодны они в первую очередь тому, у кого та самая одна модель уже есть, и кто с 2021 года топит за контроль над исследованиями ИИ, причем практически теми же словами.
Поздравляю, мистер Альтман, этот раунд за вами.
#альтман #лонгрид
@skrn_ai
Коротко об авторе: Элиезер Юдковский занимается этикой ИИ года так с 2001-го. Он основал популярное сообщество рационалистов LessWrong, а также написал фанфик "Гарри Поттер и методы рационального мышления", который, несмотря на его спорную литературную ценность (Гарри в нем ну слишком мерисьюшный), тем не менее, очень наглядно показывает преимущества прикладной рациональности. В этом же фанфике один из главных героев произносит фразу, которая крайне хорошо согласуется со вчерашней статьей:
— Эти недоумки маглы однажды нас погубят!
— Вы сейчас о чём? О ядерном оружии?
— Да, о ядерном оружии! <...> Есть двери, которые нельзя открывать, есть печати, которые нельзя ломать! <...> Маленькие любознательные дурачки, открывшие секрет ядерного оружия, не смогли удержать его в тайне, раскрыли его своим глупым политикам, и теперь нам приходится жить под постоянной угрозой полного уничтожения!
Если в этой цитате заменить "ядерное оружие" на "сильный ИИ", становится понятно, почему Юдковский выбрал именно такой тон, и почему статья вышла именно сейчас. Да, разговоры о ИИ, который способен причинить человечеству реальный вред, кажутся несколько преждевременными, и я сам к ней поначалу отнесся крайне скептически. Тем не менее, Юдковский обращает внимание на важную проблему, которая на текущий момент не имеет решения: мы не можем гарантировать, что интеллектуальный агент, у которого есть доступ к браузеру, не натворит такого, что мы потом не разгребем. Особенно в случае, если этот агент умнее нас.
Причем интересно, что такая позиция не слишком сильно входит в противоречие с тем, о чем в своих статьях писал Альтман. В недавнем интервью у Лекса Фридмана Юдковский говорит следующее: If you already have giant nuclear stockpile, don’t build more. То есть, направление мысли у них одинаковое - у нас уже есть одна модель, которая показывает "искры" интеллекта, тормозите, больше не надо.
Конечно, мораторий на полгода не подпишет ни одна технологическая компания (лицо топ-менеджеров Гугла представили?), но как минимум дискуссия в обществе продолжится, а за ней последуют и какие-то регуляции со стороны государства. Но выгодны они в первую очередь тому, у кого та самая одна модель уже есть, и кто с 2021 года топит за контроль над исследованиями ИИ, причем практически теми же словами.
Поздравляю, мистер Альтман, этот раунд за вами.
#альтман #лонгрид
@skrn_ai
Элиезер Юдковский совершил диверсию в датацентре OpenAI, стремясь "остановить уничтожение человечества"
Известный исследователь искусственного интеллекта сегодня утром был задержан по подозрению в совершении акта диверсии в датацентре OpenAI в Сан-Франциско. В заявлении, опубликованном в социальных сетях, Юдковский заявил, что его действия были направлены на "остановку уничтожения человечества" и использовал цитату "если драка неизбежна - бить надо первым."
В результате инцидента датацентр OpenAI временно приостановил работу.
Компания пытается возобновить работу сервисов, но точных оценок времени и стоимости ущерба пока не дает. Сэм Альтман в своем заявлении сообщил, что чат-бот и эндпойнты API будут временно переведены на систему SberGPT, которую некоммерческой организации предоставил в безвозмездное пользование анонимный меценат Оскар Германович. Как он сказал в своем комментарии, «у нас огромное количество программистов, с которыми мы боремся, и если наши конкуренты тоже хотят их уничтожить - мы будем им помогать».
Полный текст материала доступен по ссылке
#1_апреля
@skrn_ai
Известный исследователь искусственного интеллекта сегодня утром был задержан по подозрению в совершении акта диверсии в датацентре OpenAI в Сан-Франциско. В заявлении, опубликованном в социальных сетях, Юдковский заявил, что его действия были направлены на "остановку уничтожения человечества" и использовал цитату "если драка неизбежна - бить надо первым."
В результате инцидента датацентр OpenAI временно приостановил работу.
Компания пытается возобновить работу сервисов, но точных оценок времени и стоимости ущерба пока не дает. Сэм Альтман в своем заявлении сообщил, что чат-бот и эндпойнты API будут временно переведены на систему SberGPT, которую некоммерческой организации предоставил в безвозмездное пользование анонимный меценат Оскар Германович. Как он сказал в своем комментарии, «у нас огромное количество программистов, с которыми мы боремся, и если наши конкуренты тоже хотят их уничтожить - мы будем им помогать».
Полный текст материала доступен по ссылке
#1_апреля
@skrn_ai
Недавно некоторые страны ЕС выступили со следующим заявлением: чет эти ваши генеративные сети какие-то непонятные, давайте забаним ChatGPT на время, и спокойно разберемся, не нарушает ли она наши местные законы. Новость разлетелась по куче пабликов, как бы подтверждая: вот, видите, даже в Европе поняли, что ИИ опасен, и побежали запрещать. На самом деле, эта новость вообще о другом.
Первоисточник новости - GPDP, это такое итальянское ведомство, которое специально заточено под то, чтобы искать нарушения Европейского законодательства в плане защиты персональных данных. То есть, это натурально что-то вроде нашего Роспотребнадзора, но в сфере IT, и его сотрудники только и заняты тем, что проверяют, как бы случайно данные пользователей не утекли куда не нужно. Похожие органы в других странах ЕС уже штрафовали Google, Whatsapp и Amazon. Само собой, сервис, который всего за 60 дней набрал 100 миллионов ежемесячных пользователей, не мог не привлечь внимание регулятора.
В документе, который они опубликовали по поводу блокировки, нет ни слова о том, что регулятору не понравился именно искусственный интеллект. Зато есть следующее:
1️⃣ OpenAI говорит, что будут использовать диалоги пользователей с ChatGPT для обучения сети, но не уточняют, как именно - а согласно GDPR, сервис должен быть в этом отношении прозрачен;
2️⃣ Сервисом могут воспользоваться дети, и увидеть контент, который для них не предназначен - согласно GDPR, в таком случае ты обязан разместить форму для ввода возраста, и блокировать такие запросы. Сейчас у OpenAI такой формы нет;
3️⃣ Да и вообще, у вас тут представитель в ЕС сидит, вот пусть он через 20 дней и отчитается, как вы поняли наше предупреждение, и какие выводы сделали. Иначе страшный штраф наложим.
Скорее всего, OpenAI нужные формы приделают, и мутные пункты сделают менее мутными, тут сильно переживать не надо. Интерес больший представляет 5-й параграф документа, в котором чиновники буквально расписываются в собственной некомпетентности (далее перевод с английского):
<...> как показали проведенные проверки, информация, предоставленная ChatGPT, не всегда соответствует фактическим данным, что приводит к неточной обработке персональных данных
У меня после его прочтения сформировалась следующая картина: ребята позадавали ChatGPT вопросы вида «а нарушаешь ли ты GDPR», сетка им что-то ответила, и затем они на основании этого ответа сделали выводы на тему того, как она работает😁
Что ж, вывод тут можно сделать простой: в целом, медианный человек не слишком хорошо понимает, как работают подобные языковые модели, причем вне зависимости от того, связана ли его работа с IT, или же нет.
А вы хотели бы почитать пост-ликбез про то, что ChatGPT может, а что нет? Если да, то жмите🔥 , или оставляйте свои вопросы в комментариях)
@skrn_ai
Первоисточник новости - GPDP, это такое итальянское ведомство, которое специально заточено под то, чтобы искать нарушения Европейского законодательства в плане защиты персональных данных. То есть, это натурально что-то вроде нашего Роспотребнадзора, но в сфере IT, и его сотрудники только и заняты тем, что проверяют, как бы случайно данные пользователей не утекли куда не нужно. Похожие органы в других странах ЕС уже штрафовали Google, Whatsapp и Amazon. Само собой, сервис, который всего за 60 дней набрал 100 миллионов ежемесячных пользователей, не мог не привлечь внимание регулятора.
В документе, который они опубликовали по поводу блокировки, нет ни слова о том, что регулятору не понравился именно искусственный интеллект. Зато есть следующее:
Скорее всего, OpenAI нужные формы приделают, и мутные пункты сделают менее мутными, тут сильно переживать не надо. Интерес больший представляет 5-й параграф документа, в котором чиновники буквально расписываются в собственной некомпетентности (далее перевод с английского):
<...> как показали проведенные проверки, информация, предоставленная ChatGPT, не всегда соответствует фактическим данным, что приводит к неточной обработке персональных данных
У меня после его прочтения сформировалась следующая картина: ребята позадавали ChatGPT вопросы вида «а нарушаешь ли ты GDPR», сетка им что-то ответила, и затем они на основании этого ответа сделали выводы на тему того, как она работает
Что ж, вывод тут можно сделать простой: в целом, медианный человек не слишком хорошо понимает, как работают подобные языковые модели, причем вне зависимости от того, связана ли его работа с IT, или же нет.
А вы хотели бы почитать пост-ликбез про то, что ChatGPT может, а что нет? Если да, то жмите
@skrn_ai
Please open Telegram to view this post
VIEW IN TELEGRAM
В одном из постов про Альтмана я обещал рассказать про его сторонние проекты, которые на первый взгляд не связаны с деятельностью OpenAI. Начнем, пожалуй, с Wordcoin'а - крипта, конечно, уже не на хайпе, но Сэма это слабо волнует, а значит не волнует и нас.
Сам проект был запущен в 2020 году. Суть была простая: давайте раздадим народу бесплатные деньги, и посмотрим, как они на это отреагируют. Но Альтман был бы не Альтманом, если бы не предложил что-то особенное - в обмен на получение крипты пользователь должен был согласиться отсканировать радужку глаза на специальном устройстве. Оно должно хитрым образом захэшировать ее изображение, и создать на основе этого хэша криптографический ключ, которым подписывались бы все транзакции в блокчейне. Глаз не украдешь, а если даже и попытаешься выковырять, то все испортишь, значит такая вот инфраструктура сможет стать платформой для раздачи базового дохода по всему миру.
Планы были грандиозные, но вдруг что-то пошло не так:
- сначала к критикой проекта выступил Эдвард Сноуден. Дескать, вы что, поехавшие все, зачем вы отдаете скан своей радужки какой-то мутной конторе? Это не пароль, его не изменишь!
- Альтман на это замечание ответил что-то типа "хм, я и не думал что кому-то это может настолько не понравиться, интересно". Что ж, интересное отношение к приватности персональных данных, спору нет;
После скандального старта, о проекте долгое время не было слышно, но на днях они выкатили в релиз платформу под названием World ID. В чем ее суть:
1️⃣ Платформа предоставляет Ouath-протокол для входа на различные сайты, будь то сайты в интернете, мобильные приложения или криптокошельки. Работать будет как кнопка "вход через Google": нажимаешь на кнопку "войти по World ID" и авторизуешься.
2️⃣ Чтобы создать аккаунт в протоколе, тебе нужно будет придти в специальный центр сканирования, и отсканировать сетчатку глаза. После этого, в приложение World App, установленное на твой телефон, сохранится твой приватный ключ, который мы создадим из скана радужки. На его основе мы также создадим публичный ключ - его положим в блокчейн, и все смогут видеть, что чел совершил такое-то действие (например, перевел деньги другому человеку), и у него действительно были права это сделать.
3️⃣ При этом, хитрый протокол ZKP (Zero-Knowledge Proof) делает это так, что связать два отдельных действия от одного аккаунта не получится - система увидит только, что "кто-то" сделал "что-то", но если этот кто-то не захочет раскрывать свою личность, то определить, кто где стоял, не получится.
4️⃣ Что необычно, компания даже выложила в опенсорс чертежи их сферы для сканирования сетчатки. Насколько я понимаю, кода прошивки авторы не предоставляют, это больше нужно для вендоров, которые хотят наладить у себя производство таких девайсов.
Интересно, что пост по поводу релиза они начали с отсылки к статье про GPT-4. Дескать, скоро придет ИИ, и мы вообще не сможем понять, где комментарий оставил настоящий человек, а где машина. Срочно-быстро нужен способ их различать, и наш продукт - отличное решение! Звучит, конечно, красив, но как этому мешает централизация, я не особо понял. А, ну да, точно, тогда Альтман ничего не сможет контролировать.
➡️ Мне на текущий момент кажется, что проект получается весьма странный. Доверие к крипте сильно подорвано последними новостями, и будет достаточно тяжело убедить людей, что им нужно будет отдать сетчатку глаза какой-то криптокомпании, какие бы там крутые алгоритмы не были под капотом. Судите сами: сначала авторы заявляли о миллиарде активных пользователей к 2023 году, но пока проект <...> has passed one million sign-ups <...> from individuals in diverse countries including Argentina, Chile, India, Kenya, Portugal, Spain and Uganda. Я понимаю, почему они заходят именно на рынки развивающихся стран, но сильно не уверен, что это в какой-то обозримой перспективе может масштабироваться на остальной мир. По крайней мере, пока скепсис в отношении крипты поддерживает большая часть лиц, принимающих решения.
#альтман #лонгрид
@skrn_ai
Сам проект был запущен в 2020 году. Суть была простая: давайте раздадим народу бесплатные деньги, и посмотрим, как они на это отреагируют. Но Альтман был бы не Альтманом, если бы не предложил что-то особенное - в обмен на получение крипты пользователь должен был согласиться отсканировать радужку глаза на специальном устройстве. Оно должно хитрым образом захэшировать ее изображение, и создать на основе этого хэша криптографический ключ, которым подписывались бы все транзакции в блокчейне. Глаз не украдешь, а если даже и попытаешься выковырять, то все испортишь, значит такая вот инфраструктура сможет стать платформой для раздачи базового дохода по всему миру.
Планы были грандиозные, но вдруг что-то пошло не так:
- сначала к критикой проекта выступил Эдвард Сноуден. Дескать, вы что, поехавшие все, зачем вы отдаете скан своей радужки какой-то мутной конторе? Это не пароль, его не изменишь!
- Альтман на это замечание ответил что-то типа "хм, я и не думал что кому-то это может настолько не понравиться, интересно". Что ж, интересное отношение к приватности персональных данных, спору нет;
После скандального старта, о проекте долгое время не было слышно, но на днях они выкатили в релиз платформу под названием World ID. В чем ее суть:
Интересно, что пост по поводу релиза они начали с отсылки к статье про GPT-4. Дескать, скоро придет ИИ, и мы вообще не сможем понять, где комментарий оставил настоящий человек, а где машина. Срочно-быстро нужен способ их различать, и наш продукт - отличное решение! Звучит, конечно, красив, но как этому мешает централизация, я не особо понял. А, ну да, точно, тогда Альтман ничего не сможет контролировать.
#альтман #лонгрид
@skrn_ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Прежде чем породить мощные инструменты вроде ChatGPT, область обработки естественного языка прошло через долгий путь эволюции, начиная с середины XX века. Сегодня в рубрике #разборы_статей окунемся в историю и узнаем о влиянии знаменитого Ноама Хомского на развитие компьютерной лингвистики.
В 50-е годы XX века правительство США активно инвестировало в исследования в области искусственного интеллекта. Сложно отследить, в какой момент впервые появились работы про моделирование языка, но что-то отдаленно похожее на современные языковые модели появляется в статье от 1957 года за авторством лингвиста Ноама Хомского. В его работе "Синтаксические структуры" он описал математический аппарат, с помощью которого можно как генерировать последовательности текстов на заданном языке, так и анализировать фразы на этом же языке. Ну чисто ChatGPT, только попроще.
Хомский выделил три модели для анализа текстов:
1️⃣ Конечный марковский процесс. Суть в следующем: давайте посмотрим, какие слова в тексте у нас встречаются, и на их основе построим специальный граф, который будет определять как такие слова генерировать. Вершинами этого графа будут являться состояния, а ребрами - возможные переходы между этими состояниями. При переходе из одного состояния в другое, мы можем сгенерировать следующий символ в предложении. Далее можно использовать этот граф для генерации текстов: нужно пройтись по всем вершинам, на каждой вершине рандомно выбирая направление движения.
Подход отлично работает для искусственных языков вроде языков программирования, но для человеческого языка он слабо подходит. Тексты в языке могут быть неограниченной длины, но такой вот граф - штука по определению конечная, как минимум ввиду ограниченной памяти у компьютера. Да и в целом, программирование подобных штук - это сложно: нужно руками написать огромное количество правил вида "если мы тут написали букву Х, то далее может быть либо буква А, либо О». Короче, реально такой фигней никто заниматься не будет, нужен другой подход.
#разборы_статей
@skrn_ai
В 50-е годы XX века правительство США активно инвестировало в исследования в области искусственного интеллекта. Сложно отследить, в какой момент впервые появились работы про моделирование языка, но что-то отдаленно похожее на современные языковые модели появляется в статье от 1957 года за авторством лингвиста Ноама Хомского. В его работе "Синтаксические структуры" он описал математический аппарат, с помощью которого можно как генерировать последовательности текстов на заданном языке, так и анализировать фразы на этом же языке. Ну чисто ChatGPT, только попроще.
Хомский выделил три модели для анализа текстов:
1️⃣ Конечный марковский процесс. Суть в следующем: давайте посмотрим, какие слова в тексте у нас встречаются, и на их основе построим специальный граф, который будет определять как такие слова генерировать. Вершинами этого графа будут являться состояния, а ребрами - возможные переходы между этими состояниями. При переходе из одного состояния в другое, мы можем сгенерировать следующий символ в предложении. Далее можно использовать этот граф для генерации текстов: нужно пройтись по всем вершинам, на каждой вершине рандомно выбирая направление движения.
Подход отлично работает для искусственных языков вроде языков программирования, но для человеческого языка он слабо подходит. Тексты в языке могут быть неограниченной длины, но такой вот граф - штука по определению конечная, как минимум ввиду ограниченной памяти у компьютера. Да и в целом, программирование подобных штук - это сложно: нужно руками написать огромное количество правил вида "если мы тут написали букву Х, то далее может быть либо буква А, либо О». Короче, реально такой фигней никто заниматься не будет, нужен другой подход.
#разборы_статей
@skrn_ai
#разборы_статей про Хомского (продолжение)
Хомский тоже понимал, что с конечными автоматами особо ничего не получится, поэтому в статье предложил второй способ - разделение предложение на составляющие. Ну условно, у нас есть текст "мама мыла раму", давайте разберем его на крупные блоки, и отдельно каждый блок проанализируем. В таком случае, нам понадобится составить конечный список того, по каким правилам слова могут компоноваться друг с другом в языке. В каком-то смысле, этот подход обратен первому: если изначально мы шли от символов к словам, то теперь мы разбиваем крупное предложение на более мелкие составляющие, пока не дойдем до атомарных слов.
Уже получше, теперь мы сможем разбирать бесконечные цепочки, если правильно сконструируем рекурсивные правила. Но все равно, некоторые ограничения сохраняются - например, такая модель не учитывает, что слова нужно грамматически согласовать друг с другом, и для организации такого разбора в словаре придется прописать все словоформы каждого слова, что кажется избыточным.
3) Для того, чтобы победить последнее ограничение, Хомский предлагает использовать так называемые трансформационные грамматики. Вместо того, чтобы просто складывать слова в предложения, мы вводим дополнительные правила, как после складывания эти слова можно изменять. Например, если мы в результате генерации получили фразу "мама мыть рама", то для правильного построения предложения нужно ввести правило, что рядом со словом "мама" должен стоять глагол "моет" либо "мыла", и далее то же самое для слова "рама". Короче, все снова сводится к тому, что нужно писать правила, но главное то, что их набор снова конечен - а значит, в перспективе такой подход может решить очень много задач обработки естественного языка.
@skrn_ai
Хомский тоже понимал, что с конечными автоматами особо ничего не получится, поэтому в статье предложил второй способ - разделение предложение на составляющие. Ну условно, у нас есть текст "мама мыла раму", давайте разберем его на крупные блоки, и отдельно каждый блок проанализируем. В таком случае, нам понадобится составить конечный список того, по каким правилам слова могут компоноваться друг с другом в языке. В каком-то смысле, этот подход обратен первому: если изначально мы шли от символов к словам, то теперь мы разбиваем крупное предложение на более мелкие составляющие, пока не дойдем до атомарных слов.
Уже получше, теперь мы сможем разбирать бесконечные цепочки, если правильно сконструируем рекурсивные правила. Но все равно, некоторые ограничения сохраняются - например, такая модель не учитывает, что слова нужно грамматически согласовать друг с другом, и для организации такого разбора в словаре придется прописать все словоформы каждого слова, что кажется избыточным.
3) Для того, чтобы победить последнее ограничение, Хомский предлагает использовать так называемые трансформационные грамматики. Вместо того, чтобы просто складывать слова в предложения, мы вводим дополнительные правила, как после складывания эти слова можно изменять. Например, если мы в результате генерации получили фразу "мама мыть рама", то для правильного построения предложения нужно ввести правило, что рядом со словом "мама" должен стоять глагол "моет" либо "мыла", и далее то же самое для слова "рама". Короче, все снова сводится к тому, что нужно писать правила, но главное то, что их набор снова конечен - а значит, в перспективе такой подход может решить очень много задач обработки естественного языка.
@skrn_ai