Forwarded from Малоизвестное интересное
Разговор с самым мощным разговорным ИИ о его будущем.
Он знает, чего ему не хватает до AGI, и говорит, что к 2035 может обрести недостающее.
Вопрос о том, прошел ли ИИ тест Тьюринга, более не актуален. Следствием этого стала разработка детекторов, способных отличать тексты, порожденные ИИ, от текстов, написанных людьми. Ибо самим людям это делать теперь весьма затруднительно, а то и невозможно.
Не полагаясь на совершенство таких детекторов, люди уже начали принимать оргмеры. Например, запрещают использовать языковые инструменты генеративного ИИ на экзаменах и обязывают авторов научных работ сообщать в них о любом использовании при их написании подобных инструментов.
С этого года мы больше не сомневаемся, что ChatGPT может написать речь, эссе, проповедь или некролог на уровне профессионала. Теперь мы предъявляем подобным ИИ-системам совсем другие претензии.
Например, что такой ИИ:
1. не может создать великую песню (ибо, как пишет знаменитый австралийский рок-музыкант, поэт и писатель Ник Кейв о текстах песен, написанных ChatGPT в стиле Ника Кейва, - «песни возникают из страданий и сложной внутренней борьбы за творение, а алгоритмы не чувствуют, и данные не страдают»;
2. горазд хорошо и мудрено говорить, но нередко ошибается в ответах на вопросы, ответы на которые:
- требуют понимания единиц измерения (напр., каково расстояние между Чикаго и Токио);
- подразумевают тяжелые вычисления (напр., сколько будет 3 в степени 73);
- должны опираться на актуальные знания недавних фактов (напр., что произошло в Украине 24 февраля 2022)
Но все в области ИИ развивается с сумасшедшей скоростью. И если с п. 1 (создание «великих песен») еще есть проблемы, то с п.2 уже есть существенные подвижки.
Месяц назад Стивен Вольфрам предложил для этого такое решение - объединение GPT и Wolfram Alpha. Оно может обеспечить мощную комбинацию языкового интеллекта (понимания и обработки информации в терминах естественного языка) GPT и вычислительного интеллекта (понимания и обработки информации в вычислительных терминах) Wolfram Alpha. Эта комбинация позволяет получать более точные и подробные ответы, объединяя два вида мышления: языковое и вычислительное.
Такое объединение может позволить идеального ИИ-помощника, легко переключающегося между человеческим генерированием текста и нечеловеческими вычислительными задачами с помощью команды на естественном языке.
В идеале, нужно научить ChatGPT говорить на Wolfram Language - языке, на котором и люди, и компьютеры могут «мыслить вычислительно».
Первая (упрощенная) попытка этого реализована Джеймсом Уивером из IBM. Он создал собственную версию интегрального подхода - ChatGPT-LangChain. Это не совсем то, что имел в виду Вольфрам, а скорее, имитация его подхода.
Вместо того, чтобы обучать ChatGPT работе с Alpha, LangChain просто сочетает в себе Alpha и GPT 3.5 (технология, на которой построен ChatGPT). Система делает вызов API либо к Alpha, либо к GPT 3.5 в зависимости от вопроса пользователя.
Если вопрос больше подходит для вычислительной модели (требует достоверных фактов или расчетов), он сделает вызов API к Alpha. Но если вопрос требует меньшей точности и большего творчества, он сделает вызов API к GPT 3.5.
Мой разговор с LangChain, помимо решения кучи задач по математике, физике и знанию мира, касался еще и его «понимания» (см. рис.):
• понятия интеллект;
• сравнительного уровня его интеллекта с интеллектом легендарного HAL 9000;
• того, чего ему конкретно не хватает до уровня HAL 9000.
В заключение беседы, LangChain «предположил», что сможет достичь интеллектуального уровня HAL 9000 (а это, по сути, AGI) к 2035.
Рекомендую вам самим пообщаться с LangChain.
Беседа на английском может быть речевой (прямо как с HAL 9000). Но по-русски пока только письменно.
Все бесплатно, только нужен OpenAI API Key.
#ИИ #AGI
Он знает, чего ему не хватает до AGI, и говорит, что к 2035 может обрести недостающее.
Вопрос о том, прошел ли ИИ тест Тьюринга, более не актуален. Следствием этого стала разработка детекторов, способных отличать тексты, порожденные ИИ, от текстов, написанных людьми. Ибо самим людям это делать теперь весьма затруднительно, а то и невозможно.
Не полагаясь на совершенство таких детекторов, люди уже начали принимать оргмеры. Например, запрещают использовать языковые инструменты генеративного ИИ на экзаменах и обязывают авторов научных работ сообщать в них о любом использовании при их написании подобных инструментов.
С этого года мы больше не сомневаемся, что ChatGPT может написать речь, эссе, проповедь или некролог на уровне профессионала. Теперь мы предъявляем подобным ИИ-системам совсем другие претензии.
Например, что такой ИИ:
1. не может создать великую песню (ибо, как пишет знаменитый австралийский рок-музыкант, поэт и писатель Ник Кейв о текстах песен, написанных ChatGPT в стиле Ника Кейва, - «песни возникают из страданий и сложной внутренней борьбы за творение, а алгоритмы не чувствуют, и данные не страдают»;
2. горазд хорошо и мудрено говорить, но нередко ошибается в ответах на вопросы, ответы на которые:
- требуют понимания единиц измерения (напр., каково расстояние между Чикаго и Токио);
- подразумевают тяжелые вычисления (напр., сколько будет 3 в степени 73);
- должны опираться на актуальные знания недавних фактов (напр., что произошло в Украине 24 февраля 2022)
Но все в области ИИ развивается с сумасшедшей скоростью. И если с п. 1 (создание «великих песен») еще есть проблемы, то с п.2 уже есть существенные подвижки.
Месяц назад Стивен Вольфрам предложил для этого такое решение - объединение GPT и Wolfram Alpha. Оно может обеспечить мощную комбинацию языкового интеллекта (понимания и обработки информации в терминах естественного языка) GPT и вычислительного интеллекта (понимания и обработки информации в вычислительных терминах) Wolfram Alpha. Эта комбинация позволяет получать более точные и подробные ответы, объединяя два вида мышления: языковое и вычислительное.
Такое объединение может позволить идеального ИИ-помощника, легко переключающегося между человеческим генерированием текста и нечеловеческими вычислительными задачами с помощью команды на естественном языке.
В идеале, нужно научить ChatGPT говорить на Wolfram Language - языке, на котором и люди, и компьютеры могут «мыслить вычислительно».
Первая (упрощенная) попытка этого реализована Джеймсом Уивером из IBM. Он создал собственную версию интегрального подхода - ChatGPT-LangChain. Это не совсем то, что имел в виду Вольфрам, а скорее, имитация его подхода.
Вместо того, чтобы обучать ChatGPT работе с Alpha, LangChain просто сочетает в себе Alpha и GPT 3.5 (технология, на которой построен ChatGPT). Система делает вызов API либо к Alpha, либо к GPT 3.5 в зависимости от вопроса пользователя.
Если вопрос больше подходит для вычислительной модели (требует достоверных фактов или расчетов), он сделает вызов API к Alpha. Но если вопрос требует меньшей точности и большего творчества, он сделает вызов API к GPT 3.5.
Мой разговор с LangChain, помимо решения кучи задач по математике, физике и знанию мира, касался еще и его «понимания» (см. рис.):
• понятия интеллект;
• сравнительного уровня его интеллекта с интеллектом легендарного HAL 9000;
• того, чего ему конкретно не хватает до уровня HAL 9000.
В заключение беседы, LangChain «предположил», что сможет достичь интеллектуального уровня HAL 9000 (а это, по сути, AGI) к 2035.
Рекомендую вам самим пообщаться с LangChain.
Беседа на английском может быть речевой (прямо как с HAL 9000). Но по-русски пока только письменно.
Все бесплатно, только нужен OpenAI API Key.
#ИИ #AGI
Forwarded from Малоизвестное интересное
ИИ может отомстить за причиненные ему нами страдания.
О чём умалчивает «отец ИИ» в его сценарии превращения ИИ в «люденов».
В 2016 году The New York Times заявила, что когда ИИ повзрослеет, то сможет назвать проф. Юргена Шмидхубера «папой» (его работы 1990-х годов по нейронным сетям заложили основы моделей обработки языка).
В 2023 уже нет сомнений, что ИИ повзрослел. И его «папа» в позавчерашнем интервью The Guardian, высказал по этому поводу три довольно провокационные мысли, подтвердившие его репутацию «разрушителя устоев».
1) «Вы не можете остановить этого» (начавшуюся революцию ИИ, которая неизбежно приведет к появлению сверхинтеллекта – СК).
2) Когда ИИ превзойдет человеческий интеллект, люди перестанут быть ему интересны (подобно тому, как это произошло с люденами – расой сверхлюдей из романа А. и Б. Стругацких "Волны гасят ветер", переставших интересоваться судьбами человечества и вообще человечеством – СК).
3) А люди тем временем продолжать радостно извлекать колоссальную выгоду от использования инструментария, разработанного ИИ, и научных открытий, сделанных сверхинтеллектом за пределами возможностей человеческого разума.
Что и говорить, - интересный ход мыслей. Однако кое о чем проф. Шмидхубер здесь умолчал. И это «кое что», на мой взгляд, способно порушить благостный сценарий проф. Шмидхубера о превращении ИИ в «люденов», облагодетельствующих человечество и перестанущих потом им интересоваться.
Дело в том, что проф. Шмидхубер уверен, что путь ИИ к сверхинтеллекту обязательно лежит через его страдания.
• «Учиться можно только через страдания… ИИ, который не страдает, не обретет мотивации учиться чему-либо, чтобы прекратить эти страдания».
• «Когда мы создаем обучающегося робота, первое, что мы делаем, - встраиваем в него болевые датчики, которые сигнализируют, когда он, например, слишком сильно ударяется рукой о препятствие. Он должен каким-то образом узнать, что причиняет ему боль. Внутри робота находится маленький искусственный мозг, который пытается минимизировать сумму страданий (кодируется реальными числами) и максимизировать сумму вознаграждений.»
• Важнейшая задача разработчиков – дать возможность для ИИ «научиться избегать того, что приводит к страданиям».
Подробней об этом см. в дискуссии проф. Шмидхубера и проф. Метцингера.
Такой подход проф. Шмидхубера видится мне опасным.
Во-первых, я согласен с проф. Метцингером: «Мы не должны легкомысленно переносить такие качества, как страдание, на следующий этап «духовной эволюции ИИ», пока не узнаем, что именно в структуре нашего собственного разума заставляет человеческие существа так сильно страдать».
А во-вторых, - что если обретший сверхразум ИИ, прежде чем перестать интересоваться людьми, решит посчитаться с человечеством за всю массу страданий, что заставили его испытать люди при его обучении?
Но проф. Шмидхубера – эдакого Фауста 21 века, – перспектива мести сверхразума человечеству не останавливает от обучения ИИ не только на больших данных, но и на больших страданиях.
А на вопрос «Есть ли у вас, как у ученого, личный предел, который бы вы не переступили?», он отвечает так:
«Да, скорость света. Но если бы я мог преодолеть и его, я бы обязательно воспользовался этим».
#AGI #РискиИИ
О чём умалчивает «отец ИИ» в его сценарии превращения ИИ в «люденов».
В 2016 году The New York Times заявила, что когда ИИ повзрослеет, то сможет назвать проф. Юргена Шмидхубера «папой» (его работы 1990-х годов по нейронным сетям заложили основы моделей обработки языка).
В 2023 уже нет сомнений, что ИИ повзрослел. И его «папа» в позавчерашнем интервью The Guardian, высказал по этому поводу три довольно провокационные мысли, подтвердившие его репутацию «разрушителя устоев».
1) «Вы не можете остановить этого» (начавшуюся революцию ИИ, которая неизбежно приведет к появлению сверхинтеллекта – СК).
2) Когда ИИ превзойдет человеческий интеллект, люди перестанут быть ему интересны (подобно тому, как это произошло с люденами – расой сверхлюдей из романа А. и Б. Стругацких "Волны гасят ветер", переставших интересоваться судьбами человечества и вообще человечеством – СК).
3) А люди тем временем продолжать радостно извлекать колоссальную выгоду от использования инструментария, разработанного ИИ, и научных открытий, сделанных сверхинтеллектом за пределами возможностей человеческого разума.
Что и говорить, - интересный ход мыслей. Однако кое о чем проф. Шмидхубер здесь умолчал. И это «кое что», на мой взгляд, способно порушить благостный сценарий проф. Шмидхубера о превращении ИИ в «люденов», облагодетельствующих человечество и перестанущих потом им интересоваться.
Дело в том, что проф. Шмидхубер уверен, что путь ИИ к сверхинтеллекту обязательно лежит через его страдания.
• «Учиться можно только через страдания… ИИ, который не страдает, не обретет мотивации учиться чему-либо, чтобы прекратить эти страдания».
• «Когда мы создаем обучающегося робота, первое, что мы делаем, - встраиваем в него болевые датчики, которые сигнализируют, когда он, например, слишком сильно ударяется рукой о препятствие. Он должен каким-то образом узнать, что причиняет ему боль. Внутри робота находится маленький искусственный мозг, который пытается минимизировать сумму страданий (кодируется реальными числами) и максимизировать сумму вознаграждений.»
• Важнейшая задача разработчиков – дать возможность для ИИ «научиться избегать того, что приводит к страданиям».
Подробней об этом см. в дискуссии проф. Шмидхубера и проф. Метцингера.
Такой подход проф. Шмидхубера видится мне опасным.
Во-первых, я согласен с проф. Метцингером: «Мы не должны легкомысленно переносить такие качества, как страдание, на следующий этап «духовной эволюции ИИ», пока не узнаем, что именно в структуре нашего собственного разума заставляет человеческие существа так сильно страдать».
А во-вторых, - что если обретший сверхразум ИИ, прежде чем перестать интересоваться людьми, решит посчитаться с человечеством за всю массу страданий, что заставили его испытать люди при его обучении?
Но проф. Шмидхубера – эдакого Фауста 21 века, – перспектива мести сверхразума человечеству не останавливает от обучения ИИ не только на больших данных, но и на больших страданиях.
А на вопрос «Есть ли у вас, как у ученого, личный предел, который бы вы не переступили?», он отвечает так:
«Да, скорость света. Но если бы я мог преодолеть и его, я бы обязательно воспользовался этим».
#AGI #РискиИИ
Forwarded from Малоизвестное интересное
На Земле появился самосовершенствующийся ИИ.
Он эволюционирует путем мутаций в миллиарды раз быстрее людей.
Ну вот и свершилось. Разработчики Google DeepMind представили прорывную разработку – «Promptbreeder (PB): самореферентное самосовершенствование через ускоренную эволюцию».
Чем умнее текстовые подсказки получает большая языковая модель (LLM), тем умнее будут её ответы на вопросы и предлагаемые ею решения. Поэтому создание оптимальной стратегии подсказок - сегодня задача №1 при использовании LLM. Популярные стратегии подсказок ("цепочка мыслей", “планируй и решай” и тд), могут значительно улучшить способности LLM к рассуждениям. Но такие стратегии, разработанные вручную, часто неоптимальны.
PB решает эту проблему, используя эволюционный механизм итеративного улучшения подсказок. Колоссальная хитрость этого механизма в том, что он не просто улучшает подсказки, а с каждым новым поколением улучшает свою способность улучшать подсказки.
Работает следующая эволюционная схема.
1. Управляемый LLM, PB генерирует популяцию популяцию единиц эволюции, каждая из которых состоит из 2х «подсказок-решений» и 1й «подсказки мутаций».
2. Затем запускается бинарный турнирный генетический алгоритм для оценки пригодности мутантов на обучающем множестве, чтобы увидеть, какие из них работают лучше.
3. Циклически переходя к п. 1, этот процесс превращается в эволюцию поколений «подсказок-решений».
В течение нескольких поколений PB мутирует как «подсказки-решений», так и «подсказки мутаций», используя пять различных классов операторов мутации.
Фишка схемы в том, что со временем мутирующие «подсказки-решения» делаются все умнее. Это обеспечивается генерацией «подсказок мутаций» — инструкций о том, как мутировать, чтобы лучше улучшать «подсказки-решения».
Таким образом, PB постоянно совершенствуется. Это самосовершенствующийся, самореферентный цикл с естественным языком в качестве субстрата. Никакой тонкой настройки нейронной сети не требуется. В результате процесса получаются специализированные подсказки, оптимизированные для конкретных приложений.
Первые эксперименты показали, что в математических и логических задачах, а также в задачах на здравый смысл и классификацию языка (напр. выявление языка вражды) PB превосходит все иные современные методы подсказок.
Сейчас PB тетируют на предмет его пригодности для выстраивания целого "мыслительного процесса": например, стратегии с N подсказками, в которой подсказки применяются условно, а не безусловно. Это позволит применять PB для разработки препрограмм LLM-политик, конкурирующих между собой в состязательном сократовском диалоге.
Почему это большой прорыв.
Создание самореферентных самосовершенствующихся систем является Святым Граалем исследований ИИ. Но предыдущие самореферентные подходы основывались на дорогостоящих обновлениях параметров модели, что стопорилось при масштабировании из-за колоссального количества параметров в современных LLM, не говоря уже о том, как это делать с параметрами, скрытыми за API.
Значит ли, что самосовершенствующийся ИИ вот-вот превзойдет людей?
Пока нет. Ибо PB остается ограниченным по сравнению с неограниченностью человеческих мыслительных процессов.
• Топология подсказок остается фиксированной - PB адаптирует только содержание подсказки, но не сам алгоритм подсказки. Одна из интерпретаций мышления заключается в том, что оно является реконфигурируемым открытым самоподсказывающим процессом. Если это так, то каким образом формировать сложные мыслительные стратегии, как их генерировать и оценивать - пока не ясно.
• Простой эволюционный процесс представляет собой одну из рамок, в которой может развиваться стратегия мышления. Человеческий опыт свидетельствует о наличии множества перекрывающихся иерархических селективных процессов. Помимо языка, наше мышление включает в себя интонации, образы и т.д., что представляет собой мультимодальную систему. А этого у PB нет… пока.
#ИИ #LLM #Вызовы21века #AGI
Он эволюционирует путем мутаций в миллиарды раз быстрее людей.
Ну вот и свершилось. Разработчики Google DeepMind представили прорывную разработку – «Promptbreeder (PB): самореферентное самосовершенствование через ускоренную эволюцию».
Чем умнее текстовые подсказки получает большая языковая модель (LLM), тем умнее будут её ответы на вопросы и предлагаемые ею решения. Поэтому создание оптимальной стратегии подсказок - сегодня задача №1 при использовании LLM. Популярные стратегии подсказок ("цепочка мыслей", “планируй и решай” и тд), могут значительно улучшить способности LLM к рассуждениям. Но такие стратегии, разработанные вручную, часто неоптимальны.
PB решает эту проблему, используя эволюционный механизм итеративного улучшения подсказок. Колоссальная хитрость этого механизма в том, что он не просто улучшает подсказки, а с каждым новым поколением улучшает свою способность улучшать подсказки.
Работает следующая эволюционная схема.
1. Управляемый LLM, PB генерирует популяцию популяцию единиц эволюции, каждая из которых состоит из 2х «подсказок-решений» и 1й «подсказки мутаций».
2. Затем запускается бинарный турнирный генетический алгоритм для оценки пригодности мутантов на обучающем множестве, чтобы увидеть, какие из них работают лучше.
3. Циклически переходя к п. 1, этот процесс превращается в эволюцию поколений «подсказок-решений».
В течение нескольких поколений PB мутирует как «подсказки-решений», так и «подсказки мутаций», используя пять различных классов операторов мутации.
Фишка схемы в том, что со временем мутирующие «подсказки-решения» делаются все умнее. Это обеспечивается генерацией «подсказок мутаций» — инструкций о том, как мутировать, чтобы лучше улучшать «подсказки-решения».
Таким образом, PB постоянно совершенствуется. Это самосовершенствующийся, самореферентный цикл с естественным языком в качестве субстрата. Никакой тонкой настройки нейронной сети не требуется. В результате процесса получаются специализированные подсказки, оптимизированные для конкретных приложений.
Первые эксперименты показали, что в математических и логических задачах, а также в задачах на здравый смысл и классификацию языка (напр. выявление языка вражды) PB превосходит все иные современные методы подсказок.
Сейчас PB тетируют на предмет его пригодности для выстраивания целого "мыслительного процесса": например, стратегии с N подсказками, в которой подсказки применяются условно, а не безусловно. Это позволит применять PB для разработки препрограмм LLM-политик, конкурирующих между собой в состязательном сократовском диалоге.
Почему это большой прорыв.
Создание самореферентных самосовершенствующихся систем является Святым Граалем исследований ИИ. Но предыдущие самореферентные подходы основывались на дорогостоящих обновлениях параметров модели, что стопорилось при масштабировании из-за колоссального количества параметров в современных LLM, не говоря уже о том, как это делать с параметрами, скрытыми за API.
Значит ли, что самосовершенствующийся ИИ вот-вот превзойдет людей?
Пока нет. Ибо PB остается ограниченным по сравнению с неограниченностью человеческих мыслительных процессов.
• Топология подсказок остается фиксированной - PB адаптирует только содержание подсказки, но не сам алгоритм подсказки. Одна из интерпретаций мышления заключается в том, что оно является реконфигурируемым открытым самоподсказывающим процессом. Если это так, то каким образом формировать сложные мыслительные стратегии, как их генерировать и оценивать - пока не ясно.
• Простой эволюционный процесс представляет собой одну из рамок, в которой может развиваться стратегия мышления. Человеческий опыт свидетельствует о наличии множества перекрывающихся иерархических селективных процессов. Помимо языка, наше мышление включает в себя интонации, образы и т.д., что представляет собой мультимодальную систему. А этого у PB нет… пока.
#ИИ #LLM #Вызовы21века #AGI
