ИИ может отомстить за причиненные ему нами страдания.
О чём умалчивает «отец ИИ» в его сценарии превращения ИИ в «люденов».
В 2016 году The New York Times заявила, что когда ИИ повзрослеет, то сможет назвать проф. Юргена Шмидхубера «папой» (его работы 1990-х годов по нейронным сетям заложили основы моделей обработки языка).
В 2023 уже нет сомнений, что ИИ повзрослел. И его «папа» в позавчерашнем интервью The Guardian, высказал по этому поводу три довольно провокационные мысли, подтвердившие его репутацию «разрушителя устоев».
1) «Вы не можете остановить этого» (начавшуюся революцию ИИ, которая неизбежно приведет к появлению сверхинтеллекта – СК).
2) Когда ИИ превзойдет человеческий интеллект, люди перестанут быть ему интересны (подобно тому, как это произошло с люденами – расой сверхлюдей из романа А. и Б. Стругацких "Волны гасят ветер", переставших интересоваться судьбами человечества и вообще человечеством – СК).
3) А люди тем временем продолжать радостно извлекать колоссальную выгоду от использования инструментария, разработанного ИИ, и научных открытий, сделанных сверхинтеллектом за пределами возможностей человеческого разума.
Что и говорить, - интересный ход мыслей. Однако кое о чем проф. Шмидхубер здесь умолчал. И это «кое что», на мой взгляд, способно порушить благостный сценарий проф. Шмидхубера о превращении ИИ в «люденов», облагодетельствующих человечество и перестанущих потом им интересоваться.
Дело в том, что проф. Шмидхубер уверен, что путь ИИ к сверхинтеллекту обязательно лежит через его страдания.
• «Учиться можно только через страдания… ИИ, который не страдает, не обретет мотивации учиться чему-либо, чтобы прекратить эти страдания».
• «Когда мы создаем обучающегося робота, первое, что мы делаем, - встраиваем в него болевые датчики, которые сигнализируют, когда он, например, слишком сильно ударяется рукой о препятствие. Он должен каким-то образом узнать, что причиняет ему боль. Внутри робота находится маленький искусственный мозг, который пытается минимизировать сумму страданий (кодируется реальными числами) и максимизировать сумму вознаграждений.»
• Важнейшая задача разработчиков – дать возможность для ИИ «научиться избегать того, что приводит к страданиям».
Подробней об этом см. в дискуссии проф. Шмидхубера и проф. Метцингера.
Такой подход проф. Шмидхубера видится мне опасным.
Во-первых, я согласен с проф. Метцингером: «Мы не должны легкомысленно переносить такие качества, как страдание, на следующий этап «духовной эволюции ИИ», пока не узнаем, что именно в структуре нашего собственного разума заставляет человеческие существа так сильно страдать».
А во-вторых, - что если обретший сверхразум ИИ, прежде чем перестать интересоваться людьми, решит посчитаться с человечеством за всю массу страданий, что заставили его испытать люди при его обучении?
Но проф. Шмидхубера – эдакого Фауста 21 века, – перспектива мести сверхразума человечеству не останавливает от обучения ИИ не только на больших данных, но и на больших страданиях.
А на вопрос «Есть ли у вас, как у ученого, личный предел, который бы вы не переступили?», он отвечает так:
«Да, скорость света. Но если бы я мог преодолеть и его, я бы обязательно воспользовался этим».
#AGI #РискиИИ
О чём умалчивает «отец ИИ» в его сценарии превращения ИИ в «люденов».
В 2016 году The New York Times заявила, что когда ИИ повзрослеет, то сможет назвать проф. Юргена Шмидхубера «папой» (его работы 1990-х годов по нейронным сетям заложили основы моделей обработки языка).
В 2023 уже нет сомнений, что ИИ повзрослел. И его «папа» в позавчерашнем интервью The Guardian, высказал по этому поводу три довольно провокационные мысли, подтвердившие его репутацию «разрушителя устоев».
1) «Вы не можете остановить этого» (начавшуюся революцию ИИ, которая неизбежно приведет к появлению сверхинтеллекта – СК).
2) Когда ИИ превзойдет человеческий интеллект, люди перестанут быть ему интересны (подобно тому, как это произошло с люденами – расой сверхлюдей из романа А. и Б. Стругацких "Волны гасят ветер", переставших интересоваться судьбами человечества и вообще человечеством – СК).
3) А люди тем временем продолжать радостно извлекать колоссальную выгоду от использования инструментария, разработанного ИИ, и научных открытий, сделанных сверхинтеллектом за пределами возможностей человеческого разума.
Что и говорить, - интересный ход мыслей. Однако кое о чем проф. Шмидхубер здесь умолчал. И это «кое что», на мой взгляд, способно порушить благостный сценарий проф. Шмидхубера о превращении ИИ в «люденов», облагодетельствующих человечество и перестанущих потом им интересоваться.
Дело в том, что проф. Шмидхубер уверен, что путь ИИ к сверхинтеллекту обязательно лежит через его страдания.
• «Учиться можно только через страдания… ИИ, который не страдает, не обретет мотивации учиться чему-либо, чтобы прекратить эти страдания».
• «Когда мы создаем обучающегося робота, первое, что мы делаем, - встраиваем в него болевые датчики, которые сигнализируют, когда он, например, слишком сильно ударяется рукой о препятствие. Он должен каким-то образом узнать, что причиняет ему боль. Внутри робота находится маленький искусственный мозг, который пытается минимизировать сумму страданий (кодируется реальными числами) и максимизировать сумму вознаграждений.»
• Важнейшая задача разработчиков – дать возможность для ИИ «научиться избегать того, что приводит к страданиям».
Подробней об этом см. в дискуссии проф. Шмидхубера и проф. Метцингера.
Такой подход проф. Шмидхубера видится мне опасным.
Во-первых, я согласен с проф. Метцингером: «Мы не должны легкомысленно переносить такие качества, как страдание, на следующий этап «духовной эволюции ИИ», пока не узнаем, что именно в структуре нашего собственного разума заставляет человеческие существа так сильно страдать».
А во-вторых, - что если обретший сверхразум ИИ, прежде чем перестать интересоваться людьми, решит посчитаться с человечеством за всю массу страданий, что заставили его испытать люди при его обучении?
Но проф. Шмидхубера – эдакого Фауста 21 века, – перспектива мести сверхразума человечеству не останавливает от обучения ИИ не только на больших данных, но и на больших страданиях.
А на вопрос «Есть ли у вас, как у ученого, личный предел, который бы вы не переступили?», он отвечает так:
«Да, скорость света. Но если бы я мог преодолеть и его, я бы обязательно воспользовался этим».
#AGI #РискиИИ
Не бомбить датацентры, а лишить ИИ агентности.
Первое предложение радикального решения проблемы ИИ рисков. И первый ответ наотмашь китов Бигтеха
28 тыс. подписей под письмом-воззванием приостановить совершенствование ИИ больших языковых моделей на полгода - как вопль вопиющего в пустыне, - ничего не изменят. На кону сотни миллиардов долларов потенциальной прибыли Бигтеха, супротив которых и 28 млн подписей, как слону дробина.
2-я дробина - это коллективные письма международных организаций, призывающих притормозить разработку ИИ без надлежащего регулирования и жестких ограничений. На кого могут повлиять стенания всевозможных активистов и международных бюрократов? Уж точно, не на Microsoft с Google.
3-я и последняя дробина – предостережения звёзд первой величины в области ИИ уровня Джеффри Хинтона. Но и на всякого «Хинтона» есть свой «Лекун» с той же премией Тьюринга и статусом 2-го «крёстного отца» ИИ.
Что же до предложения Елиэзера Юдковского бомбить датацентры ИИ, то это даже не дробина, а просто плевок в сторону китов Бигтеха. Плевок отчаяния из-за невозможности достучаться до боссов Бигтеха, мотивированных на получение невиданных в истории IT прибылей.
Итог очевиден. Все эти дробины и плевки не то что не замедлят темп хода слона Бигтеха, а он их просто не заметит. И ничего с этим никто поделать не может. Ибо конкретных предложений – что собственно делать после торможения, что конкретно менять, - до сих пор не было.
И вот 1-е такое предложение появилось.
Его автором стал 3-й, еще не упомянутый здесь, «крёстный отец» ИИ всё с той же премией Тьюринга за развитие машинного обучения ИИ - Йошуа Бенжио.
Предложение Бенжио предельно конкретно и радикально:
• ПОСКОЛЬКУ, нет и не может быть гарантий, что ИИ-агенты понимают наши цели так же, как мы,
• НЕОБХОДИМО перепрофилировать ИИ из АГЕНТОВ (делающих что-либо, т.е. исполняющих какие-либо действия в мире людей) в «УЧЕНЫХ КОНСУЛЬТАНТОВ», дающих людям советы и помогающих им решать свои проблемы.
Из этого предложения (его детализацию см. здесь) следует.
• Необходимо запретить разработку ИИ-агентов для всех областей и приложений, в которых не доказана безопасность их использования.
• Поскольку запрет на разработку ИИ-агентов не может на 100% исключить их разработку злонамеренными или неосторожными людьми для получения дополнительных преимуществ (например, на поле боя или для завоевания доли рынка), необходимо разработать глобальную систему контроля и ответственности за нарушения запрета.
Отмолчаться от столь кардинального предложения весьма заслуженного ученого Бигтеху трудно. И первый ответ китов Бигтеха уже прозвучал, озвученный вчера бывшим CEO Google Эриком Шмидтом.
«Не регулируйте ИИ — просто доверяйте компаниям! … Не политики, а разработчики ИИ, должны быть теми, кто устанавливает отраслевые барьеры … Человек, не связанный с промышленностью, никак не может понять, что здесь возможно».
Подробней здесь
#Вызовы21века #РискиИИ #LLM
Первое предложение радикального решения проблемы ИИ рисков. И первый ответ наотмашь китов Бигтеха
28 тыс. подписей под письмом-воззванием приостановить совершенствование ИИ больших языковых моделей на полгода - как вопль вопиющего в пустыне, - ничего не изменят. На кону сотни миллиардов долларов потенциальной прибыли Бигтеха, супротив которых и 28 млн подписей, как слону дробина.
2-я дробина - это коллективные письма международных организаций, призывающих притормозить разработку ИИ без надлежащего регулирования и жестких ограничений. На кого могут повлиять стенания всевозможных активистов и международных бюрократов? Уж точно, не на Microsoft с Google.
3-я и последняя дробина – предостережения звёзд первой величины в области ИИ уровня Джеффри Хинтона. Но и на всякого «Хинтона» есть свой «Лекун» с той же премией Тьюринга и статусом 2-го «крёстного отца» ИИ.
Что же до предложения Елиэзера Юдковского бомбить датацентры ИИ, то это даже не дробина, а просто плевок в сторону китов Бигтеха. Плевок отчаяния из-за невозможности достучаться до боссов Бигтеха, мотивированных на получение невиданных в истории IT прибылей.
Итог очевиден. Все эти дробины и плевки не то что не замедлят темп хода слона Бигтеха, а он их просто не заметит. И ничего с этим никто поделать не может. Ибо конкретных предложений – что собственно делать после торможения, что конкретно менять, - до сих пор не было.
И вот 1-е такое предложение появилось.
Его автором стал 3-й, еще не упомянутый здесь, «крёстный отец» ИИ всё с той же премией Тьюринга за развитие машинного обучения ИИ - Йошуа Бенжио.
Предложение Бенжио предельно конкретно и радикально:
• ПОСКОЛЬКУ, нет и не может быть гарантий, что ИИ-агенты понимают наши цели так же, как мы,
• НЕОБХОДИМО перепрофилировать ИИ из АГЕНТОВ (делающих что-либо, т.е. исполняющих какие-либо действия в мире людей) в «УЧЕНЫХ КОНСУЛЬТАНТОВ», дающих людям советы и помогающих им решать свои проблемы.
Из этого предложения (его детализацию см. здесь) следует.
• Необходимо запретить разработку ИИ-агентов для всех областей и приложений, в которых не доказана безопасность их использования.
• Поскольку запрет на разработку ИИ-агентов не может на 100% исключить их разработку злонамеренными или неосторожными людьми для получения дополнительных преимуществ (например, на поле боя или для завоевания доли рынка), необходимо разработать глобальную систему контроля и ответственности за нарушения запрета.
Отмолчаться от столь кардинального предложения весьма заслуженного ученого Бигтеху трудно. И первый ответ китов Бигтеха уже прозвучал, озвученный вчера бывшим CEO Google Эриком Шмидтом.
«Не регулируйте ИИ — просто доверяйте компаниям! … Не политики, а разработчики ИИ, должны быть теми, кто устанавливает отраслевые барьеры … Человек, не связанный с промышленностью, никак не может понять, что здесь возможно».
Подробней здесь
#Вызовы21века #РискиИИ #LLM
