Почему происходят катастрофы, которых можно было бы избежать. Что такое Розовый фламинго, и чем это понятие страшнее Черного лебедя.
Об этом я написал на Medium
goo.gl/Kwj55v
Что здесь интересно.
* Риски редкого, непредсказуемого катастрофического события – т.н. Черного лебедя - не самая главная опасность в этом мире.
* Куда опасней риски у т.н. Серого лебедя - предсказуемого катастрофического события, на которое люди склонны закрывать глаза или бессознательно игнорировать. Во-первых, потому что Серые лебеди случаются куда чаще Черных. А во-вторых, потому что Черных лебедей в принципе невозможно избежать – они же непредсказуемы.
* Однако самые неприятные и обидные риски несет т.н. Розовый фламинго - предсказуемое катастрофическое событие, игнорируемое руководством (компании или целого государства) под воздействием заинтересованных групп влияния вплоть до момента свершения катастрофы.
* Большинство страшных катастроф – это вовсе не Черные, а Серые лебеди. А за большинством из Серых лебедей, на самом деле, прячутся Розовые фламинго.
* Это справедливо для самых непохожих, на первый взгляд, катастроф: страшный теракт 9/11 в США, сбитый под Донецком Boeing-777, унесший жизни тысяч людей хаос, воцарившийся в Ираке после американского вторжения в 2003 г, финансовый кризис 2007-2008 и др.
* Недостаток воображения («failure of imagination», как назвали это в официальном отчете расследования теракта 9/11) и шкурные интересы влиятельных групп ведут к игнорированию обществом новых страшных катастроф.
* Но их можно избежать, если вовремя перестать игнорировать. А для этого их нужно, как минимум, осознать и начать открыто обсуждать.
Об этом я написал на Medium
goo.gl/Kwj55v
Что здесь интересно.
* Риски редкого, непредсказуемого катастрофического события – т.н. Черного лебедя - не самая главная опасность в этом мире.
* Куда опасней риски у т.н. Серого лебедя - предсказуемого катастрофического события, на которое люди склонны закрывать глаза или бессознательно игнорировать. Во-первых, потому что Серые лебеди случаются куда чаще Черных. А во-вторых, потому что Черных лебедей в принципе невозможно избежать – они же непредсказуемы.
* Однако самые неприятные и обидные риски несет т.н. Розовый фламинго - предсказуемое катастрофическое событие, игнорируемое руководством (компании или целого государства) под воздействием заинтересованных групп влияния вплоть до момента свершения катастрофы.
* Большинство страшных катастроф – это вовсе не Черные, а Серые лебеди. А за большинством из Серых лебедей, на самом деле, прячутся Розовые фламинго.
* Это справедливо для самых непохожих, на первый взгляд, катастроф: страшный теракт 9/11 в США, сбитый под Донецком Boeing-777, унесший жизни тысяч людей хаос, воцарившийся в Ираке после американского вторжения в 2003 г, финансовый кризис 2007-2008 и др.
* Недостаток воображения («failure of imagination», как назвали это в официальном отчете расследования теракта 9/11) и шкурные интересы влиятельных групп ведут к игнорированию обществом новых страшных катастроф.
* Но их можно избежать, если вовремя перестать игнорировать. А для этого их нужно, как минимум, осознать и начать открыто обсуждать.
Medium
Почему происходят катастрофы, которых можно было бы избежать
Что такое Розовый фламинго и чем это понятие хуже Черного лебедя
Дабы читателям канала не тратить впустую свое драгоценное время на ознакомление с контентом «непонятно о чем и зачем», - уточню, что я планирую здесь писать. И поясню это на конкретных примерах.
В сети уже немало блогов и каналов «про интересные хайтековские новости». Среди них есть и весьма качественные. Однако, даже на лучших из них рассказывается, в основном, либо о мэйнстримовских темах (типа Big Data), либо о самых хайповских (ажиотажно популярных) темах (типа Нейронных сетей и Машинного обучения).
О малоизвестном интересном – еще не достигнувшем пика ажиотажа (ака пик завышенных ожиданий) - пишут на два порядка реже. И по-моему, зря.
Ведь среди новаций много таких, что взлетают на пик ажиотажа на «маркетинговых крыльях», а вовсе не в силу своего прорывного потенциала. Сегодня в маркетинг вбухиваются бОльшие деньги, чем в исследования и разработки. В результате многие раздутые маркетингом темы становятся самыми популярными, а зачастую, и просто забалтываемыми.
Такие темы на этом канале обсуждаться не будут.
Но есть несколько классов тем, до которых маркетинг пока еще не добрался в силу, например, не совсем понятной их принадлежности.
* Это про что: про компьютерное моделирование, социологию, историю или какую-то эзотерическую социофизику?
* Это зачем: теоретическое исследование, прикладная методология, алгоритмы для нового класса приложений или готовое решение ранее нерешаемой задачи?
Такие классы тем, чаще всего находятся на стыках разных наук. Например, социологии, антропологии и физики; или лингвистики, теории сетей и психологии и т.д.
Более того. Эти классы лежат на стыках разных технологий. Например, Big Data, Агентное моделирование и медицина; микро-макро моделирование, анализ гиперссылок и выявление социальных феноменов в WEB.
И еще более того. Потенциальными выгодоприобретателями от внедрения разработок по таким классам тем могут стать самые разные и трудносовместимые области. Например, здравоохранение, журналистика и разведка, политические институты общества и политтехнологи действующей власти, финансовый бизнес и отдельные граждане и т.д. и т.п.
Именно об этих, лежащих на стыках наук, технологий, бизнеса и общества классах тем я и собираюсь писать на канале «Малоизвестное интересное». И как уже сказал выше, о пока еще сравнительно малоизвестных темах.
Примером этому - 1й пост канала про Розовых фламинго. Ведь действительно, даже самые продвинутые в стране эксперты не слыхали раньше про это.
Как с юмором написал мне в отзыве на 1й пост канала старый знакомый – один из самых продвинутых экспертов по ситуационному анализу, доктор, профессор, лауреат, визионер и идеолог: «Про серых лебедей и этих фламинго я, кажись, не слышал. Правда, знаю, что начальники муд-ки, а все хорошие дела делаются по недосмотру начальства!»
Точно подмечено. Но ведь для того и разработана новая концепция Розовых фламинго, чтобы и с начальники муд-ками бороться и в обход их хорошие дела делать 😊
Ну а следующим примером будет новый пост о революции на стыке естественных и социальных наук, которую наблюдают все, но мало кто пока осознал и, тем более, обдумал.
Читайте и, если нравится, присоединяйтесь к каналу.
В сети уже немало блогов и каналов «про интересные хайтековские новости». Среди них есть и весьма качественные. Однако, даже на лучших из них рассказывается, в основном, либо о мэйнстримовских темах (типа Big Data), либо о самых хайповских (ажиотажно популярных) темах (типа Нейронных сетей и Машинного обучения).
О малоизвестном интересном – еще не достигнувшем пика ажиотажа (ака пик завышенных ожиданий) - пишут на два порядка реже. И по-моему, зря.
Ведь среди новаций много таких, что взлетают на пик ажиотажа на «маркетинговых крыльях», а вовсе не в силу своего прорывного потенциала. Сегодня в маркетинг вбухиваются бОльшие деньги, чем в исследования и разработки. В результате многие раздутые маркетингом темы становятся самыми популярными, а зачастую, и просто забалтываемыми.
Такие темы на этом канале обсуждаться не будут.
Но есть несколько классов тем, до которых маркетинг пока еще не добрался в силу, например, не совсем понятной их принадлежности.
* Это про что: про компьютерное моделирование, социологию, историю или какую-то эзотерическую социофизику?
* Это зачем: теоретическое исследование, прикладная методология, алгоритмы для нового класса приложений или готовое решение ранее нерешаемой задачи?
Такие классы тем, чаще всего находятся на стыках разных наук. Например, социологии, антропологии и физики; или лингвистики, теории сетей и психологии и т.д.
Более того. Эти классы лежат на стыках разных технологий. Например, Big Data, Агентное моделирование и медицина; микро-макро моделирование, анализ гиперссылок и выявление социальных феноменов в WEB.
И еще более того. Потенциальными выгодоприобретателями от внедрения разработок по таким классам тем могут стать самые разные и трудносовместимые области. Например, здравоохранение, журналистика и разведка, политические институты общества и политтехнологи действующей власти, финансовый бизнес и отдельные граждане и т.д. и т.п.
Именно об этих, лежащих на стыках наук, технологий, бизнеса и общества классах тем я и собираюсь писать на канале «Малоизвестное интересное». И как уже сказал выше, о пока еще сравнительно малоизвестных темах.
Примером этому - 1й пост канала про Розовых фламинго. Ведь действительно, даже самые продвинутые в стране эксперты не слыхали раньше про это.
Как с юмором написал мне в отзыве на 1й пост канала старый знакомый – один из самых продвинутых экспертов по ситуационному анализу, доктор, профессор, лауреат, визионер и идеолог: «Про серых лебедей и этих фламинго я, кажись, не слышал. Правда, знаю, что начальники муд-ки, а все хорошие дела делаются по недосмотру начальства!»
Точно подмечено. Но ведь для того и разработана новая концепция Розовых фламинго, чтобы и с начальники муд-ками бороться и в обход их хорошие дела делать 😊
Ну а следующим примером будет новый пост о революции на стыке естественных и социальных наук, которую наблюдают все, но мало кто пока осознал и, тем более, обдумал.
Читайте и, если нравится, присоединяйтесь к каналу.
В последние годы в мире произошла революция на стыке естественных и социальных наук, которую наблюдают все, но мало кто пока осознал и, тем более, обдумал.
Это революция в цифровом моделировании социальных феноменов: от вирусных мемов и культурных трендов до общественного мнений и политических пристрастий электората.
* Базой для этой революции стали Big Data социальной оцифровки, получаемые при трассировке следов, оставляемых людьми в электронных средах в ходе серфинга по интернет сайтам, общения в социальных сетях, онлайн-шопинга, порождения всевозможных данных носимыми гаджетами и пр.
* Оказалось, что с переходом человечества в цифровую среду (digital media) практически все следы, оставляемые в ней людьми, потенциально трассируемы (отслеживаемы и доступны для анализа). Более того – многие из классов таких следов уже трассируются.
* Растущие со страшной скоростью Big Data социальной оцифровки стали основой для моделирования возникновения коллективных феноменов при индивидуальных взаимодействиях.
* В таких моделях индивидуумы выступают в роли «социальных атомов», к большим коллективам которых применимы физические законы и математический аппарат из разных областей естественных наук.
* Исследования на таких моделях пока только начинаются, но даже первые результаты приносят поразительные выводы.
О результатах двух таких исследований я недавно рассказал применительно к альтернативной выборной стратегии для оппозиции.
https://goo.gl/OVjM5a
Ну а в дальнейшем планирую рассказать о результатах самых разных новейших исследований по цифровому моделированию социальных феноменов.
Их тематика крайне разнообразна: моделирование динамики популярности в блогосфере, поведение разнообразных меньшинств, распространение и утверждение новых научных парадигм, формирование международных отношений, лексические тренды в истории литературы, тренды в развитии патентовании, Википедии, краудсорсинга и т.д. и т.п.
Так что, если у вас есть предпочтения в названной (или не названной) тематике, пишите.
Ну и подписывайтесь на канал 😊
Это революция в цифровом моделировании социальных феноменов: от вирусных мемов и культурных трендов до общественного мнений и политических пристрастий электората.
* Базой для этой революции стали Big Data социальной оцифровки, получаемые при трассировке следов, оставляемых людьми в электронных средах в ходе серфинга по интернет сайтам, общения в социальных сетях, онлайн-шопинга, порождения всевозможных данных носимыми гаджетами и пр.
* Оказалось, что с переходом человечества в цифровую среду (digital media) практически все следы, оставляемые в ней людьми, потенциально трассируемы (отслеживаемы и доступны для анализа). Более того – многие из классов таких следов уже трассируются.
* Растущие со страшной скоростью Big Data социальной оцифровки стали основой для моделирования возникновения коллективных феноменов при индивидуальных взаимодействиях.
* В таких моделях индивидуумы выступают в роли «социальных атомов», к большим коллективам которых применимы физические законы и математический аппарат из разных областей естественных наук.
* Исследования на таких моделях пока только начинаются, но даже первые результаты приносят поразительные выводы.
О результатах двух таких исследований я недавно рассказал применительно к альтернативной выборной стратегии для оппозиции.
https://goo.gl/OVjM5a
Ну а в дальнейшем планирую рассказать о результатах самых разных новейших исследований по цифровому моделированию социальных феноменов.
Их тематика крайне разнообразна: моделирование динамики популярности в блогосфере, поведение разнообразных меньшинств, распространение и утверждение новых научных парадигм, формирование международных отношений, лексические тренды в истории литературы, тренды в развитии патентовании, Википедии, краудсорсинга и т.д. и т.п.
Так что, если у вас есть предпочтения в названной (или не названной) тематике, пишите.
Ну и подписывайтесь на канал 😊
Medium
Эффект Ленина-Трампа
Как победить оппозиции, имея только 3% сторонников
Читателям канала, желающим разобраться и понять:
I - что уже принесла революция на стыке естественных и социальных наук, и
II - какая ключевая проблема стоит на пути широкого внедрения плодов этой революции в жизнь,
- рекомендую прочесть короткую статью-манифест трех закоперщиков этой революции
https://goo.gl/LPI6xu
При хорошем знании английского, это чтение примерно на 15 мин. Кроме того, у статьи прекрасный список цитируемой литературы из нескольких десятков названий, где есть все самое главное по теме.
Тем же, кому жаль 15 мин или на английском читать влом, вот ее бриф на 1,5 мин чтения:
* На сегодня уже научились с помощью агентного моделирования имитировать на моделях (а иногда и объяснять) появление самых разнообразных коллективных феноменов в результате индивидуальных взаимодействий людей, как в электронной среде (например, соцсети), так и в жизни. Авторы приводят ссылки на десятки исследований самых разных коллективных феноменов.
* Самое главное, что гигантское число социальных взаимодействий уже трассируется, лавинообразно наращивая Big Data для последующего анализа, интерпретации и предсказаний.
* Если с самим моделированием получается все достаточно точно и ясно, то с объяснениями, ПОЧЕМУ возникает коллективный феномен, увы, все пока зыбко – т.к. во многом определяется субъективными соображениями авторов исследований.
* Например, моделируется работа рынка ценных бумаг. Модельные агенты взаимодействуют на этом рынке согласно своим шкурным интересам. И все идет, вроде как, хорошо и понятно. Но вот вдруг начинает казаться, что некий агент А теряет доверие участников рынка. И чтобы дальше моделировать, нужно в модели формально прописать, как и из чего образуется это доверие, и почему оно может расти и падать. По этому поводу одни исследователи говорят – в результате предыдущих сделок у А репутация пошатнулась, другие пеняют на проблемы семейных связей А, а третьи считают, что просто рожа у А стала какая-то хитро-паскудная в поледнее время (ведь и так по жизни бывает). Так возникает разнобой интерпретаций, который компьютерная модель сама разрешить не в силах. Отсюда – субъективность.
* Однако с наиболее простыми моделями – например, динамика мнений – все уже получается неплохо. И с моделированием, и с интерпретацией, и с практическим использованием: от рекомендательных систем в торговле до влияния на избирателей в ходе кампании. Самое ценное – при моделировании виден процесс, КАК люди меняют свое мнение. Зная это, можно понять, как оптимально влиять на мнения интересной вам группы людей.
* Ключевая задача на ближайшие несколько лет – разработать формальные методы объяснений, почему модель дает такие результаты, дабы:
(1) уйти от субъективных интерпретаций и
(2) содержательно понимать, что, на самом деле, следует из поведения модели и почему.
N.B. Эта задача в ближайшие годы будет ключевой не только для понимания, как возникают коллективные феномены в результате индивидуальных взаимодействий людей. По сути, это ключевая задача дальнейшего развития парадигмы Big Data. Но об стоит написать отдельно.
I - что уже принесла революция на стыке естественных и социальных наук, и
II - какая ключевая проблема стоит на пути широкого внедрения плодов этой революции в жизнь,
- рекомендую прочесть короткую статью-манифест трех закоперщиков этой революции
https://goo.gl/LPI6xu
При хорошем знании английского, это чтение примерно на 15 мин. Кроме того, у статьи прекрасный список цитируемой литературы из нескольких десятков названий, где есть все самое главное по теме.
Тем же, кому жаль 15 мин или на английском читать влом, вот ее бриф на 1,5 мин чтения:
* На сегодня уже научились с помощью агентного моделирования имитировать на моделях (а иногда и объяснять) появление самых разнообразных коллективных феноменов в результате индивидуальных взаимодействий людей, как в электронной среде (например, соцсети), так и в жизни. Авторы приводят ссылки на десятки исследований самых разных коллективных феноменов.
* Самое главное, что гигантское число социальных взаимодействий уже трассируется, лавинообразно наращивая Big Data для последующего анализа, интерпретации и предсказаний.
* Если с самим моделированием получается все достаточно точно и ясно, то с объяснениями, ПОЧЕМУ возникает коллективный феномен, увы, все пока зыбко – т.к. во многом определяется субъективными соображениями авторов исследований.
* Например, моделируется работа рынка ценных бумаг. Модельные агенты взаимодействуют на этом рынке согласно своим шкурным интересам. И все идет, вроде как, хорошо и понятно. Но вот вдруг начинает казаться, что некий агент А теряет доверие участников рынка. И чтобы дальше моделировать, нужно в модели формально прописать, как и из чего образуется это доверие, и почему оно может расти и падать. По этому поводу одни исследователи говорят – в результате предыдущих сделок у А репутация пошатнулась, другие пеняют на проблемы семейных связей А, а третьи считают, что просто рожа у А стала какая-то хитро-паскудная в поледнее время (ведь и так по жизни бывает). Так возникает разнобой интерпретаций, который компьютерная модель сама разрешить не в силах. Отсюда – субъективность.
* Однако с наиболее простыми моделями – например, динамика мнений – все уже получается неплохо. И с моделированием, и с интерпретацией, и с практическим использованием: от рекомендательных систем в торговле до влияния на избирателей в ходе кампании. Самое ценное – при моделировании виден процесс, КАК люди меняют свое мнение. Зная это, можно понять, как оптимально влиять на мнения интересной вам группы людей.
* Ключевая задача на ближайшие несколько лет – разработать формальные методы объяснений, почему модель дает такие результаты, дабы:
(1) уйти от субъективных интерпретаций и
(2) содержательно понимать, что, на самом деле, следует из поведения модели и почему.
N.B. Эта задача в ближайшие годы будет ключевой не только для понимания, как возникают коллективные феномены в результате индивидуальных взаимодействий людей. По сути, это ключевая задача дальнейшего развития парадигмы Big Data. Но об стоит написать отдельно.
Сегодня логика принятия решений машиной, зачастую, не понятна никому.
Главным бенефитом для человечества, уже вкушающего плоды развития технологий глубокого машинного обучения, является автоматизация процессов принятия решений: от решений типа – сколько магазину заказать на складе йогуртов и какой марки, до решений типа – запустить ракету по противнику или нет.
А главной проблемой при вкушении этих плодов оказывается:
- не точность принимаемых машиной решений,
- не отсутствие необходимых данных,
- не скорость принятия решений,
а нарастающее НЕПОНИМАНИЕ людьми ПОЧЕМУ машина принимает эти, а не иные решения.
По сути, это и есть ключевая задача дальнейшего развития парадигмы Big Data, о которой я упомянул в конце предыдущего поста.
Как бывало и ранее, первыми к решению этой задачи подступились американские военные ученые из DARPA .
В августе этого года они запустили проект Explainable Artificial Intelligence (XAI) - Объяснимый Искусственный интеллект http://www.darpa.mil/program/explainable-artificial-intelligence
Цель проекта – создать инструментарий для объяснений ПОЧЕМУ машина принимает те или иные решения.
Как популярно объясняют генералы – кураторы проекта в DARPA, сегодня, наблюдая за решениями, принимаемыми машинами, или их рекомендациями, которая машина нам дает, мы не понимаем (до конца или вообще):
1) Почему машина выбрала или предложила именно такое решение, а не другое?
2) А что было бы, если бы было принято иное решение?
3) Как понять, было ли это лучшее решение?
4) Насколько можно доверять конкретному выбору решения машиной?
5) И главное – как нам исправить ситуацию, если принятое машиной решение окажется ошибочным?
Планируется, что в результате проведения проекта XAI (эта аббревиатура навевает ассоциации с новым романом Пелевина «Лампа Мафусаила, или Крайняя битва чекистов с масонами»)) американские генералы (а потом, возможно, и весь мир) смогут, наконец, понять логику принятия решений машиной, получая ответы на вышеприведенные 5 вопросов.
Чем не сюжет для нового романа Пелевина?
P.S. Во второй половине 90ых Пелевин, вдохновившись технологическими идеями компании Silicon Graphics (российским отделением которой руководил я), написал роман «Generation „П“». Почему бы и теперь ему не вдохновиться идеями XAI?
#XAI #Пелевин
Главным бенефитом для человечества, уже вкушающего плоды развития технологий глубокого машинного обучения, является автоматизация процессов принятия решений: от решений типа – сколько магазину заказать на складе йогуртов и какой марки, до решений типа – запустить ракету по противнику или нет.
А главной проблемой при вкушении этих плодов оказывается:
- не точность принимаемых машиной решений,
- не отсутствие необходимых данных,
- не скорость принятия решений,
а нарастающее НЕПОНИМАНИЕ людьми ПОЧЕМУ машина принимает эти, а не иные решения.
По сути, это и есть ключевая задача дальнейшего развития парадигмы Big Data, о которой я упомянул в конце предыдущего поста.
Как бывало и ранее, первыми к решению этой задачи подступились американские военные ученые из DARPA .
В августе этого года они запустили проект Explainable Artificial Intelligence (XAI) - Объяснимый Искусственный интеллект http://www.darpa.mil/program/explainable-artificial-intelligence
Цель проекта – создать инструментарий для объяснений ПОЧЕМУ машина принимает те или иные решения.
Как популярно объясняют генералы – кураторы проекта в DARPA, сегодня, наблюдая за решениями, принимаемыми машинами, или их рекомендациями, которая машина нам дает, мы не понимаем (до конца или вообще):
1) Почему машина выбрала или предложила именно такое решение, а не другое?
2) А что было бы, если бы было принято иное решение?
3) Как понять, было ли это лучшее решение?
4) Насколько можно доверять конкретному выбору решения машиной?
5) И главное – как нам исправить ситуацию, если принятое машиной решение окажется ошибочным?
Планируется, что в результате проведения проекта XAI (эта аббревиатура навевает ассоциации с новым романом Пелевина «Лампа Мафусаила, или Крайняя битва чекистов с масонами»)) американские генералы (а потом, возможно, и весь мир) смогут, наконец, понять логику принятия решений машиной, получая ответы на вышеприведенные 5 вопросов.
Чем не сюжет для нового романа Пелевина?
P.S. Во второй половине 90ых Пелевин, вдохновившись технологическими идеями компании Silicon Graphics (российским отделением которой руководил я), написал роман «Generation „П“». Почему бы и теперь ему не вдохновиться идеями XAI?
#XAI #Пелевин
Интересно формируется новостная повестка!
У журналистов все понятно. Никто не напишет про банальную новость, что собака укусила человека. Зато про необычную новость, что человек укусил собаку, напишут все.
У технологов же и, особенно у маркетологов, все наоборот. Про очередную банальную новость о замечательных перспективах машинного обучения, высказанную в интервью Тима Кука в Японии, пишут многие (и даже заслуженный канал @TechSparks). А вот про необычную новость о нарастающих проблемах в применении глубокого машинного обучения, опубликованную в октябрьском выпуске журнала Nature
http://www.nature.com/news/can-we-open-the-black-box-of-ai-1.20731 ,
пока что не хочет писать никто.
А это ведь не только интересно, но и при попустительстве технологов и маркетологов, - малоизвестно. Поэтому пишу об этом здесь.
Проблема «черного ящика искусственного интеллекта», о которой пишет Nature, - эта та же проблема, о которой я писал в предыдущем посте этого канала. Даже сами разработчики современных систем глубокого машинного обучения не понимают их рекомендаций. Логика машинных рекомендаций не понятна и специалистам, которым рекомендации адресуются.
В итоге, как пишет Nature:
* Приложения на базе глубокого машинного обучения становятся все опасней из-за неспособности людей понять мотивы и логику вырабатываемых ими решений и рекомендаций.
* Уже существует масса областей, активно использующих глубокое машинное обучение, где вырабатываемые машиной решения могут нанести серьезный вред, а то и оказаться незаконными (в статье приводятся примеры от диагностики рака до финансового анализа и самоуправляемых авто).
* Нужно срочно сфокусировать внимание и инвестиции на разработке т.н. «Прозрачного искусственного интеллекта» - Transparent AI (см. о проекте XAI в предыдущем посте канала)
* Речь не идет об отказе от метода глубокого машинного обучения. Но из соображений безопасности во многих критических областях для этого метода срочно нужны альтернативные методы с прозрачной мотивацией и логикой принятия решений.
* Если же этого не сделать, останется только, подобно цитируемому в статье Пьеру Балди, успокаивать себя и других соображениями о том, что и человеческие решения также принимаются мозгом совершенно не понятно как, и ничего, - живем.
Но это, по-моему, какая-то странная отмазка.
У журналистов все понятно. Никто не напишет про банальную новость, что собака укусила человека. Зато про необычную новость, что человек укусил собаку, напишут все.
У технологов же и, особенно у маркетологов, все наоборот. Про очередную банальную новость о замечательных перспективах машинного обучения, высказанную в интервью Тима Кука в Японии, пишут многие (и даже заслуженный канал @TechSparks). А вот про необычную новость о нарастающих проблемах в применении глубокого машинного обучения, опубликованную в октябрьском выпуске журнала Nature
http://www.nature.com/news/can-we-open-the-black-box-of-ai-1.20731 ,
пока что не хочет писать никто.
А это ведь не только интересно, но и при попустительстве технологов и маркетологов, - малоизвестно. Поэтому пишу об этом здесь.
Проблема «черного ящика искусственного интеллекта», о которой пишет Nature, - эта та же проблема, о которой я писал в предыдущем посте этого канала. Даже сами разработчики современных систем глубокого машинного обучения не понимают их рекомендаций. Логика машинных рекомендаций не понятна и специалистам, которым рекомендации адресуются.
В итоге, как пишет Nature:
* Приложения на базе глубокого машинного обучения становятся все опасней из-за неспособности людей понять мотивы и логику вырабатываемых ими решений и рекомендаций.
* Уже существует масса областей, активно использующих глубокое машинное обучение, где вырабатываемые машиной решения могут нанести серьезный вред, а то и оказаться незаконными (в статье приводятся примеры от диагностики рака до финансового анализа и самоуправляемых авто).
* Нужно срочно сфокусировать внимание и инвестиции на разработке т.н. «Прозрачного искусственного интеллекта» - Transparent AI (см. о проекте XAI в предыдущем посте канала)
* Речь не идет об отказе от метода глубокого машинного обучения. Но из соображений безопасности во многих критических областях для этого метода срочно нужны альтернативные методы с прозрачной мотивацией и логикой принятия решений.
* Если же этого не сделать, останется только, подобно цитируемому в статье Пьеру Балди, успокаивать себя и других соображениями о том, что и человеческие решения также принимаются мозгом совершенно не понятно как, и ничего, - живем.
Но это, по-моему, какая-то странная отмазка.
Nature News & Comment
Can we open the black box of AI?
Artificial intelligence is everywhere. But before scientists trust it, they first need to understand how machines learn.
Стоило неосторожно заявить, что о «черном ящике искусственного интеллекта» никто не пишет, как мне сразу же прилетело от «старших товарищей»)
Еще как пишут https://telegram.me/brodetsky/510 И не только пишут, но и активно читают (уже 5К+).
Что ж, - тем приятней быть в Телеграме. Из-за этого сюда и пришел с желанием сказать кое что малоизвестное интересное. Поскольку экосистема здесь, на мой вкус, для этого куда лучше, чем в FB и большинстве российских онлайн СМИ.
Тем не менее, это не отменяет моего мнения, что в подавляющем большинстве медиа-ресурсов на тему «черного ящика AI» пишется несравнимо меньше, чем о зияющих высотах перспектив AI.
И потому эта тема так и остается пока малоизвестным интересным, о котором нужно и буду писать.
Еще как пишут https://telegram.me/brodetsky/510 И не только пишут, но и активно читают (уже 5К+).
Что ж, - тем приятней быть в Телеграме. Из-за этого сюда и пришел с желанием сказать кое что малоизвестное интересное. Поскольку экосистема здесь, на мой вкус, для этого куда лучше, чем в FB и большинстве российских онлайн СМИ.
Тем не менее, это не отменяет моего мнения, что в подавляющем большинстве медиа-ресурсов на тему «черного ящика AI» пишется несравнимо меньше, чем о зияющих высотах перспектив AI.
И потому эта тема так и остается пока малоизвестным интересным, о котором нужно и буду писать.
Telegram
Технологии, медиа и общество
Хороший текст - длинный, но понятно написанный - о сложностях, связанных с непрозрачностью алгоритмов машинного обучения.
Никто не знает, как именно работают нейросети. А значит, никто не может сказать, когда они сработают неправильно.
Некоторые бизнесы…
Никто не знает, как именно работают нейросети. А значит, никто не может сказать, когда они сработают неправильно.
Некоторые бизнесы…
Вслед ажиотажу и шумихе вокруг прошедшего в Москве семинара Нассима Талеба, хочу добавить несколько интересных, но малоизвестных моментов.
1) Не смотря на мировую популярность самого Талеба и его бестселлера «Черный лебедь», многие его весьма интересные идеи крайне малоизвестны. Причина этого в том, что в сознании большинства людей впечатляющая и интригующая идея про черных лебедей непредсказуемых катастроф заняла 99% смыслового пространства, отведенного Талебу и всему его творчеству. Увы! Но так обычно и бывает со всеми авторами нетривиальных теорий, если вдруг какая-то из их книг становится мировым бестселлером, а сами они превращаются в интеллектуальных поп звезд.
2) По моей субъективной оценке, 9 из 10 прочитавших «Черного лебедя» больше не прочли ни одной из его книг и статей (более 70). А ведь «Черный лебедь» - это хоть и бестселлер, но всего лишь 2ой том пятикнижной серии Incerno (неуверенный, неопределившийся, сомневающийся - в переводе с итальянского). Причем этот том, как и 1й том серии - Fooled by Randomness - «Одураченные случайностью», Талеб не рекомендует читать, считая их подготовительными заготовками к третьему тому «Антихрупкость» - Antifragile.
3) Но даже те, кто прочел все три вышеназванных тома плюс 4й том «Прокрустово ложе» - The Bed of Procrustes - в подавляющем большинстве даже не слышали о 5й последней книге серии «Cвоя шкура на кону» - Skin in the Game
http://www.fooledbyrandomness.com/SITG.html ,
публикуемой автором онлайн по мере написания. А ведь там рассказывается об идеях посерьезней концепции черных лебедей. Эта книга подытоживает серию, подводя читателей к ответу на вопрос, какова же оптимальная инвестиционная стратегия в нашем хрупком мире. Ну а поскольку Skin in the Game – это свое рода итог, Талеб не спешит с его окончательной публикацией, продолжая работать над независимыми эссе, из которых состоит эта книга.
4) Наиболее интересной идеей этой последней книги мне видится идея о принципиальной математической непостижимости человеческого мозга и вытекающей отсюда невозможности его воспроизведения в форме искусственного интеллекта.
Об этой идее Талеба я собираюсь написать. А пока желающие могут почитать эссе, в котором про это рассказывается.
https://dl.dropboxusercontent.com/u/50282823/meanfield.pdf
1) Не смотря на мировую популярность самого Талеба и его бестселлера «Черный лебедь», многие его весьма интересные идеи крайне малоизвестны. Причина этого в том, что в сознании большинства людей впечатляющая и интригующая идея про черных лебедей непредсказуемых катастроф заняла 99% смыслового пространства, отведенного Талебу и всему его творчеству. Увы! Но так обычно и бывает со всеми авторами нетривиальных теорий, если вдруг какая-то из их книг становится мировым бестселлером, а сами они превращаются в интеллектуальных поп звезд.
2) По моей субъективной оценке, 9 из 10 прочитавших «Черного лебедя» больше не прочли ни одной из его книг и статей (более 70). А ведь «Черный лебедь» - это хоть и бестселлер, но всего лишь 2ой том пятикнижной серии Incerno (неуверенный, неопределившийся, сомневающийся - в переводе с итальянского). Причем этот том, как и 1й том серии - Fooled by Randomness - «Одураченные случайностью», Талеб не рекомендует читать, считая их подготовительными заготовками к третьему тому «Антихрупкость» - Antifragile.
3) Но даже те, кто прочел все три вышеназванных тома плюс 4й том «Прокрустово ложе» - The Bed of Procrustes - в подавляющем большинстве даже не слышали о 5й последней книге серии «Cвоя шкура на кону» - Skin in the Game
http://www.fooledbyrandomness.com/SITG.html ,
публикуемой автором онлайн по мере написания. А ведь там рассказывается об идеях посерьезней концепции черных лебедей. Эта книга подытоживает серию, подводя читателей к ответу на вопрос, какова же оптимальная инвестиционная стратегия в нашем хрупком мире. Ну а поскольку Skin in the Game – это свое рода итог, Талеб не спешит с его окончательной публикацией, продолжая работать над независимыми эссе, из которых состоит эта книга.
4) Наиболее интересной идеей этой последней книги мне видится идея о принципиальной математической непостижимости человеческого мозга и вытекающей отсюда невозможности его воспроизведения в форме искусственного интеллекта.
Об этой идее Талеба я собираюсь написать. А пока желающие могут почитать эссе, в котором про это рассказывается.
https://dl.dropboxusercontent.com/u/50282823/meanfield.pdf
Как обещал, в новом посте рассказываю про идею Нассима Талеба о принципиальной математической непостижимости человеческого мозга и вытекающей отсюда невозможности его воспроизведения в форме искусственного интеллекта.
https://goo.gl/ziID5t
И если вчера я рекомендовал читать новое эссе Талеба в черновике, то сегодня даю уже ссылку на опубликованный на том же Medium чистовик https://goo.gl/TYGyib
Если сказать за минуту (мой пост на Medium тоже не длинный – всего на 3 мин. чтения)), то примерно так.
Талеб пишет, как отличить шарлатанство, если речь идет о совершенно новых, прорывных направлениях науки и технологий.
* Во-первых, нужно понять, является ли система, рассматриваемая в исследовании или автоматизируемая предлагаемой технологией, линейной или нелинейной.
* Во-вторых, если процесс оказывается нелинейным, необходимо проверить, используется ли в исследовании математический аппарат, использующий вычисление средних значений (например, регрессия).
* В-третьих, нужно оценить сложность рассматриваемой системы (грубо оценивается числом элементов системы и их связей).
На основании 3х названных моментов можно сделать ВЫВОДЫ.
—> Если система нелинейная и при ее анализе используются оценки средних значений, то скорее всего, перед вами шарлатанство, и представленные вам численные результаты можно просто игнорировать.
—> Сложность нелинейной системы из сотен миллиардов взаимосвязанных элементов такова, что понять, как она работает на основе знаний о работе ее элементов, невозможно.
Второй вывод, как вы понимаете, на 100% относится к человеческому мозгу и говорит о его принципиальной математической непостижимости. А раз так, то заявления о планах его воспроизведения в форме искусственного интеллекта оказываются просто спекуляциями.
Эти выводы – не мнение Талеба, а строгое математическое утверждение, опровергнуть которое можно только одним способом – математически.
В завершение пару параграфов о том, что не написано ни в эссе Талеба, ни в моем посте о нем.
Этим эссе Нассим Талеб замахнулся ни много, ни мало – на современную теорию эволюции. И дело не в том, что в эссе он вовсю пинает супер-звезду мировых бестселлеров, автора концепций «эгоистичного гена» и меметики Ричарда Докинза. А в том, что за словами Талеба не только его личные знания и репутация.
На самом деле, почти все, о чем пишет в эссе Талеб – результат серьезных научных наработок Института комплексных систем Новой Англии (New England Complex Systems Institute, NECSI) и персонально его президента, известного американского системолога Янира Бар-Ям (Yaneer Bar-Yam). Нассим Талеб работает в NECSI и близко дружит с Бар-Ямом. А в новом эссе Талеб, по сути, начал осторожно продвигать главную работу своего друга - революционную крышесрывательную концепцию, альтернативную общепринятой во всем мире теории эволюции.
Но об этом точно нужно писать отдельно, поскольку это настолько интересно и, если не ошибаюсь, в России почти совсем не известно.
https://goo.gl/ziID5t
И если вчера я рекомендовал читать новое эссе Талеба в черновике, то сегодня даю уже ссылку на опубликованный на том же Medium чистовик https://goo.gl/TYGyib
Если сказать за минуту (мой пост на Medium тоже не длинный – всего на 3 мин. чтения)), то примерно так.
Талеб пишет, как отличить шарлатанство, если речь идет о совершенно новых, прорывных направлениях науки и технологий.
* Во-первых, нужно понять, является ли система, рассматриваемая в исследовании или автоматизируемая предлагаемой технологией, линейной или нелинейной.
* Во-вторых, если процесс оказывается нелинейным, необходимо проверить, используется ли в исследовании математический аппарат, использующий вычисление средних значений (например, регрессия).
* В-третьих, нужно оценить сложность рассматриваемой системы (грубо оценивается числом элементов системы и их связей).
На основании 3х названных моментов можно сделать ВЫВОДЫ.
—> Если система нелинейная и при ее анализе используются оценки средних значений, то скорее всего, перед вами шарлатанство, и представленные вам численные результаты можно просто игнорировать.
—> Сложность нелинейной системы из сотен миллиардов взаимосвязанных элементов такова, что понять, как она работает на основе знаний о работе ее элементов, невозможно.
Второй вывод, как вы понимаете, на 100% относится к человеческому мозгу и говорит о его принципиальной математической непостижимости. А раз так, то заявления о планах его воспроизведения в форме искусственного интеллекта оказываются просто спекуляциями.
Эти выводы – не мнение Талеба, а строгое математическое утверждение, опровергнуть которое можно только одним способом – математически.
В завершение пару параграфов о том, что не написано ни в эссе Талеба, ни в моем посте о нем.
Этим эссе Нассим Талеб замахнулся ни много, ни мало – на современную теорию эволюции. И дело не в том, что в эссе он вовсю пинает супер-звезду мировых бестселлеров, автора концепций «эгоистичного гена» и меметики Ричарда Докинза. А в том, что за словами Талеба не только его личные знания и репутация.
На самом деле, почти все, о чем пишет в эссе Талеб – результат серьезных научных наработок Института комплексных систем Новой Англии (New England Complex Systems Institute, NECSI) и персонально его президента, известного американского системолога Янира Бар-Ям (Yaneer Bar-Yam). Нассим Талеб работает в NECSI и близко дружит с Бар-Ямом. А в новом эссе Талеб, по сути, начал осторожно продвигать главную работу своего друга - революционную крышесрывательную концепцию, альтернативную общепринятой во всем мире теории эволюции.
Но об этом точно нужно писать отдельно, поскольку это настолько интересно и, если не ошибаюсь, в России почти совсем не известно.
Medium
Шарлатанство в маркетинге науки и технологий
Шарлатан в медицине отличается от «реального» врача тем, что его методы не являются научно доказанными. Применительно к медицине это…
Вот уж не ожидал, что читатели будут писать мне письма! Да еще и требовать в них доказательств, подобно Аркадию Аполлоновичу Семплеярову, вопрошавшему к Фаготу на представлении в Варьете - «Зрительская масса требует объяснения».
Вот и мне пишут – требуется объяснение, почему это Нассим Талеб утверждает, что:
«Понимание того, как работают подразделы головного мозга (например, нейроны), никогда не позволит нам понять, как работает мозг».
Меня спрашивают - На чем основано это утверждение? Да еще и в формулировке «никогда»?
Отвечаю.
Талебом математически доказывается
https://dl.dropboxusercontent.com/u/50282823/Propagation.pdf
что при увеличении размерности системы она с какого-то момента становится абсолютно непредсказуемой из-за наличия сколь угодно малых ошибок при измерении отдельных компонентов (и это не зависит от распределения вероятностей).
Данная непредсказуемость – следствие того, что ошибка модели всей системы при увеличении ее размерности растет быстрее, чем ошибки при измерении ее отдельных компонентов.
Поскольку при проведении экспериментов даже теоретически невозможно свести к нулю ошибки измерений взаимодействий отдельных нейронов мозга, то в силу математического доказательства Талеба, при размерности системы, соизмеримой с размерностью мозга человека (по порядку цифр – это соизмеримо с числом взаимосвязанных нейронов в мозге человека) лавинообразный рост ошибки модели мозга делает эту модель непредсказуемой.
Т.к. желающие возразить Талебу вряд ли смогут сделать это математически (как возразишь, если все формулы верные)), то им остается возражать лишь философски. Например, цитируя 1й «Закон Артура Кларка»:
«Когда уважаемый, но пожилой учёный утверждает, что что-то возможно—он почти наверняка прав. Когда он утверждает, что что-то невозможно—он, весьма вероятно, ошибается»
Т.е. пройдет время, и человечество все же найдет способ преодолеть математическое ограничение, следующее из доказательства Талеба.
Ну да, - когда-то очень нескоро; возможно, хотя и маловероятно; если сделать фантастические допущения и пренебречь сегодняшним научным знанием … и т.д. и т.п.
Это как, например, предположить, что со временем люди будут путешествовать на Большое Магелланово Облако (до которого более 50 Килопарсек, что больше 150 тыс. световых лет).
Но чтобы туда добраться, люди должны либо увеличить продолжительность своей жизни до 300+ тысяч лет, либо научиться летать сильно быстрее света (что для наших материальных тел – неразрешимая с научной точки зрения задача).
Конечно, философски рассуждая, можно предположить и такое. Но все же это вряд ли может быть основанием для выбивания гранта на подготовку путешествия к Большому Магелланову Облаку.
И кроме того, Талеб говорит «никогда» вовсе не в философском смысле, а исключительно с точки зрения математики. А с такой постановкой даже Джеймсу Бонду бессмысленно спорить.
Вот и мне пишут – требуется объяснение, почему это Нассим Талеб утверждает, что:
«Понимание того, как работают подразделы головного мозга (например, нейроны), никогда не позволит нам понять, как работает мозг».
Меня спрашивают - На чем основано это утверждение? Да еще и в формулировке «никогда»?
Отвечаю.
Талебом математически доказывается
https://dl.dropboxusercontent.com/u/50282823/Propagation.pdf
что при увеличении размерности системы она с какого-то момента становится абсолютно непредсказуемой из-за наличия сколь угодно малых ошибок при измерении отдельных компонентов (и это не зависит от распределения вероятностей).
Данная непредсказуемость – следствие того, что ошибка модели всей системы при увеличении ее размерности растет быстрее, чем ошибки при измерении ее отдельных компонентов.
Поскольку при проведении экспериментов даже теоретически невозможно свести к нулю ошибки измерений взаимодействий отдельных нейронов мозга, то в силу математического доказательства Талеба, при размерности системы, соизмеримой с размерностью мозга человека (по порядку цифр – это соизмеримо с числом взаимосвязанных нейронов в мозге человека) лавинообразный рост ошибки модели мозга делает эту модель непредсказуемой.
Т.к. желающие возразить Талебу вряд ли смогут сделать это математически (как возразишь, если все формулы верные)), то им остается возражать лишь философски. Например, цитируя 1й «Закон Артура Кларка»:
«Когда уважаемый, но пожилой учёный утверждает, что что-то возможно—он почти наверняка прав. Когда он утверждает, что что-то невозможно—он, весьма вероятно, ошибается»
Т.е. пройдет время, и человечество все же найдет способ преодолеть математическое ограничение, следующее из доказательства Талеба.
Ну да, - когда-то очень нескоро; возможно, хотя и маловероятно; если сделать фантастические допущения и пренебречь сегодняшним научным знанием … и т.д. и т.п.
Это как, например, предположить, что со временем люди будут путешествовать на Большое Магелланово Облако (до которого более 50 Килопарсек, что больше 150 тыс. световых лет).
Но чтобы туда добраться, люди должны либо увеличить продолжительность своей жизни до 300+ тысяч лет, либо научиться летать сильно быстрее света (что для наших материальных тел – неразрешимая с научной точки зрения задача).
Конечно, философски рассуждая, можно предположить и такое. Но все же это вряд ли может быть основанием для выбивания гранта на подготовку путешествия к Большому Магелланову Облаку.
И кроме того, Талеб говорит «никогда» вовсе не в философском смысле, а исключительно с точки зрения математики. А с такой постановкой даже Джеймсу Бонду бессмысленно спорить.
Сегодня, наконец, подобрался к любимой теме о том, что
«Интеллект кентавра» - это и есть «Розовый фламинго» в области ИИ
Поводом для этого стало позавчерашнее открытие Центра изучения будущего ИИ Leverhulme Centre for the Future of Intelligence.
Освещая эту новость, массмедиа выносят в заголовки статей очередную, извините, банальность, сказанную на открытии центра Стивеном Хокингом: «ИИ станет самым лучшим или самым худшим событием в истории».
К сожалению, даже гении говорят банальности, если вопрос выходит за рамки их профессиональной компетенции. А со Стивеном Хокингом в вопросах ИИ такое случается постоянно (что не мешает ему оставаться гением современной теоретической физики).
Тем не менее, открытие нового центра – весьма знаменательное событие. И на церемонии открытия были сказаны действительно знаменательные слова. Они принадлежат научному директору нового центра профессору Хью Прайсу.
«Потенциальные преимущества создания ИИ огромны … Но мы даже не можем представить, чего сможет достичь человеческий ум, будучи усиленный возможностями ИИ»
Также Хью Прайс отметил:
«Мы пытались убить [созданный Голливудом в сознании общества] мем “Терминатора”, но он, подобно своему герою, продолжает возвращаться снова и снова»
Что означают эти слова? Да вот что.
Все страшилки про «Бунт машин», возжелающих покорить, а потом и отделаться от человечества – не более чем кинематографические грезы, навеянные Голливудом.
Гораздо раньше, чем компьютеры обретут сознание и целеполагание (если это вообще произойдет), человечество столкнется с огромными рисками, вследствие колоссального скачка человеческого ума (и возможностей), усиленного возможностями ИИ.
И если до гипотетического «Бунта машин» далеко, как до Большого Магелланова облака, то страшные риски от «Интеллекта кентавра» человека и машины, - уже совсем рядом.
Т.е. «Интеллект кентавра» - это и есть «Розовый фламинго» в области ИИ. А «Бунт машин» - страшилка для повышения внимания публики в целях получения грантов и инвестиций.
«Интеллект кентавра» - это и есть «Розовый фламинго» в области ИИ
Поводом для этого стало позавчерашнее открытие Центра изучения будущего ИИ Leverhulme Centre for the Future of Intelligence.
Освещая эту новость, массмедиа выносят в заголовки статей очередную, извините, банальность, сказанную на открытии центра Стивеном Хокингом: «ИИ станет самым лучшим или самым худшим событием в истории».
К сожалению, даже гении говорят банальности, если вопрос выходит за рамки их профессиональной компетенции. А со Стивеном Хокингом в вопросах ИИ такое случается постоянно (что не мешает ему оставаться гением современной теоретической физики).
Тем не менее, открытие нового центра – весьма знаменательное событие. И на церемонии открытия были сказаны действительно знаменательные слова. Они принадлежат научному директору нового центра профессору Хью Прайсу.
«Потенциальные преимущества создания ИИ огромны … Но мы даже не можем представить, чего сможет достичь человеческий ум, будучи усиленный возможностями ИИ»
Также Хью Прайс отметил:
«Мы пытались убить [созданный Голливудом в сознании общества] мем “Терминатора”, но он, подобно своему герою, продолжает возвращаться снова и снова»
Что означают эти слова? Да вот что.
Все страшилки про «Бунт машин», возжелающих покорить, а потом и отделаться от человечества – не более чем кинематографические грезы, навеянные Голливудом.
Гораздо раньше, чем компьютеры обретут сознание и целеполагание (если это вообще произойдет), человечество столкнется с огромными рисками, вследствие колоссального скачка человеческого ума (и возможностей), усиленного возможностями ИИ.
И если до гипотетического «Бунта машин» далеко, как до Большого Магелланова облака, то страшные риски от «Интеллекта кентавра» человека и машины, - уже совсем рядом.
Т.е. «Интеллект кентавра» - это и есть «Розовый фламинго» в области ИИ. А «Бунт машин» - страшилка для повышения внимания публики в целях получения грантов и инвестиций.
LCFI - Leverhulme Centre for the Future of Intelligence
Leverhulme Centre for the Future of Intelligence
The Leverhulme Centre for the Future of Intelligence is an interdisciplinary research centre addressing challenges and opportunities posed by AI.
P.S. Директором первого проекта центра LCFI «Science, value, and the future of intelligence» стала Анна Александрова из славного города Краснодар.
Brain Drain, однако :(
Brain Drain, однако :(
Продолжаю тему
«Интеллект кентавра» - это и есть «Розовый фламинго» в области ИИ.
Повод – опубликован интересный роман Лукаса Карлсона «Big Data: A Startup Thriller Novel», посвященный ровно этой теме.
Как интригует в анонсе романа Amazon,
«Даже если вы понимаете, что искусственный интеллект опасен, - на самом деле, вы не представляете, какова реальная угроза для будущего человечества»
Суть реальной угрозы Лукас Карлсон объясняет в интервью по поводу выхода романа.
Карлсон называет общепринятые представления об ИИ скучными и устаревшими. Компьютеры, подчиняющие себе человечество, были сногсшибательной темой фильма «Матрица» в 1999 году. Но весьма вероятно, что ИИ несет экзистенциальные угрозы человечеству задолго до того, как научится делать то, о чем говорится в фильме.
Причина этого в безоглядном внедрении всевозможных интеллектуальных гаджетов и приложений в нашу жизнь, в результате чего мы становимся все более зависимыми от т.н. "Тупого ИИ". А это совсем не тот «Супер ИИ», которым нас настойчиво пугают Ник Бостром, Элон Маск и Стивен Хокинг, и до которого, на самом деле, так страшно далеко.
«Тупой ИИ» не имеет желаний, да и вообще сознания. «Тупой ИИ» совершенно не понимает, что он делает – он вообще не в состоянии что-либо понимать.
Но ведь именно он становится ответственным за управление наших автомобилей и отопление наших домов. Мы создаем с ним симбиотические отношения, которые могут эксплуатироваться в буквальном смысле кем угодно на планете.
Люди одержимы страхом перед ядерным оружием, но не думают, что могут сделать с помощью ИИ преступники. Да что там преступники, - добропорядочные ученые, специалисты, бизнесмены или военные, не предусмотревшие последствий или намеренно делающих «доброе дело» (в их понимании).
Не компьютеров нужно бояться. Нужно бояться нашей собственной человеческой природы, возможности которой неимоверно усиливает уже существующий "Тупой ИИ".
Вот о чем новый роман Лукаса Карлсона. И со многим из этого мне трудно не согласиться.
«Интеллект кентавра» - это и есть «Розовый фламинго» в области ИИ.
Повод – опубликован интересный роман Лукаса Карлсона «Big Data: A Startup Thriller Novel», посвященный ровно этой теме.
Как интригует в анонсе романа Amazon,
«Даже если вы понимаете, что искусственный интеллект опасен, - на самом деле, вы не представляете, какова реальная угроза для будущего человечества»
Суть реальной угрозы Лукас Карлсон объясняет в интервью по поводу выхода романа.
Карлсон называет общепринятые представления об ИИ скучными и устаревшими. Компьютеры, подчиняющие себе человечество, были сногсшибательной темой фильма «Матрица» в 1999 году. Но весьма вероятно, что ИИ несет экзистенциальные угрозы человечеству задолго до того, как научится делать то, о чем говорится в фильме.
Причина этого в безоглядном внедрении всевозможных интеллектуальных гаджетов и приложений в нашу жизнь, в результате чего мы становимся все более зависимыми от т.н. "Тупого ИИ". А это совсем не тот «Супер ИИ», которым нас настойчиво пугают Ник Бостром, Элон Маск и Стивен Хокинг, и до которого, на самом деле, так страшно далеко.
«Тупой ИИ» не имеет желаний, да и вообще сознания. «Тупой ИИ» совершенно не понимает, что он делает – он вообще не в состоянии что-либо понимать.
Но ведь именно он становится ответственным за управление наших автомобилей и отопление наших домов. Мы создаем с ним симбиотические отношения, которые могут эксплуатироваться в буквальном смысле кем угодно на планете.
Люди одержимы страхом перед ядерным оружием, но не думают, что могут сделать с помощью ИИ преступники. Да что там преступники, - добропорядочные ученые, специалисты, бизнесмены или военные, не предусмотревшие последствий или намеренно делающих «доброе дело» (в их понимании).
Не компьютеров нужно бояться. Нужно бояться нашей собственной человеческой природы, возможности которой неимоверно усиливает уже существующий "Тупой ИИ".
Вот о чем новый роман Лукаса Карлсона. И со многим из этого мне трудно не согласиться.
Если завтра война, - то она будет совсем не такой, как вы думаете
Возможность прямого военного столкновения между Россией и США, к сожалению, перестала быть маловероятной.
Однако мало кто понимает, что если эта война состоится, то она будет иной, чем ее представляют журналисты, эксперты и даже российские генштабисты.
Отличия будут не в деталях, а в главном – в стратегии ведения войны.
О том, какой может быть эта стратегия я написал здесь
В этом посте я рассказываю об исследовании «Военная стратегия в сложном мире», проведенном совместно Институтом комплексных систем Новой Англии (NECSI) и Группой по исследованию стратегии военно-морских операций США (US CNO SSG).
Данное исследование исходит из того, что за последние годы кардинально изменились и наши представления о современном мире и сам мир. Сегодня такие фундаментальные понятия, как «Антихрупкость», - уже не просто тема для бестселлеров Нассима Талеба (сотрудника NECSI). Сегодня, - это понятие стало основой для пересмотра высокорисковых стратегий в бизнесе. И уж тем более, для пересмотра стратегии столь рискового дела, как война.
Также в посте упомянается ассиметричный российский военно-стратегический подход – поражение сознания руководителей противника когнитивным оружием и защита российских руководителей от воздействия когнитивного оружия США :)
Так что к телепортации, нооскопу и управлению оружием силой мысли в России скоро добавится и когнитивное стратегическое оружие.
Возможность прямого военного столкновения между Россией и США, к сожалению, перестала быть маловероятной.
Однако мало кто понимает, что если эта война состоится, то она будет иной, чем ее представляют журналисты, эксперты и даже российские генштабисты.
Отличия будут не в деталях, а в главном – в стратегии ведения войны.
О том, какой может быть эта стратегия я написал здесь
В этом посте я рассказываю об исследовании «Военная стратегия в сложном мире», проведенном совместно Институтом комплексных систем Новой Англии (NECSI) и Группой по исследованию стратегии военно-морских операций США (US CNO SSG).
Данное исследование исходит из того, что за последние годы кардинально изменились и наши представления о современном мире и сам мир. Сегодня такие фундаментальные понятия, как «Антихрупкость», - уже не просто тема для бестселлеров Нассима Талеба (сотрудника NECSI). Сегодня, - это понятие стало основой для пересмотра высокорисковых стратегий в бизнесе. И уж тем более, для пересмотра стратегии столь рискового дела, как война.
Также в посте упомянается ассиметричный российский военно-стратегический подход – поражение сознания руководителей противника когнитивным оружием и защита российских руководителей от воздействия когнитивного оружия США :)
Так что к телепортации, нооскопу и управлению оружием силой мысли в России скоро добавится и когнитивное стратегическое оружие.
Medium
Если завтра война, — то она будет совсем не такой, как вы думаете
Возможность прямого военного столкновения между Россией и США, к сожалению, перестала быть маловероятной.
Двоих из ста компактно проживающих людей убьют его соседи
Новая интересная статья «Филогенетические корни смертельного насилия человека» оригинальным образом дополняет мои вчерашние размышления на тему «Если завтра война».
В новой статье 3 главных вывода.
— Впервые на обширном корпусе научных данных проведена оценка уровня смертельной внутривидовой агрессии человечества, позволяющая назвать этот уровень филогенетическим фактором (наследуемым человеком в ходе эволюционного развития видов).
— Этот уровень составляет в среднем примерно 2% (т.е. в среднем, согласно наследуемой генетике человека как вида, двоих из ста компактно проживающих людей, скорее всего, убьют его соседи).
— В ходе истории этот программируемый эволюцией уровень изменялся по мере социально-политических и культурных изменений в обществе.
О том, какие изменения в обществе более всего влияют на уровень смертельного насилия человека, в статье не сказано.
Однако на мой взгляд, самой интересной и сравнительно малоизвестной гипотезой этого является гипотеза техногуманитарного баланса, почитать о которой можно здесь и здесь.
Суть гипотезы в том, что чем выше уровень боевых технологий, тем сильнее в обществе социально-культурные факторы, сдерживающие агрессию.
Дело в том, что жизнь на земле устроена так, что чем более «вооружен» тот или иной вид, тем сильнее у вида мораль не убивать себе подобных. Коротко и популярно об этом написано у В.Р.Дольника.
Есть много видов (волк, орел и т.п.), вооружение которых так сокрушительно, а приемы применения столь молниеносны, что настоящая боевая стычка между соперниками закончилась бы смертью одного из них, а то и обоих. И поэтому механизм эволюции понижает у этих видов уровень агрессивности, повышая у вида мораль.
Зато у слабо вооруженных животных (голубь, заяц и т.п.) мораль слабая, ведь они не могут причинить друг другу непоправимый ущерба (для информации: голубка, символ мира, способна медленно и страшно добивать поверженного противника).
Человек в своем естественном состоянии — очень слабо вооруженное животное. Инстинктивная мораль человека соответствует этому состоянию: она слабая. Начав создавать с помощью разума оружие и совершенствуя его, человек стал самым вооруженным видом на Земле.
По закону природы, вид, у которого нет баланса между агрессивностью и вооруженностью (нечто вроде голубя с орлиным клювом или зайца с волчьими клыками), –оказывается нежизнеспособным из-за слишком высокой доли внутривидовых убийств.
И если бы мораль человеческих сообществ не повышалась за счет социально-политических и культурных изменений в этих сообществах, человечество давно бы себя истребило.
Гипотеза техногуманитарного баланса позволяет абсолютно по-новому взглянуть на многие интересные темы: больше или меньше люди убивают друг друга в ходе человеческой истории, причины высочайшего уровня потерь в войнах (например, потери СССР во Второй мировой), каковы катализаторы того, что соседи начинают убивать друг друга и т.д.
Полагаю, что многие из этих интересных тем весьма малоизвестны, чтобы продолжить их обсуждение на канале.
Новая интересная статья «Филогенетические корни смертельного насилия человека» оригинальным образом дополняет мои вчерашние размышления на тему «Если завтра война».
В новой статье 3 главных вывода.
— Впервые на обширном корпусе научных данных проведена оценка уровня смертельной внутривидовой агрессии человечества, позволяющая назвать этот уровень филогенетическим фактором (наследуемым человеком в ходе эволюционного развития видов).
— Этот уровень составляет в среднем примерно 2% (т.е. в среднем, согласно наследуемой генетике человека как вида, двоих из ста компактно проживающих людей, скорее всего, убьют его соседи).
— В ходе истории этот программируемый эволюцией уровень изменялся по мере социально-политических и культурных изменений в обществе.
О том, какие изменения в обществе более всего влияют на уровень смертельного насилия человека, в статье не сказано.
Однако на мой взгляд, самой интересной и сравнительно малоизвестной гипотезой этого является гипотеза техногуманитарного баланса, почитать о которой можно здесь и здесь.
Суть гипотезы в том, что чем выше уровень боевых технологий, тем сильнее в обществе социально-культурные факторы, сдерживающие агрессию.
Дело в том, что жизнь на земле устроена так, что чем более «вооружен» тот или иной вид, тем сильнее у вида мораль не убивать себе подобных. Коротко и популярно об этом написано у В.Р.Дольника.
Есть много видов (волк, орел и т.п.), вооружение которых так сокрушительно, а приемы применения столь молниеносны, что настоящая боевая стычка между соперниками закончилась бы смертью одного из них, а то и обоих. И поэтому механизм эволюции понижает у этих видов уровень агрессивности, повышая у вида мораль.
Зато у слабо вооруженных животных (голубь, заяц и т.п.) мораль слабая, ведь они не могут причинить друг другу непоправимый ущерба (для информации: голубка, символ мира, способна медленно и страшно добивать поверженного противника).
Человек в своем естественном состоянии — очень слабо вооруженное животное. Инстинктивная мораль человека соответствует этому состоянию: она слабая. Начав создавать с помощью разума оружие и совершенствуя его, человек стал самым вооруженным видом на Земле.
По закону природы, вид, у которого нет баланса между агрессивностью и вооруженностью (нечто вроде голубя с орлиным клювом или зайца с волчьими клыками), –оказывается нежизнеспособным из-за слишком высокой доли внутривидовых убийств.
И если бы мораль человеческих сообществ не повышалась за счет социально-политических и культурных изменений в этих сообществах, человечество давно бы себя истребило.
Гипотеза техногуманитарного баланса позволяет абсолютно по-новому взглянуть на многие интересные темы: больше или меньше люди убивают друг друга в ходе человеческой истории, причины высочайшего уровня потерь в войнах (например, потери СССР во Второй мировой), каковы катализаторы того, что соседи начинают убивать друг друга и т.д.
Полагаю, что многие из этих интересных тем весьма малоизвестны, чтобы продолжить их обсуждение на канале.
Telegram
Малоизвестное интересное
Если завтра война, - то она будет совсем не такой, как вы думаете
Возможность прямого военного столкновения между Россией и США, к сожалению, перестала быть маловероятной.
Однако мало кто понимает, что если эта война состоится, то она будет иной, чем ее…
Возможность прямого военного столкновения между Россией и США, к сожалению, перестала быть маловероятной.
Однако мало кто понимает, что если эта война состоится, то она будет иной, чем ее…
Как и собирался, написал поподробней о том,
как культура может выправить техногуманитарный баланс в обществе и тем самым спасти сотни миллионов человеческих жизней.
https://goo.gl/4dicBC
Далее – бриф этой статьи (а что такое техногуманитарный баланс см предыдущий пост канала).
— Если бы мораль человеческих сообществ не повышалась за счет социально-политических и культурных изменений в этих сообществах, человечество давно бы себя истребило. А это не происходит, не смотря на постоянное повышение смертоносности военных технологий человечества и неуклонный рост плотности населения.
— Самым простым и понятным измерением морали в любом обществе служит доминирующая в нем ценность человеческой жизни. А поскольку «коэффициент кровопролитности» (отношение количества убийств за некоторый период времени к численности сообщества за тот же период) неуклонно снижается в ходе истории человечества, можно сделать вывод, что ценность человеческой жизни до сих пор росла даже более высоким темпом, чем мощь производственных и боевых технологий.
— Однако, в техногуманитарном балансе возможны нарушения (оружие стало сильно мощное, а ценность жизни осталась низкой). Они ведут к локальному скачку уровня смертельной внутривидовой агрессии человека и, соответственно, коэффициента кровопролитности.
— Самое страшной – это нарушение техногуманитарного баланса между обладанием ядерного оружия и низкой ценностью человеческой жизни у его обладателей.
— Поскольку от ядерного оружия уже никто не откажется, остается надеяться лишь на рост ценности человеческой жизни.
как культура может выправить техногуманитарный баланс в обществе и тем самым спасти сотни миллионов человеческих жизней.
https://goo.gl/4dicBC
Далее – бриф этой статьи (а что такое техногуманитарный баланс см предыдущий пост канала).
— Если бы мораль человеческих сообществ не повышалась за счет социально-политических и культурных изменений в этих сообществах, человечество давно бы себя истребило. А это не происходит, не смотря на постоянное повышение смертоносности военных технологий человечества и неуклонный рост плотности населения.
— Самым простым и понятным измерением морали в любом обществе служит доминирующая в нем ценность человеческой жизни. А поскольку «коэффициент кровопролитности» (отношение количества убийств за некоторый период времени к численности сообщества за тот же период) неуклонно снижается в ходе истории человечества, можно сделать вывод, что ценность человеческой жизни до сих пор росла даже более высоким темпом, чем мощь производственных и боевых технологий.
— Однако, в техногуманитарном балансе возможны нарушения (оружие стало сильно мощное, а ценность жизни осталась низкой). Они ведут к локальному скачку уровня смертельной внутривидовой агрессии человека и, соответственно, коэффициента кровопролитности.
— Самое страшной – это нарушение техногуманитарного баланса между обладанием ядерного оружия и низкой ценностью человеческой жизни у его обладателей.
— Поскольку от ядерного оружия уже никто не откажется, остается надеяться лишь на рост ценности человеческой жизни.
Medium
Культура может спасти сотни миллионов жизней
Новостная лента, к сожалению, продолжает подбрасывать поводы для обсуждения темы «если завтра война». В ее контексте мне видится…