Сергей Шойгу вчера призвал объединить усилия военных и гражданских специалистов в области искусственного интеллекта. А сегодня автор Ватфора уже с радостью делится экспертизой, на этот раз — в статье для более серьёзной организации, РСМД @russiancouncil.

https://yangx.top/russiancouncil/1265

​​👹🤖 Продолжаем пугать проблемой #ИИ

Дмитрий Шефтелович, эксперт РСМД и один из авторов @vatfor, рассказал о дискуссиях, проходивших на конференции SIPRI, посвященной оценке влияния автономных систем и прогресса в области машинного обучения на стратегическую стабильность и риски ядерной войны.

Эксперт выделил три основных вопроса, интересующих все стороны:

Предсказуемость. Будет ли машина действовать именно так, как её запрограммировали вне зависимости от внешних данных? Тем более, если она самообучается в процессе боевых действий?

Ответственность. Кто будет отвечать за действия автономной боевой техники? Кто должен нести ответственность за неисполнение приказа или военные преступления?

Ускорение конфликта. Если реагировать и отдавать приказы будет машина, то человек не только будет отставать в скорости принятия решений, но и лишится возможности контролировать эскалацию конфликта. Вероятна ситуация, в которой локальное столкновение низкой интенсивности из-за ошибки обработки данных перерастёт в полноценные боевые действия, чего не хочет никто.

Вообще говоря, автоматы уже среди нас: они упрощают жизнь военному лётчику, обрабатывая входящую информацию, используются в беспилотниках при поиске целей, измеряют поведение по постам в «Фейсбуке» и не только, влияют на порядок выдачи в лентах новостей. Что делать с риском взлома таких систем? Не получится ли так, что поколение, выросшее со смартфонами, будет излишне доверять автомату, даже если он будет давать советы, а не принимать решения? Понравятся ли нам решения, рассчитанные машиной?

Для уменьшения рисков эксперты обсуждали следующие шаги:

1. В политической плоскости: многостороннее заявление на уровне глав государств или надгосударственных органов о том, что:
в ядерной войне победителей не будет; контроль за решением на применение оружия, в особенности ядерного, должен оставаться у человека.

2. В институциональной плоскости: меры по внедрению «здорового скепсиса» по отношению к новым технологиям. Вряд ли получится ограничить распространение идей и алгоритмов обучения, но можно задуматься об ограничении сбора и распространения сенсоров «военного» назначения и данных, требуемых для машинного обучения. Можно перенять успешный опыт контроля за химическим и биологическим оружием, не ограничивающий мирные исследования в области химии и фармацевтики.

3. На будущее: стоит озаботиться вопросом контроля за вычислительными ресурсами и увеличением взаимозависимости, в том числе и в цифровой сфере. Последнее, правда, крайне проблематично: современные компьютерные сети проектировались как системы, не отказывающие даже в случае ядерной войны.

http://russiancouncil.ru/analytics-and-comments/columns/military-and-security/mini-konferentsiya-sipri-ii-i-risk-yadernoy-voyny/

🇺🇸🤖 Согласно докладу Startup Genome, несмотря на то, что США все еще остаются центром ИИ-индустрии, они стремительно вытесняются Китаем. В 2017 г. в Китае было создано в четыре раза больше ИИ-стартапов, чем в Штатах. Все это не может не вызывать обеспокоенности в Вашингтоне.

13 августа Дональд Трамп подписал новый вариант составленного в Конгрессе NDAA имени Джона Маккейна на 2019 фискальный год. Одними из самых обсуждаемых стали подпункты документа, предполагающие увеличение финансирования программ изучения искусственного интеллекта и технологий машинного обучения и устанавливающих их в качестве одних из главных приоритетов Министерства обороны.

О ситуации с развитием военного #ИИ в США рассказывает автор @vatfor Яков Ионин: бюджет растет, но требуется компромисс с Кремниевой долиной.

Коротко: несмотря на значительное увеличение финансирования ИИ-программ, Пентагон сталкивается с серьезным неприятием и оппозицией идее военного ИИ со стороны академического сообщества и IT-гигантов. В таких условиях Правительство в качестве компромиссной меры вынуждено привлекать во многих программах более лояльные, но менее эффективные в этой области компании.

Успех развития Соединенными Штатами военизированного искусственного интеллекта определяется прежде всего способностью достижения Пентагоном и Кремниевой долиной морально-этического компромисса. А сохранение американского военно-технического преимущества будет зависеть лишь от преодоления американским обществом внутренней поляризации.

http://russiancouncil.ru/analytics-and-comments/columns/military-and-security/voennyy-ii-v-ssha-s-byudzhetom-no-bez-kompromissa-s-kremnievoy-dolinoy/

Российский совет по международным делам опубликовал любопытную статью (https://yangx.top/russiancouncil/1762) о перспективах и угрозах, исходящих от сильного искусственного интеллекта. В двух словах, сильный ИИ — кибер-физическая система, способная решать разнообразные задачи обучения, классификации и распознавания образов без переобучения в различных контекстах. В обработке текстов, например, сильный ИИ смог бы автоматически переводить литературные произведения с английского на русский, находить в них отсылки к культурному контексту и «разумно» отвечать на вопросы о мотивации героев, а потом, после небольшого периода дообучения, проделывать то же самое с текстами на французском.

Очевидно, что создание сильного ИИ до неузнаваемости изменит отношение человека и общества к компьютерным системам. В статье Антона Колонина описываются вызовы на этом пути, головокружительные перспективы и потенциальные риски новых технологий. Выделим, на наш взгляд, ключевые предложения по снижению рисков, связанного с созданием и (в перспективе) широкой доступностью соответствующих технологий:

1. Международный запрет создания «автономных систем смертоносных вооружений» (LAWS).

2. Государственная поддержка работ в области ИИ и, в особенности, работ по решению задачи целеполагания и контроля за ИИ.

3. Расширение доступа к технологиям ИИ.

4. Международно-правовое регламентирование открытости алгоритмов ИИ, в первую очередь, чтобы сделать возможным контроль за обработкой данных и адекватный функциональный аудит принятия решений на основе машинного обучения.

В целом Ватфор готов сразу подписаться под многими из этих пунктов, но отдельные аспекты требуют более широкой и разносторонней дискуссии. К пункту 4 можно добавить, что нечто подобное уже происходит при разработке автономных автомобилей: так, существуют наработки по стандартизации функционального аудита автомобильных автопилотов. Судя по готовности компаний вроде DeepMind предоставить широкой публике тренировочные данные и готовые модели распознавания, третий пункт на данном этапе проблемой не является. Что же касается государственной поддержки, то, видимо речь идёт о грантах исследовательским группам. Это в целом благое пожелание зачастую ограничено бюджетами и длинными циклами планирования грантов, поэтому этот пункт можно дополнить пожеланием к частным компаниям активнее привлекать сотрудников исследовательских организаций к своей деятельности в виде частных грантов на научно-исследовательские работы, а к университетам — активно сотрудничать с потенциальными коммерческими партнёрами.

Но наиболее спорным можно считать первый пункт. В первую очередь, есть все основания полагать, что гонка вооружений в сфере автономных систем началась (или не останавливалась, в зависимости от перспективы). Во вторую очередь, в международно-правовых понятиях очень сложно отразить понятие автономности: если понимать под автономными системами всё, что само движется к цели после запуска, то под это понятие подпадут баллистические ракеты и самонаводящиеся снаряды, а если понимать всё, что срабатывает без целеуказания, то можно сделать вид, что ничего такого нет, целеуказание-то всегда присутствует, пусть даже в форме «куда-то туда, в первую попавшуюся цель». Если же рассмотреть только этический аргумент, то можно возразить, что запретом на разработки отдаётся преимущество возможным государственным и, тем более, негосударственным нарушителям запрета, которые не будут связаны этическими и легальными нормами. Впрочем, насколько реально создать «на коленке» настоящую боевую систему — вопрос отдельный, и он сложнее, чем кажется.

https://spectrum.ieee.org/transportation/self-driving/creating-driving-tests-for-selfdriving-cars

У @russiancouncil сегодня было людно, весело и интересно, @vatfor подтверждает. Единственное, очень уж про разное говорили докладчики зачастую - ну да искусственный интеллект тема такая, широкая и не очень оформленная.

Чуть позже выскажемся и поподробнее.

https://yangx.top/russiancouncil/1838

Автор Ватфора выступал на конференции РСМД по международным социально-политическим последствиям внедрения технологий искусственного интеллекта и делится впечатлениями от собственно конференции. Тематика ИИ охватывает широкий спектр тем, и, соответственно, докладчики тоже старались рассказать о, с их точки зрения, наиболее интересных аспектах этой темы. Кроме философских рассуждений о сути интеллекта и боевых роботах, многое было сказано о перспективах развития ИИ-технологий в мире в целом и в России в частности.

К сожалению, широкий спектр конференции поспособствовал широте, но не глубине дискуссии. Хотелось бы обсудить многие из поднявшихся тем глубже, посмотреть на обсуждение мер по поддержке малого ИТ-бизнеса, обсудить замещение рабочих мест, освобождаемых автоматизацией, детально взвесить «за» и «против» автономных боевых систем вместе с собственно собирающимися их применять военными. Но скорее всего, это потребовало бы расширения конференции во времени; поэтому со своей стороны понадеемся, что РСМД продолжит проект и рассмотрит наиболее интересные вопросы детально.

Из дискуссии удалось почерпнуть кое-что новое и познавательное. Из запомнившихся тезисов и выступлений можно упомянуть рассуждения о том, что машинное обучение - это ответ на огромные масштабы данных, краткую историю индийского киберкомандования, поучительную историю о том, как пользователи Твиттера научили чат-робота от Microsoft плохому (и вывод, что качество данных на входе зачастую критически важно для классификации на выходе, что было видно на недавнем примере с Amazon), вопрос о необходимости принятия национальной стратегии развития ИИ-технологий, варианты помощи российскому ИТ-бизнесу и вопрос о предпочтительном формате (открытый либо закрытый) разработки ИИ. Риски ИИ участники видели не только в труднообъяснимости принимаемых решений, но и в собственно технологии, позволяющей фабриковать фото и видео и создать «виртуальное пространство дезинформации», и в гонке ИИ-вооружений. Звучали и скептические голоса: в первую очередь, коллеги со стажем вспоминали, что под «искусственным интеллектом» последние 40 лет понимались технологии на горизонте ИИ, которые на следующий день становились рутинной задачей статистики или дискретной математики, а в общем контексте цифровизации вспоминали опыт последних тридцати лет, когда цифровизация требовала достаточно масштабной реорганизации бизнес-процессов. Несмотря на ограниченный формат, нашлось место и жёстким дискуссиям по существу, и даже меряниям формами допуска.

Со своей стороны в копилку дискуссии Ватфор хочет добавить один тезис: тот факт, что машинное обучение требует огромные массивы данных и необходимость эти данные собирать и обрабатывать, поднимает вопрос о добровольности их сбора и, собственно, защите пользовательских данных, анонимизации и контроле за утечками информации. Даже в рамках человеческого общения наличие тайны и отказ обсуждать определённые темы позволяет сделать выводы, что уж говорить о выводах, которые можно сделать из «больших данных».

https://yangx.top/russiancouncil/1838

Эксперт РСМД и автор @vatfor Дмитрий Шефтелович подготовил обзор стратегии #ИИ МО США, опубликованной 12 февраля 2019 г.

Судя по всему, в Пентагоне сформировалось мнение, что для внедрения ИИ-технологий не хватает ни ресурсов, ни организационных структур. Поэтому стратегия предусматривает, кроме собственно внедрения технологий, дополнительное активное финансирование, привлечение кадров из гражданского и научного сектора, а также создание специализированного внутреннего ведомства по ИИ, которое должно управлять внедрением технологий и отчасти преобразовать не только процесс внедрения, но и сам Пентагон, увеличивая его эффективность не только за счёт технических инноваций, но и за счёт применения современных управленческих практик.

С точки зрения Пентагона, ИИ-технологии способны радикально преобразовать военное дело. Интересно, что как в России и Китае, так и в США, главные аргументы для включения в гонку ИИ, это позиции "конкурентов". В случае США, это Китай и Россия, которые, по мнению авторов документа, уже разрабатывают и внедряют ИИ-технологии с далеко идущими геополитическими целями, противоречащими ценностям США и их союзников.

http://russiancouncil.ru/analytics-and-comments/analytics/obzor-strategii-ii-mo-ssha/