К чему приводит склонность людей некритически полагаться на автоматизированные решения?

Алексей Мунтян рассказывает о показательном случае.

Британский Post Office 20 лет использовал ПО, из-за ошибок в котором сотрудникам регулярно вменяли несуществующие недостачи.

Почти 740 сотрудников были ошибочно привлечены к ответственности в период с 2000 по 2014 гг. Причинён огромный моральный вред. И никто не усомнился в надёжности программного обеспечения.

Что я могу сказать? Есть целый ряд исследований (пару из которых я приводил тут), подтверждающих феномен слепого доверия автоматизированным системам.

Объясняется такое доверие одним из присущих человеческому мышлению когнитивных искажений. Оно так и называется - искажение автоматизации (automation bias).

Исследования объясняют, что искажение приводит, во-первых, к склонности к ошибочным упущениям событий, которые прямо не обозначены автоматизированной системой (errors in omission).

Во-вторых — также к ошибочным действиям по рекомендациям автоматизированной системы, даже если рекомендация противоречит опыту человека, использующего систему, и другим доступным ему заведомо достоверным данным (errors in commission).

Какие выводы?

1. Доверяй, но проверяй. Автоматизированные решения могут и должны проверяться, хотя бы выборочно, на буллшит: ошибка может быть во входных данных, в методах и логике вычисления решения или в его интерпретации.

Для чувствительных применений доказательство надёжности автоматизированной системы должно быть предварительным условием закупки и ввода её в эксплуатацию.

2. Гражданам должны быть доступны эффективные средства правовой защиты, а организации должны критичнее относиться к своим внутренним процедурам и убедиться в том, что в них "зашита" проверка на буллшит, и что урок от Британского Post Office выучен и не повторится.

Европейское регулирование ИИ изменит бизнес-процессы во всём мире и станет "вторым GDPR"

Пол Старрет из PrivacyLabs завёл подкаст и в первый же выпуск пригласил Стивена Ву (Silicon Valley Law Group) — обсуждают проект Регламента ЕС об ИИ (Artificial Intelligence Act).

Те, кто давно в теме регулирования ИИ, могут помнить Стивена по его робомитапам и работе в Комитете по науке и технологиям Американской ассоциации юристов. Он — один из ведущих практикующих юристов по "робоправу" в США.

В подкасте Стивен даёт прогноз эффекта Регламента ЕС об ИИ на американские компании (с 12 мин. 21 сек.).

Он обращает внимание на то, что при выводе продукта на множество рынков компаниям, с точки зрения экономии на масштабе, проще подчинять продукты наиболее строгим из существующих требований.

Таким образом, отмечает он, как это уже было с GDPR, европейское регулирование ИИ в значительной мере трансгранично скорректирует бизнес-процессы в США и других странах, чьи продукты нацелены на рынок ЕС, по принципу "наибольшего общего делителя" ("highest common denominator").

У компаний, конечно, остаётся опция создавать продукты, подчиняющиеся регуляторным требованиям различной степени строгости для различных рынков, но с учетом ущерба для экономии масштаба такая экзотика вряд ли будет посильна большинству разработчиков.

Подписаться на подкаст Пола можно добавив адрес его rss-ленты в любом подкаст-приложении.

Дипфейки: что и как?

13 мая в 19:30 Moscow Legal Hackers проводят интересное мероприятие:

https://yangx.top/msklegalhackers/8952

"Чёрный ящик" всегда точнее?

Часто говорят, что в машинном обучении мы должны идти на компромисс между точностью и интерпретируемостью моделей. Если модель простая и понятная ("стеклянный ящик"), то она обязательно менее точная, чем сложная непонятная модель ("чёрный ящик").

Специалист по исследованию данных проф. Синтия Рудин и её академическая коллега Джоанна Рэдин в своей статье утверждают: это ложная дихотомия. Аналогия между высокоточной роборукой, ошибающейся в 2% операций и способным объяснить свои действия хирургом, ошибающимся в 15% операций — умышленно или по неосторожности вводит в заблуждение.

Авторы статьи говорят, что по опыту очень часто оказывается возможным сконструировать простой и понятный, и при этом столь же или даже более точный "стеклянный ящик". Поэтому правильно сравнивать точные "чёрные ящики" и точные "стеклянные ящики".

Возможно, для поставленной аналитической задачи даже и не пытались создать, либо не приложили достаточно ресурсов, чтобы попытаться создать точный "стеклянный ящик".

Если задача связана с повышенным риском причинения вреда значимым интересам (например, жизнь и здоровье граждан, тайна частной жизни), нужно задаться вопросом, каковы были мотивы решения не пытаться создать и применить "стеклянный ящик".

В частности, причиной могла быть простая инерция, оставшаяся со времен, когда машиннообученные модели использовались в основном для решения задач в низкорисковых областях.

Или, например, банальный узкочастный интерес — сохранить в тайне секрет работы проприетарного "чёрного ящика" без учёта возможного ущерба другим лицам.

ИИ-анализ лиц для найма на работу: полный провал

Журналисты Байрише Рундфунк решили проверить, насколько хорошо работает ИИ-система помощи в подборе персонала.

Продукт уже используют Люфтганза, БМВ и другие крупные компании.

Оказалось, что система существенно меняет оценку одного и того же человека в зависимости от наличия очков и головного убора, а также от того, каков задний фон.

Кандидат с книжными полками на заднем фоне оценивался как более открытый и прилежный, чем он же без этих полок.

Более того, на оценку кандидата влияло качество освещения.

Профессор Катарина Цвайг в этом контексте замечает: "ИИ — в целом отличный инструмент и нам следует его использовать. Но не для анализа человеческого поведения — тут возникают проблемы".

Ей вторит Джулия Энгвин, журналист, изучающий влияние технологий на общество. Она отмечает: идея о том, что черты лица могут хоть что-то сказать о ваших профессиональных качествах — научно не обоснована.

Дипфейки и GPT-3: гремучая смесь

В пятницу 21 мая в 15:00 по Москве Совет Европы проводит вебинар о том, как сочетаются технологии создания дипфейков и автоматической генерации текста. И о том, какие возможности это создаёт для создания дезинформации в промышленных масштабах.

В вебинаре участвуют Себастиан Халленслебен (Ph.D, Руководитель направления по цифровизации и ИИ, VDE e.V, Германия), Карен Мельхиор (депутат Европарламента, Дания) и Павел Гладышев (Ph.D, доцент University College, Ирландия).

Для участия пройдите по ссылке.

Автоматизированные создание и модерацию контента могут урегулировать

Конференция Министров Совета Европы, ответственных за СМИ и информационное общество, в прошлую пятницу приняла ряд резолюций.

В их числе — Резолюция о свободе выражения мнения и цифровых технологиях.

Из Резолюции следует, в частности, что профильные министры планируют выработать подходы к регулированию применения средств создания, модерации и распространения онлайн-контента с применением ИИ и цифровых технологий.

Такие подходы, исходя из Резолюции, могут включать появление независимого надзора за модерацией контента на онлайн-площадках, а также установление обязательных требований к автоматизированному созданию и распространению контента.

Также профильные министры призвали разработчиков соответствующих технологий проводить предварительную оценку их возможного воздействия на права человека и безопасность пользователей и проектировать свои продукты так, чтобы обеспечивать соблюдение таких прав.

При этом в Резолюции подчёркивается, что онлайн-платформы несут ответственность за предотвращение вреда свободе выражения мнения, в том числе путём отбора источников, злоупотребления сбором персональных данных, избыточной модерации и искажений.

Россия присоединилась к принятым резолюциям с приложением разъяснительного заявления.

ОЭСР проводит публичные консультации по классификатору систем ИИ

Эксперты организации пришли к выводу, что эффективно регулировать применение таких систем "скопом" невозможно.

Регулирование должно быть дифференцированным в зависимости от следующих факторов:
1) контекста использования системы ИИ,
2) данных и вводных,
3) свойств применяемой ИИ-модели,
4) задач и результатов.

Тщательно придерживаясь данного подхода, эксперты ОЭСР разработали четырёхфакторный классификатор систем ИИ, уделяя основное внимание простоте его использования лицами, принимающими политико-правовые решения по регулированию ИИ в различных странах.

До 30 июня 2021 года вы можете повлиять на итоговую редакцию классификатора, в том числе попробовав применить его к известной вам системе ИИ (опрос на 5-15 минут) или высказав концептуальные комментарии по тексту.

Для участия пройдите по ссылке.

ЕС, видимо, признает Великобританию "адекватной юрисдикцией" для целей передачи персональных данных

В сети появился неофициально опубликованный проект решения Еврокомиссии о признании Великобритании юрисдикцией, обеспечивающей адекватную защиту персональных данных.

Напомню, что в соответствии с Общим регламентом ЕС о защите данных (ОРЗД, GDPR) такое решение позволяет операторам из ЕС продолжить передавать персональные данные в Великобританию без дополнительных формальностей и ограничений, как если бы она продолжала оставаться в составе ЕС.

При этом решение об адекватности может быть пересмотрено, если власти Великобритании начнут существенно пересматривать своё законодательство о персональных данных, ныне унаследованное от ЕС (так называемый UK GDPR).

Предложения о таком пересмотре, вызвавшие бурную общественную дискуссию, были недавно представлены британскому премьер-министру Целевой группой по инновациям, росту и регуляторной реформе (TIGRR). Для того, чтобы лучше адаптироваться к реалиям новых технологий, включая ИИ и распределённые реестры, Группа предложила, в частности, больше опираться на британское прецедентное право и меньше ориентироваться на континентальный подход, представленный в GDPR.

Предвзятые люди, предвзятые алгоритмы?

Предвзятость ИИ (AI bias) — довольно популярная тема для дискуссий. Есть множество опасений по поводу того, насколько могут быть справедливыми решения, принимаемые информационной системой без участия человека, но в отношении человека.

Зачастую эти дискуссии проходят без единого понимания того, что считать bias (предвзятостью), все ли искажения подобного рода плохи, и как в принципе работают те системы, которые мы подозреваем в принятии предвзятых решений.

Редко в этих дискуссиях также обсуждаются когнитивные искажения, допускаемые людьми, и можно ли в принципе избежать их влияния на процесс принятия решений.

29 июня, в 17:30 по Москве на конференции по Европейскому диалогу по управлению интернетом EuroDIG 2021 при моей модерации обсудим эту тему с профильными экспертами:

Екатерина Муравлёва, Сколтех
Хироми Араи, RIKEN Center for Advanced Intelligence Project
Картикеян Рамамурти, IBM Research AI
Золтан Турбек, Совет Европы
Дэниел Лёйфер, Access Now

В нашей панели -- сразу три специалиста по машинному обучению, поэтому диалог обещает быть научно информированным и продуктивным.

Язык — английский. Участие бесплатное.
Регистрация здесь. Подробности по ссылке.

Вебинар: сервисные роботы и права человека

Сервисные роботы зачастую помогают взаимодействию между людьми и организациями или заменяют людей в этом процессе.

В ряде случаев это порождает вопросы, значимые для прав человека.

При каких условиях применение сервисных роботов способствует, а при каких — препятствует — охране частной жизни и человеческого достоинства? Возможны ли иные последствия для фундаментальных прав человека?

На полях 5-го пленарного заседания Специального комитета Совета Европы по ИИ мы с моей коллегой Летисией Диманш проведём вебинар по этой теме.

Участвуют профильные эксперты:
- Сюзанна Биллер (Международная федерация робототехники),
- Хироаки Китано (Сони Компьютер Саенс Лабораториз)
- Стивен Ву (юридическая фирма "Силикон Велли Ло Груп"),
- Эйми ван Винсберг (Профессор прикладной этики ИИ, Боннский ун-т)

Мероприятие пройдёт 05.07.2021 (пн), с 14 до 15 ч. по Москве, на английском.

Полный анонс и ссылка для участия здесь.

Мероприятие про предвзятость ИИ начнётся уже скоро - в 17:30 по Москве (16:30 CEST)

UPD: состоялось. Наша сессия с 6:20:46

https://www.youtube.com/watch?v=kQEAIhbWHzk

Фальсификация справедливости

Рекомендую интересную статью во вложении - от одной из участниц вчерашней панели по предвзятости ИИ на Eurodig.

В статье д-р Араи с соавторами поясняет, как для машинно-обученных моделей, устроенных по принципу "чёрного ящика" (в отличие от полностью интерпретируемых моделей), возможно сформулировать целый ряд правдоподобных объяснений того, как модель пришла к результату.

При этом возможно выбрать такое объяснение, которое будет соответствовать этическим и регуляторным требованиям, даже если модель по факту не имеет соответствующих органичений.

В случае массового внедрения таких моделей в чувствительных областях человеческой деятельности мы можем оказаться в ситуации, перед которой померкнет предыдущий Дизельгейт.

Там мы наблюдали фальсификацию показателей экологичности продукта одним крупным игроком на сформированном рынке с небольшим числом игроков. Рынок систем ИИ - много шире, а контроля на нём, в сравнении с автопромом - пока практически нет.

Вебинар про сервисных роботов и права человека состоится уже в понедельник.

Есть вопросы, которые вы бы хотели адресовать спикерам? Пишите в комментариях к этому сообщению.

Присоединяйтесь, вебинар начнётся через 5 минут https://bit.ly/3gICxRh

Видеозапись вебинара 05.07.2021

А вот и видео вебинара о сервисных роботах и правах человека https://youtu.be/UT62iIaSk08

Сказка ложь, да в ней намёк

На днях разошлась байка про нейросеть, которая училась регулировать вентиляцию в метро и вместо количества людей на платформе скоррелировала воздушный поток со временем на настенных часах в кадре.

В определённое время людей было больше, и вместо корреляции с "людскими" пикселями система посчитала значимой корреляцию с пикселями изображения часов.

Байка только байка, да и по опыту работы в тяжмаше помню, что вентиляцию регулируют по датчикам концентрации CO2, наука тут проще.

Но мораль байки для меня: не забываем, что нейросети не умеют думать и искать причины, для этого нужны люди с мозгом. Которые проверят на буллшит корреляции нейронки и в целом гарантируют, что ИИ-система и её применение научно обоснованы и эффективны.

Потому что прототипы у байки есть — без перепроверки человеком система всерьёз выдавала вывод: раз в тренировочном наборе на фото опухоли чаще есть линейки, то линейка = рак.

Предвзятость ИИ - отчёт о сессии

Для тех, кто предпочитает текст вместо видео, опубликован отчёт о нашей сессии на EuroDIG 2021.

Тезисы наших докладчиков, представленные в отчёте, суммировала Катарина Хёне:

"Модератором данной сессии выступил г-н Александр Тюльканов (специальный советник по цифровому развитию, Совет Европы), на этой сессии выступили г-н Картикеян Натесан Рамамурти (научный сотрудник IBM Research AI), г-жа Екатерина Муравлёва (старший научный сотрудник Сколковского института науки и технологий), г-н Золтан Турбек (сопредседатель группы разработки политики Спецкомитета по ИИ, Совет Европы), г-н Даниэль Луфер (аналитик европейской политики, Access Now) и г-жа Хироми Араи (руководитель отдела безопасности и надежности ИИ, RIKEN Center for Advanced Intelligence Project).

Обзор машинного обучения (ML)

Обсуждение началось с краткого обзора машинного обучения (ML) и того, как «обучение» работает в контексте ML, особенно в отличие от человеческого обучения. Выступавшие подчеркнули необходимость в данных для обучения и последствия возможной предвзятости в этих данных. Несбалансированные данные приводят к несбалансированным прогнозам. Однако природа алгоритмов машинного обучения, построенных по принципу «черного ящика» вызывает опасения, когда результаты машинного обучения применяются при принятии решений. Кроме того, важно понимать, что предвзятость может возникать на различных этапах создания систем машинного обучения. Беспокойство вызывает то, что предвзятость в ML может привести к нарушениям прав человека и других принципов, высоко ценимых обществом. Необходима политика для снижения рисков. Это, конечно, не означает, что процесс принятия решений человеком свободен от предвзятости или когда-либо может быть свободным от предвзятости. Напротив, люди эволюционно запрограммированы на то, чтобы принимать определенную точку зрения и сосредотачиваться на одних вещах, а не на других.

Принятие решений и машинное обучение

Принятие решений может быть улучшено при помощи данных, полученных в результате машинного обучения. Однако важно убедиться, что принятие решений, особенно когда речь идет о деликатных темах или проблемах с далеко идущими последствиями, не основывается исключительно на результатах ML. В этом смысле результаты машинного обучения должны быть только одним из факторов, влияющих на принятие решений, а окончательные решения должны приниматься людьми. Кроме того, необходимо наличие ограничений, механизмов безопасности и механизмов аудита, чтобы предупреждать лиц, принимающих решения, и тех, кого это касается, о предвзятости, возникающей при использовании систем искусственного интеллекта. Кроме того, крайне важно работать над большей прозрачностью и объяснимостью систем искусственного интеллекта, участвующих в принятии решений. Следует рассмотреть целесообразность создания реестров систем ИИ и используемых ими данных, а также введения запретов на использование определенных систем ИИ с высоким риском и высоким уровнем вреда.

Равенство и справедливость

Обсуждения предвзятости и снижения вреда в системах ML также включают дискуссии о равенстве и справедливости. Эти концепции, однако, имеют сильную культурную коннотацию, и разные общества нашли несколько разные ответы относительно этих концепций. Это означает, что, хотя эти принципы важны для устранения предвзятости и вреда, нелегко найти межкультурное согласие по некоторым аспектам этих принципов. В целом это сигнализирует о необходимости обсудить, в каком обществе мы хотим жить в будущем.

Регулирование и саморегулирование

В вопросе регулирования важное значение имеет саморегулирование частного сектора. Однако некоторые выступавшие также утверждали, что этого в конечном итоге недостаточно. Существуют предложения относительно этичного использования ИИ (ЮНЕСКО) и различных нормативных актов (ЕС). Однако также важно обеспечить, чтобы эти усилия дополняли друг друга. В этом смысле для синергии необходимо более тесное сотрудничество между различными заинтересованными сторонами."

Опубликовано предложение NIST по управлению предвзятостью в системах ИИ

До 10 сентября 2021 г. Национальный институт США по стандартам и технологии (NIST) проводит публичные консультации по проекту документа № 1270 "Предложение по выявлению и контролю предвзятости искусственного интеллекта".

По мнению Института, чтобы создать доверенные ИИ-системы, необходимо снизить риск общественно опасных последствий, которые могут наступить ввиду предвзятости таких систем.

Данное предложение призвано заполнить пробелы в этой области и является шагом на пути к дальнейшей стандартизации и построению риск-ориентированной базы для доверенного и ответственного искусственного интеллекта.

Предложение описывает виды предвзятости, существующие в ИИ-системах, и стратегию NIST по управлению предвзятостью.

Документ содержит полезный глоссарий и список актуальной литературы по теме.

Принять участие в консультации и внести вклад в проработку документа вы можете по ссылке.