Robocounsel
1.77K subscribers
206 photos
11 videos
70 files
496 links
О регулировании и социальных аспектах применения робототехники, ИИ, данных и электронной коммерции. Публикации отражают сугубо личное мнение автора.

Контакт, вопросы: @robocounsel_bot

Шрифт в логотипе - Alex Murphy Solid от Goatmeal
加入频道
⚡️Опубликован проект Регламента ЕС о гармонизированных правилах в отношении ИИ (Artificial Intelligence Act)

Предложено запретить некоторые применения ИИ, в частности — внедрение для государственных нужд систем социального скоринга, в которых поведение человека в одном контексте влияет на его оценку в другом контексте.

Определены высокорисковые области применения ИИ и требования к процессам, системам и данным, используемым в таких областях.

В областях ограниченного или минимального риска предусмотрено, соответственно, ограниченное регулирование (в основном касающееся прозрачности взаимодействия с системой ИИ) или отсутствие регулирования.

Предусматривается процедура подтверждения соответствия систем ИИ для областей высокого риска, а также создание Европейского совета по ИИ для содействия стандартизации и введение регуляторных песочниц.

Добровольные кодексы поведения предполагаются для областей применения, не относящихся к высокорисковым.

Опубликован пресс-релиз, а также ответы на вопросы.
Robocounsel
Automation bias (automation complacency) В продолжение темы для интересующихся: есть исследования, подтверждающие феномен слепого доверия автоматизированным системам. Объясняется оно одним из присущих человеческому мышлению когнитивных искажений. Оно так…
К чему приводит склонность людей некритически полагаться на автоматизированные решения?

Алексей Мунтян рассказывает о показательном случае.

Британский Post Office 20 лет использовал ПО, из-за ошибок в котором сотрудникам регулярно вменяли несуществующие недостачи.

Почти 740 сотрудников были ошибочно привлечены к ответственности в период с 2000 по 2014 гг. Причинён огромный моральный вред. И никто не усомнился в надёжности программного обеспечения.

Что я могу сказать? Есть целый ряд исследований (пару из которых я приводил тут), подтверждающих феномен слепого доверия автоматизированным системам.

Объясняется такое доверие одним из присущих человеческому мышлению когнитивных искажений. Оно так и называется - искажение автоматизации (automation bias).

Исследования объясняют, что искажение приводит, во-первых, к склонности к ошибочным упущениям событий, которые прямо не обозначены автоматизированной системой (errors in omission).

Во-вторых — также к ошибочным действиям по рекомендациям автоматизированной системы, даже если рекомендация противоречит опыту человека, использующего систему, и другим доступным ему заведомо достоверным данным (errors in commission).

Какие выводы?

1. Доверяй, но проверяй. Автоматизированные решения могут и должны проверяться, хотя бы выборочно, на буллшит: ошибка может быть во входных данных, в методах и логике вычисления решения или в его интерпретации.

Для чувствительных применений доказательство надёжности автоматизированной системы должно быть предварительным условием закупки и ввода её в эксплуатацию.

2. Гражданам должны быть доступны эффективные средства правовой защиты, а организации должны критичнее относиться к своим внутренним процедурам и убедиться в том, что в них "зашита" проверка на буллшит, и что урок от Британского Post Office выучен и не повторится.
Robocounsel
⚡️Опубликован проект Регламента ЕС о гармонизированных правилах в отношении ИИ (Artificial Intelligence Act) Предложено запретить некоторые применения ИИ, в частности — внедрение для государственных нужд систем социального скоринга, в которых поведение человека…
Европейское регулирование ИИ изменит бизнес-процессы во всём мире и станет "вторым GDPR"

Пол Старрет из PrivacyLabs завёл подкаст и в первый же выпуск пригласил Стивена Ву (Silicon Valley Law Group) — обсуждают проект Регламента ЕС об ИИ (Artificial Intelligence Act).

Те, кто давно в теме регулирования ИИ, могут помнить Стивена по его робомитапам и работе в Комитете по науке и технологиям Американской ассоциации юристов. Он — один из ведущих практикующих юристов по "робоправу" в США.

В подкасте Стивен даёт прогноз эффекта Регламента ЕС об ИИ на американские компании (с 12 мин. 21 сек.).

Он обращает внимание на то, что при выводе продукта на множество рынков компаниям, с точки зрения экономии на масштабе, проще подчинять продукты наиболее строгим из существующих требований.

Таким образом, отмечает он, как это уже было с GDPR, европейское регулирование ИИ в значительной мере трансгранично скорректирует бизнес-процессы в США и других странах, чьи продукты нацелены на рынок ЕС, по принципу "наибольшего общего делителя" ("highest common denominator").

У компаний, конечно, остаётся опция создавать продукты, подчиняющиеся регуляторным требованиям различной степени строгости для различных рынков, но с учетом ущерба для экономии масштаба такая экзотика вряд ли будет посильна большинству разработчиков.

Подписаться на подкаст Пола можно добавив адрес его rss-ленты в любом подкаст-приложении.
"Чёрный ящик" всегда точнее?

Часто говорят, что в машинном обучении мы должны идти на компромисс между точностью и интерпретируемостью моделей. Если модель простая и понятная ("стеклянный ящик"), то она обязательно менее точная, чем сложная непонятная модель ("чёрный ящик").

Специалист по исследованию данных проф. Синтия Рудин и её академическая коллега Джоанна Рэдин в своей статье утверждают: это ложная дихотомия. Аналогия между высокоточной роборукой, ошибающейся в 2% операций и способным объяснить свои действия хирургом, ошибающимся в 15% операций — умышленно или по неосторожности вводит в заблуждение.

Авторы статьи говорят, что по опыту очень часто оказывается возможным сконструировать простой и понятный, и при этом столь же или даже более точный "стеклянный ящик". Поэтому правильно сравнивать точные "чёрные ящики" и точные "стеклянные ящики".

Возможно, для поставленной аналитической задачи даже и не пытались создать, либо не приложили достаточно ресурсов, чтобы попытаться создать точный "стеклянный ящик".

Если задача связана с повышенным риском причинения вреда значимым интересам (например, жизнь и здоровье граждан, тайна частной жизни), нужно задаться вопросом, каковы были мотивы решения не пытаться создать и применить "стеклянный ящик".

В частности, причиной могла быть простая инерция, оставшаяся со времен, когда машиннообученные модели использовались в основном для решения задач в низкорисковых областях.

Или, например, банальный узкочастный интерес — сохранить в тайне секрет работы проприетарного "чёрного ящика" без учёта возможного ущерба другим лицам.
ИИ-анализ лиц для найма на работу: полный провал

Журналисты Байрише Рундфунк решили проверить, насколько хорошо работает ИИ-система помощи в подборе персонала.

Продукт уже используют Люфтганза, БМВ и другие крупные компании.

Оказалось, что система существенно меняет оценку одного и того же человека в зависимости от наличия очков и головного убора, а также от того, каков задний фон.

Кандидат с книжными полками на заднем фоне оценивался как более открытый и прилежный, чем он же без этих полок.

Более того, на оценку кандидата влияло качество освещения.

Профессор Катарина Цвайг в этом контексте замечает: "ИИ — в целом отличный инструмент и нам следует его использовать. Но не для анализа человеческого поведения — тут возникают проблемы".

Ей вторит Джулия Энгвин, журналист, изучающий влияние технологий на общество. Она отмечает: идея о том, что черты лица могут хоть что-то сказать о ваших профессиональных качествах — научно не обоснована.
Дипфейки и GPT-3: гремучая смесь

В пятницу 21 мая в 15:00 по Москве Совет Европы проводит вебинар о том, как сочетаются технологии создания дипфейков и автоматической генерации текста. И о том, какие возможности это создаёт для создания дезинформации в промышленных масштабах.

В вебинаре участвуют Себастиан Халленслебен (Ph.D, Руководитель направления по цифровизации и ИИ, VDE e.V, Германия), Карен Мельхиор (депутат Европарламента, Дания) и Павел Гладышев (Ph.D, доцент University College, Ирландия).

Для участия пройдите по ссылке.
Автоматизированные создание и модерацию контента могут урегулировать

Конференция Министров Совета Европы, ответственных за СМИ и информационное общество, в прошлую пятницу приняла ряд резолюций.

В их числе — Резолюция о свободе выражения мнения и цифровых технологиях.

Из Резолюции следует, в частности, что профильные министры планируют выработать подходы к регулированию применения средств создания, модерации и распространения онлайн-контента с применением ИИ и цифровых технологий.

Такие подходы, исходя из Резолюции, могут включать появление независимого надзора за модерацией контента на онлайн-площадках, а также установление обязательных требований к автоматизированному созданию и распространению контента.

Также профильные министры призвали разработчиков соответствующих технологий проводить предварительную оценку их возможного воздействия на права человека и безопасность пользователей и проектировать свои продукты так, чтобы обеспечивать соблюдение таких прав.

При этом в Резолюции подчёркивается, что онлайн-платформы несут ответственность за предотвращение вреда свободе выражения мнения, в том числе путём отбора источников, злоупотребления сбором персональных данных, избыточной модерации и искажений.

Россия присоединилась к принятым резолюциям с приложением разъяснительного заявления.
ОЭСР проводит публичные консультации по классификатору систем ИИ

Эксперты организации пришли к выводу, что эффективно регулировать применение таких систем "скопом" невозможно.

Регулирование должно быть дифференцированным в зависимости от следующих факторов:
1) контекста использования системы ИИ,
2) данных и вводных,
3) свойств применяемой ИИ-модели,
4) задач и результатов.

Тщательно придерживаясь данного подхода, эксперты ОЭСР разработали четырёхфакторный классификатор систем ИИ, уделяя основное внимание простоте его использования лицами, принимающими политико-правовые решения по регулированию ИИ в различных странах.

До 30 июня 2021 года вы можете повлиять на итоговую редакцию классификатора, в том числе попробовав применить его к известной вам системе ИИ (опрос на 5-15 минут) или высказав концептуальные комментарии по тексту.

Для участия пройдите по ссылке.
ЕС, видимо, признает Великобританию "адекватной юрисдикцией" для целей передачи персональных данных

В сети появился неофициально опубликованный проект решения Еврокомиссии о признании Великобритании юрисдикцией, обеспечивающей адекватную защиту персональных данных.

Напомню, что в соответствии с Общим регламентом ЕС о защите данных (ОРЗД, GDPR) такое решение позволяет операторам из ЕС продолжить передавать персональные данные в Великобританию без дополнительных формальностей и ограничений, как если бы она продолжала оставаться в составе ЕС.

При этом решение об адекватности может быть пересмотрено, если власти Великобритании начнут существенно пересматривать своё законодательство о персональных данных, ныне унаследованное от ЕС (так называемый UK GDPR).

Предложения о таком пересмотре, вызвавшие бурную общественную дискуссию, были недавно представлены британскому премьер-министру Целевой группой по инновациям, росту и регуляторной реформе (TIGRR). Для того, чтобы лучше адаптироваться к реалиям новых технологий, включая ИИ и распределённые реестры, Группа предложила, в частности, больше опираться на британское прецедентное право и меньше ориентироваться на континентальный подход, представленный в GDPR.
Предвзятые люди, предвзятые алгоритмы?

Предвзятость ИИ (AI bias) — довольно популярная тема для дискуссий. Есть множество опасений по поводу того, насколько могут быть справедливыми решения, принимаемые информационной системой без участия человека, но в отношении человека.

Зачастую эти дискуссии проходят без единого понимания того, что считать bias (предвзятостью), все ли искажения подобного рода плохи, и как в принципе работают те системы, которые мы подозреваем в принятии предвзятых решений.

Редко в этих дискуссиях также обсуждаются когнитивные искажения, допускаемые людьми, и можно ли в принципе избежать их влияния на процесс принятия решений.

29 июня, в 17:30 по Москве на конференции по Европейскому диалогу по управлению интернетом EuroDIG 2021 при моей модерации обсудим эту тему с профильными экспертами:

Екатерина Муравлёва, Сколтех
Хироми Араи, RIKEN Center for Advanced Intelligence Project
Картикеян Рамамурти, IBM Research AI
Золтан Турбек, Совет Европы
Дэниел Лёйфер, Access Now

В нашей панели -- сразу три специалиста по машинному обучению, поэтому диалог обещает быть научно информированным и продуктивным.

Язык — английский. Участие бесплатное.
Регистрация здесь. Подробности по ссылке.
Вебинар: сервисные роботы и права человека

Сервисные роботы зачастую помогают взаимодействию между людьми и организациями или заменяют людей в этом процессе.

В ряде случаев это порождает вопросы, значимые для прав человека.

При каких условиях применение сервисных роботов способствует, а при каких — препятствует — охране частной жизни и человеческого достоинства? Возможны ли иные последствия для фундаментальных прав человека?

На полях 5-го пленарного заседания Специального комитета Совета Европы по ИИ мы с моей коллегой Летисией Диманш проведём вебинар по этой теме.

Участвуют профильные эксперты:
- Сюзанна Биллер (Международная федерация робототехники),
- Хироаки Китано (Сони Компьютер Саенс Лабораториз)
- Стивен Ву (юридическая фирма "Силикон Велли Ло Груп"),
- Эйми ван Винсберг (Профессор прикладной этики ИИ, Боннский ун-т)

Мероприятие пройдёт 05.07.2021 (пн), с 14 до 15 ч. по Москве, на английском.

Полный анонс и ссылка для участия здесь.
Robocounsel
Мероприятие про предвзятость ИИ начнётся уже скоро - в 17:30 по Москве (16:30 CEST) UPD: состоялось. Наша сессия с 6:20:46 https://www.youtube.com/watch?v=kQEAIhbWHzk
1901.09749 Fairwashing.pdf
1 MB
Фальсификация справедливости

Рекомендую интересную статью во вложении - от одной из участниц вчерашней панели по предвзятости ИИ на Eurodig.

В статье д-р Араи с соавторами поясняет, как для машинно-обученных моделей, устроенных по принципу "чёрного ящика" (в отличие от полностью интерпретируемых моделей), возможно сформулировать целый ряд правдоподобных объяснений того, как модель пришла к результату.

При этом возможно выбрать такое объяснение, которое будет соответствовать этическим и регуляторным требованиям, даже если модель по факту не имеет соответствующих органичений.

В случае массового внедрения таких моделей в чувствительных областях человеческой деятельности мы можем оказаться в ситуации, перед которой померкнет предыдущий Дизельгейт.

Там мы наблюдали фальсификацию показателей экологичности продукта одним крупным игроком на сформированном рынке с небольшим числом игроков. Рынок систем ИИ - много шире, а контроля на нём, в сравнении с автопромом - пока практически нет.
Robocounsel
Вебинар: сервисные роботы и права человека Сервисные роботы зачастую помогают взаимодействию между людьми и организациями или заменяют людей в этом процессе. В ряде случаев это порождает вопросы, значимые для прав человека. При каких условиях применение…
Вебинар про сервисных роботов и права человека состоится уже в понедельник.

Есть вопросы, которые вы бы хотели адресовать спикерам? Пишите в комментариях к этому сообщению.
Сказка ложь, да в ней намёк

На днях разошлась байка про нейросеть, которая училась регулировать вентиляцию в метро и вместо количества людей на платформе скоррелировала воздушный поток со временем на настенных часах в кадре.

В определённое время людей было больше, и вместо корреляции с "людскими" пикселями система посчитала значимой корреляцию с пикселями изображения часов.

Байка только байка, да и по опыту работы в тяжмаше помню, что вентиляцию регулируют по датчикам концентрации CO2, наука тут проще.

Но мораль байки для меня: не забываем, что нейросети не умеют думать и искать причины, для этого нужны люди с мозгом. Которые проверят на буллшит корреляции нейронки и в целом гарантируют, что ИИ-система и её применение научно обоснованы и эффективны.

Потому что прототипы у байки есть — без перепроверки человеком система всерьёз выдавала вывод: раз в тренировочном наборе на фото опухоли чаще есть линейки, то линейка = рак.
Вы видите в лесу незнакомые ягоды. Вы очень голодны, но не заблудились, до города 1 час пешком. Телефон не ловит, но у вас есть приложение, машинно-обученное распознавать ядовитые и съедобные растения, типа https://yangx.top/cmd_cv/1404 Доверитесь ему?
Anonymous Poll
7%
Да, безусловно
4%
Если его безопасность подтверждена госорганом
26%
Если его безопасность подтверждена консенсусом экспертов
15%
Если у него хороший рейтинг от пользователей
7%
Если соблюдаются другие условия (укажу в комментариях)
55%
Нет, ни при каких условиях