Robocounsel
1.85K subscribers
217 photos
12 videos
75 files
544 links
О регулировании и социальных аспектах применения ИИ и данных, преимущественно в ЕС. Публикации отражают сугубо личное мнение автора.

Контакт, вопросы: @robocounsel_bot

Шрифт в логотипе - Alex Murphy Solid от Goatmeal
加入频道
Сказка ложь, да в ней намёк

На днях разошлась байка про нейросеть, которая училась регулировать вентиляцию в метро и вместо количества людей на платформе скоррелировала воздушный поток со временем на настенных часах в кадре.

В определённое время людей было больше, и вместо корреляции с "людскими" пикселями система посчитала значимой корреляцию с пикселями изображения часов.

Байка только байка, да и по опыту работы в тяжмаше помню, что вентиляцию регулируют по датчикам концентрации CO2, наука тут проще.

Но мораль байки для меня: не забываем, что нейросети не умеют думать и искать причины, для этого нужны люди с мозгом. Которые проверят на буллшит корреляции нейронки и в целом гарантируют, что ИИ-система и её применение научно обоснованы и эффективны.

Потому что прототипы у байки есть — без перепроверки человеком система всерьёз выдавала вывод: раз в тренировочном наборе на фото опухоли чаще есть линейки, то линейка = рак.
Вы видите в лесу незнакомые ягоды. Вы очень голодны, но не заблудились, до города 1 час пешком. Телефон не ловит, но у вас есть приложение, машинно-обученное распознавать ядовитые и съедобные растения, типа https://yangx.top/cmd_cv/1404 Доверитесь ему?
Anonymous Poll
7%
Да, безусловно
4%
Если его безопасность подтверждена госорганом
26%
Если его безопасность подтверждена консенсусом экспертов
15%
Если у него хороший рейтинг от пользователей
7%
Если соблюдаются другие условия (укажу в комментариях)
55%
Нет, ни при каких условиях
Robocounsel
Мероприятие про предвзятость ИИ начнётся уже скоро - в 17:30 по Москве (16:30 CEST) UPD: состоялось. Наша сессия с 6:20:46 https://www.youtube.com/watch?v=kQEAIhbWHzk
Предвзятость ИИ - отчёт о сессии

Для тех, кто предпочитает текст вместо видео, опубликован отчёт о нашей сессии на EuroDIG 2021.

Тезисы наших докладчиков, представленные в отчёте, суммировала Катарина Хёне:

"Модератором данной сессии выступил г-н Александр Тюльканов (специальный советник по цифровому развитию, Совет Европы), на этой сессии выступили г-н Картикеян Натесан Рамамурти (научный сотрудник IBM Research AI), г-жа Екатерина Муравлёва (старший научный сотрудник Сколковского института науки и технологий), г-н Золтан Турбек (сопредседатель группы разработки политики Спецкомитета по ИИ, Совет Европы), г-н Даниэль Луфер (аналитик европейской политики, Access Now) и г-жа Хироми Араи (руководитель отдела безопасности и надежности ИИ, RIKEN Center for Advanced Intelligence Project).

Обзор машинного обучения (ML)

Обсуждение началось с краткого обзора машинного обучения (ML) и того, как «обучение» работает в контексте ML, особенно в отличие от человеческого обучения. Выступавшие подчеркнули необходимость в данных для обучения и последствия возможной предвзятости в этих данных. Несбалансированные данные приводят к несбалансированным прогнозам. Однако природа алгоритмов машинного обучения, построенных по принципу «черного ящика» вызывает опасения, когда результаты машинного обучения применяются при принятии решений. Кроме того, важно понимать, что предвзятость может возникать на различных этапах создания систем машинного обучения. Беспокойство вызывает то, что предвзятость в ML может привести к нарушениям прав человека и других принципов, высоко ценимых обществом. Необходима политика для снижения рисков. Это, конечно, не означает, что процесс принятия решений человеком свободен от предвзятости или когда-либо может быть свободным от предвзятости. Напротив, люди эволюционно запрограммированы на то, чтобы принимать определенную точку зрения и сосредотачиваться на одних вещах, а не на других.

Принятие решений и машинное обучение

Принятие решений может быть улучшено при помощи данных, полученных в результате машинного обучения. Однако важно убедиться, что принятие решений, особенно когда речь идет о деликатных темах или проблемах с далеко идущими последствиями, не основывается исключительно на результатах ML. В этом смысле результаты машинного обучения должны быть только одним из факторов, влияющих на принятие решений, а окончательные решения должны приниматься людьми. Кроме того, необходимо наличие ограничений, механизмов безопасности и механизмов аудита, чтобы предупреждать лиц, принимающих решения, и тех, кого это касается, о предвзятости, возникающей при использовании систем искусственного интеллекта. Кроме того, крайне важно работать над большей прозрачностью и объяснимостью систем искусственного интеллекта, участвующих в принятии решений. Следует рассмотреть целесообразность создания реестров систем ИИ и используемых ими данных, а также введения запретов на использование определенных систем ИИ с высоким риском и высоким уровнем вреда.

Равенство и справедливость

Обсуждения предвзятости и снижения вреда в системах ML также включают дискуссии о равенстве и справедливости. Эти концепции, однако, имеют сильную культурную коннотацию, и разные общества нашли несколько разные ответы относительно этих концепций. Это означает, что, хотя эти принципы важны для устранения предвзятости и вреда, нелегко найти межкультурное согласие по некоторым аспектам этих принципов. В целом это сигнализирует о необходимости обсудить, в каком обществе мы хотим жить в будущем.

Регулирование и саморегулирование

В вопросе регулирования важное значение имеет саморегулирование частного сектора. Однако некоторые выступавшие также утверждали, что этого в конечном итоге недостаточно. Существуют предложения относительно этичного использования ИИ (ЮНЕСКО) и различных нормативных актов (ЕС). Однако также важно обеспечить, чтобы эти усилия дополняли друг друга. В этом смысле для синергии необходимо более тесное сотрудничество между различными заинтересованными сторонами."
NIST.SP.1270-draft.pdf
727.3 KB
Опубликовано предложение NIST по управлению предвзятостью в системах ИИ

До 10 сентября 2021 г.
Национальный институт США по стандартам и технологии (NIST) проводит публичные консультации по проекту документа № 1270 "Предложение по выявлению и контролю предвзятости искусственного интеллекта".

По мнению Института, чтобы создать доверенные ИИ-системы, необходимо снизить риск общественно опасных последствий, которые могут наступить ввиду предвзятости таких систем.

Данное предложение призвано заполнить пробелы в этой области и является шагом на пути к дальнейшей стандартизации и построению риск-ориентированной базы для доверенного и ответственного искусственного интеллекта.

Предложение описывает виды предвзятости, существующие в ИИ-системах, и стратегию NIST по управлению предвзятостью.

Документ содержит полезный глоссарий и список актуальной литературы по теме.

Принять участие в консультации и внести вклад в проработку документа вы можете по ссылке.
Амазону грозит крупнейший штраф за нарушение Общего регламента ЕС по защите данных — 746 млн. евро

Об этом стало известно благодаря только что опубликованной ежеквартальной отчётности компании, направленной в Комиссию США по ценным бумагам.

Штраф наложен по решению Национальной комиссии по защите персональных данных Великого герцогства Люксембург (по состоянию на 1 августа — не опубликованному).

В чём именно люксембургский орган по защите данных усмотрел нарушения без ознакомления с решением сказать невозможно.

Из отчётности самого Амазона следует, что контролирующий орган усмотрел в деятельности компании нарушения Общего регламента ЕС по защите данных (ОРЗД, GDPR), и Амазону предписано для устранения этих нарушений пересмотреть существующие бизнес-процессы. Компания с решением не согласна.

Вместе с тем, не исключено, что основанием для решения была жалоба, ранее поданная французской некоммерческой организацией La Quadrature du Net в отношении практик Амазона и других компаний условной группы GAFAM (Google, Apple, Facebook, Amazon, Microsoft). Эта НКО ранее собрала 12 тысяч подписей граждан для подачи жалоб против практик указанных компаний в области обработки персональных данных.

Исходя из текста жалобы, Амазону может вменяться отсутствие правового основания для обработки персональных данных потребителей в целях построения их индивидуальных профилей и направления им таргетированной рекламы.

Правовая позиция, изложенная в жалобе, основана на положениях ОРЗД (GDPR), Директивы 2002/58/EC и Директивы 95/46/EC в истолковании, ранее данном в актах Рабочей группы WP29.

Исходя из данной правовой позиции, Амазон для составления профиля потребителя для таргетированной рекламы не может полагаться на свой законный интерес, поскольку эволюция в практике применения в ЕС данного правового основания привела к тому, что оно более не считается допустимым для обработки в целях построения индивидуального профиля потребителя и направления ему таргетированной рекламы.

При этом Амазон также не может полагаться и на договор, поскольку построение профилей потребителей для таргетированной рекламы не является необходимым для тех целей, для которых потребители заключают договор с Амазон (покупать и продавать товары на маркетплейсе).

Теоретически Амазон мог бы полагаться на согласие, данное потребителем. Но в настоящее время Амазон не запрашивает отдельного и добровольного (то есть не зависящего от возможности пользоваться сайтом) согласия на обработку персональных данных именно для цели построения рекламного профиля клиентов и последующей таргетированной рекламы.

О том, в какой мере правовая позиция La Quadrature du Net и практика WP29 нашли применение в решении люксембургского органа по защите данных, станет понятно после официальной публикации решения.
UNESCO_AI_Ethics_Draft_2021_Jun_3_rev.2.pdf
258.3 KB
ЮНЕСКО опубликовало проект Рекомендаций по этике ИИ

Проект был подготовлен Специальной экспертной группой ЮНЕСКО.

Собрание специального комитета экспертов в области техники и права, назначенных государствами-членами организации, внесло в проект правки и в прилагаемой редакции одобрило его для рассмотрения на Генеральной конференции организации в ноябре 2021 г.

Документ закрепляет базовые ценности и принципы, которых следует придерживаться на всех этапах жизненного цикла систем с ИИ, а также перечисляет области, где требуется регулирование.

Среди таких областей:
- оценка воздействия систем с ИИ,
- управление применением систем с ИИ,
- политика в области данных,
- развитие и международное сотрудничество,
- охрана окружающей среды,
- гендерное равенство,
- культурная политика,
- политика в области образования и исследований,
- политика в области коммуникаций и информации,
- экономическая и трудовая политика,
- здравоохранение и социальное обеспечение.
Robocounsel
Амазону грозит крупнейший штраф за нарушение Общего регламента ЕС по защите данных — 746 млн. евро Об этом стало известно благодаря только что опубликованной ежеквартальной отчётности компании, направленной в Комиссию США по ценным бумагам. Штраф наложен…
Опубликовано письмо CNIL, разъясняющее мотивы наложенного на Амазон штрафа

Национальная комиссия Франции по информатизации и гражданским свободам (CNIL) в своём письме разъяснила мотивы решения своих люксембургских коллег.

В письме CNIL указывается, что решение CNPD (люксембургского органа по защите данных) о наложении 746 млн. евро штрафа на Амазон действительно было вынесено на основе жалобы, поданной французской НКО La Quadrature du Net.

Как подтверждает CNIL, согласно решению CNPD Амазону вменяется нарушение статей 6(1), 12, 13, 14, 15, 16, 17, 21 Общего регламента ЕС по защите данных (ОРЗД, GDPR).

В связи с этим Амазону предъявлено требование:

- обеспечить, чтобы соблюдались положения ст. 6(1) ОРЗД и обработка персональных данных для целей таргетированной рекламы имела законное основание,

- обеспечить, чтобы при обработке персональных данных выполнялись предусмотренные статьями 12, 13 и 14 ОРЗД обязанности по раскрытию информации,

- выполнять предусмотренные статьями 15-17 ОРЗД обязанности по рассмотрению требований субъектов о предоставлении доступа к персональным данным, а также об их уточнении или уничтожении,

- внедрить в соответствии со статьёй 21 ОРЗД комплекс мер, позволяющих субъекту выразить несогласие с обработкой персональных данных, включая любую обработку, связанную с привлечением клиентов.

Требование должно быть исполнено в течение 6 месяцев, а на случай неисполнения установлен дополнительный штраф в размере 746 тыс. евро за каждый день просрочки.
Личные цифровые аватары становятся немного ближе

Обнаружил, что в давно используемом мной Text-to-Speech приложении Acapella какое-то время назад появилась функция использования собственного оцифрованного голоса.

Вы записываете 50 предложений и на их основе создаётся ваш личный голос для озвучивания текста везде, где работает Text-to-Speech.

Его можно загрузить в приложение наряду с их собственными голосами.

Русский пока не поддерживается, но доступен английский, немецкий и ряд других.

Откровенно говоря, качество их движка даже с их фирменными голосами (включая их русские голоса) пока меня не впечатляет — а это вроде как одно из ведущих приложений.

Недостаточно плавно, недостаточно естественно. Но задел на будущее с цифровыми аватарами или на случай потери голоса есть.

Если решите попробовать — заполните анкету на их сайте, указав, что хотите попробовать My own voice.

Что с правовой стороны? Увы, туман. Заранее известно лишь то, что придётся заплатить разовый платёж после записи и тестирования (можно перезаписывать, пока не понравится).

Поэтому рекомендую проверить, каковы условия использования, в том числе как отражён вопрос исключительных прав на голос — вероятно, эти условия доступны после регистрации, на стартовой странице сервиса их не увидел.
notification_draft_2021_344_D_EN.DOC
978 KB
Основное требование к ВАТС в Германии: машина должна избегать столкновений в соответствии с достигнутым уровнем техники

Минтранс ФРГ подготовил проект приказа о порядке допуска и эксплуатации моторных ТС с функцией автономного вождения на отведённых для этого участках (AFGBV). Приказ необходим для того, чтобы заработал ранее принятый закон.

Для одобрения типа ВАТС изготовитель будет обязан обратиться в Федеральный орган по моторному транспорту и предоставить декларацию, подтверждающую, что (а) ВАТС соответствует уровню техники, описанному в Приказе, а также что (б) изготовитель обязуется соблюдать требования законодательства о дорожном движении.

Прежде всего ВАТС должно быть способно распознавать других участников дорожного движения, иных лиц, животных и имущество, предсказывать их поведение, проводить оценку риска столкновения и с её учётом совершать манёвр, необходимый для избежания столкновения.

Основные технические требования к ВАТС, процессам и документации изготовителя изложены в Приложениях.
Robocounsel
notification_draft_2021_344_D_EN.DOC
Кстати, о подходе немецких коллег к оценке регулирующего воздействия — из пояснительной записки к проекту приказа.

И про расходы для бизнеса, и заодно про то, что эксплуатации гражданами ВАТС в "обозримом будущем" не ожидается.
NHTSA проверяет "Автопилот"

Национальное управление США по безопасности дорожного движения сегодня инициировало расследование в отношении безопасности "Автопилота" Теслы.

Расследование начато по мотивам 11 случаев, в которых с 2018 года данная автоматизированная система помощи водителю (ADAS) привела к столкновению Тесл с машинами экстренных служб.
ИИ в государственном управлении: вопрос

Какие образцово-положительные примеры применения ИИ в госуправлении вы знаете? В какой стране?
Сегодня в неформальной обстановке буду в гостях у Кристины — подключайтесь
​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​#events #privacy #radiogroot

Когда: 31 августа 19:00(мск)
Где: голосовой чат в канале Privacy GDPR Russia
Тема: RadioGroot. Privacy поболтушки
В гостях: Александр Тюльканов
Организатор: RPPA
Язык: русский
Стоимость: бесплатно
Подробности: заходи в канал

🗓 Добавить в календарь

💬Оставляй вопросы спикеру здесь⬇️⬇️⬇️
14-15 сентября - Конференция Reghorizon AI Policy

Выступаю 15 сентября в панели № 4 с 11:15 до 12:30 по Москве

Обсудим, как в регулировании применения технологий нам могут помочь эти же самые технологии.

Язык — английский.

Регистрируйтесь здесь!
Robocounsel
14-15 сентября - Конференция Reghorizon AI Policy Выступаю 15 сентября в панели № 4 с 11:15 до 12:30 по Москве Обсудим, как в регулировании применения технологий нам могут помочь эти же самые технологии. Язык — английский. Регистрируйтесь здесь!
Итак, наша панель, завершилась —спасибо всем, кто смотрел!

А вот и результаты опроса в эфире...

P. S. Мероприятие продолжается, следующая панель в 12:45 по Москве.
Почему мало популярны инструменты для управления предвзятостью (fairness frameworks)?

Ранее я рассказывал про недобросовестные практики в машинном обучении. А именно, про "отмывание" ML-моделей (fairwashing), при котором для модели, выдающей несправедливые решения, строится убедительное объяснение, показывающее её в ложно хорошем свете.

Вчера на Reghorizon затронул и обратную сторону — добросовестные практики в машинном обучении. В данном случае — на этапе отбора данных для обучения модели.

Существуют решения с открытым исходным кодом, которые помогают строить модели методологически корректно и выявлять проблемы с данными (fairness frameworks).

Например, Aequitas, Fairlearn, Google What-if tool, IBM Fairness 360, PyMetrics Audit AI, Scikit-fairness.

Но, судя недавнему опросу кембриждских исследователей, только 54% специалистов по исследованию данных и ML когда-либо пробовали пользоваться этими инструментами.

Почему? Из-за несовершенства инструментов, их малой известности или неосознанности проблемы?
Хоть горшком назови, только в печку не ставь

В чате, который шёл на Reghorizon параллельно нашей сессии, обсуждали тезис о том, уместно ли называть "adjudication" ("судебным разрешением спора") деятельность автоматизированной системы, выносящей решение по спору без участия человека.

Чем такую деятельность точно нельзя назвать, так это "administration of justice" ("отправление правосудия").

Дело в том, что правосудие не ограничивается задачей (1) поиска наиболее подходящих к делу норм закона или (2) наиболее подходящих судебных прецедентов. Эта задача без участия человека на современном уровне техники решается лишь отчасти.

Правосудие предполагает, помимо этого, (3) учёт всех обстоятельств дела (а в инквизитивном процессе — ещё и инициативное их выявление), (4) доктрины и применение с необходимостью абстрактных норм и принципов, включающих (5) ценностные суждения. Эта задача без участия человека на современном уровне техники не решается вовсе.

Ну и, разумеется, правосудие предполагает собственно некую (6) процедуру, предполагающую возможность стороны ответить на аргументы другой стороны, получить новые доказательства и предоставить суду дополнительные аргументы, которые суд должен быть способен понять. Эта задача без участия человека на современном уровне техники также не решается.

Поэтому, когда вы обращаетесь к боту за оспариванием какого-то действия и решения, а бот выносит решение без участия человека и оно имеет для вас правовое значение (потому что это следует из закона или договора) — вы наблюдаете — в лучшем случае — автоматизированное правоприменение (application of law), но не правосудие (administration of justice) и не разрешение спора (adjudication).
Robocounsel
Хоть горшком назови, только в печку не ставь В чате, который шёл на Reghorizon параллельно нашей сессии, обсуждали тезис о том, уместно ли называть "adjudication" ("судебным разрешением спора") деятельность автоматизированной системы, выносящей решение по…
Уточним соотношение терминов

Комментарий Сергея Халатова к моему посту на Фейсбуке по этой теме породил желание уточнить термины и их соотношение. Чтобы все были, как говорят англоязычные, на одной странице. Считайте это поправкой к заметке.