Наш первый митап здесь — уже в ближайший вторник!
Обо всём, что имитирует человека, с его согласия и без: дипфейки, аватары, чатботы и тёмные голокроны ситхов.
Сохраните приглашение в календарь:
https://yangx.top/robocounsel/109
Обо всём, что имитирует человека, с его согласия и без: дипфейки, аватары, чатботы и тёмные голокроны ситхов.
Сохраните приглашение в календарь:
https://yangx.top/robocounsel/109
Robocounsel
Наш первый митап здесь — уже в ближайший вторник! Обо всём, что имитирует человека, с его согласия и без: дипфейки, аватары, чатботы и тёмные голокроны ситхов. Сохраните приглашение в календарь: https://yangx.top/robocounsel/109
Митап пройдёт уже сегодня в 19:00.
Проходите заранее по этой ссылке.
Проходите заранее по этой ссылке.
Telegram
Robocounsel Chat 💬
Чат канала robocounsel
Автоматическое правоприменение и документооборот
Иногда приходится слышать такие предложения: давайте прекратим указывать, что постановление о штрафе вынес сержант Петров, если его полностью автоматически вынесла информационная система.
Мол, это и неправда, и несправедливо к Петрову.
Давайте просто: именем Российской Федерации, с вас 5000 рублей. С уважением, государственная автоматизированная система "Росштраф".
Возникает вопрос, не упускаем ли мы здесь то, как работает механизм ответственности в человеческом обществе? Не игнорируем ли мы основы социальной психологии?
Ведь, по крайней мере на первый взгляд, полное устранение из подобного документа указания на ответственного будет стимулировать безответственное применение автоматизированных систем. Так как ответственность будет «размазываться» на аморфный госорган или Российскую Федерацию или её субъект.
В таком случае никакое конкретное должностное лицо не будет мотивировано (угрозой потери должности, работы, денег, личной свободы) обеспечивать справедливость и отсутствие злоупотреблений в процессе принятия конкретного решения в отношении конкретного гражданина.
Да, у документов, созданных информационной системой, может и не быть человеческого автора. Но если речь идёт о документах, опосредующих принятие важных юридически значимых решений, у таких документов может — и должен — быть человеческий контролёр, ревизор. С учётом неизбежного несовершенства техники и всегда неполностью предсказуемой среды, в которой такая техника работает.
Нецелесообразность человеческого контроля на стадии создания конкретного документа не означает, что такой контроль должен пропасть вовсе.
Такой контроль лишь перемещается на следующий, более высокий уровень — контроль за процессом создания и исполнения документов (возможно, с верификацией отдельных документов в зависимости от степени риска).
С учётом этого, кажется правильным рассуждать не об устранении из подобных документов указания на конкретное должностное лицо, связанное с конкретным документом, а об изменении статуса лиц, указываемых в документах, соотвественно их реальной роли (контролёр, ревизор и т.п.).
Согласны, либо возражаете? Давайте обсудим в комментариях.
Иногда приходится слышать такие предложения: давайте прекратим указывать, что постановление о штрафе вынес сержант Петров, если его полностью автоматически вынесла информационная система.
Мол, это и неправда, и несправедливо к Петрову.
Давайте просто: именем Российской Федерации, с вас 5000 рублей. С уважением, государственная автоматизированная система "Росштраф".
Возникает вопрос, не упускаем ли мы здесь то, как работает механизм ответственности в человеческом обществе? Не игнорируем ли мы основы социальной психологии?
Ведь, по крайней мере на первый взгляд, полное устранение из подобного документа указания на ответственного будет стимулировать безответственное применение автоматизированных систем. Так как ответственность будет «размазываться» на аморфный госорган или Российскую Федерацию или её субъект.
В таком случае никакое конкретное должностное лицо не будет мотивировано (угрозой потери должности, работы, денег, личной свободы) обеспечивать справедливость и отсутствие злоупотреблений в процессе принятия конкретного решения в отношении конкретного гражданина.
Да, у документов, созданных информационной системой, может и не быть человеческого автора. Но если речь идёт о документах, опосредующих принятие важных юридически значимых решений, у таких документов может — и должен — быть человеческий контролёр, ревизор. С учётом неизбежного несовершенства техники и всегда неполностью предсказуемой среды, в которой такая техника работает.
Нецелесообразность человеческого контроля на стадии создания конкретного документа не означает, что такой контроль должен пропасть вовсе.
Такой контроль лишь перемещается на следующий, более высокий уровень — контроль за процессом создания и исполнения документов (возможно, с верификацией отдельных документов в зависимости от степени риска).
С учётом этого, кажется правильным рассуждать не об устранении из подобных документов указания на конкретное должностное лицо, связанное с конкретным документом, а об изменении статуса лиц, указываемых в документах, соотвественно их реальной роли (контролёр, ревизор и т.п.).
Согласны, либо возражаете? Давайте обсудим в комментариях.
В продолжение темы нашего митапа о дипфейках
@popmeh: "Как и было не раз предсказано, технологии дипфейков начали применяться для прямого обмана людей и манипуляции их мнением".
https://yangx.top/Popmeh/5901
@popmeh: "Как и было не раз предсказано, технологии дипфейков начали применяться для прямого обмана людей и манипуляции их мнением".
https://yangx.top/Popmeh/5901
Telegram
Популярная механика
Ультрадипфейк в деле: популярная мотоблогерша оказалась 50-летним японским байкером 👤
Как и было не раз предсказано, технологии дипфейков начали применяться для прямого обмана людей и манипуляции их мнением. Пока еще в благих целях – на японском шоу Monday…
Как и было не раз предсказано, технологии дипфейков начали применяться для прямого обмана людей и манипуляции их мнением. Пока еще в благих целях – на японском шоу Monday…
Искусственный интеллект и этика на RIGF
07.04 с 13:50 до 15:20 выступаю в секции по искусственному интеллекту и этике на Российском форуме по управлению интернетом.
Также участвуют:
- Эльза Ганеева, Microsoft
- Андрей Игнатьев, Центр Глобальной ИТ-Кооперации, МГИМО
- Ян Клейссен, Совет Европы
- Андрей Незнамов, Сбербанк
- Андрей Кулешов, МФТИ
- Максим Федоров, Сколковский институт науки и технологий
Модераторы: Карен Казарян, РАЭК, Анна Абрамова, МГИМО
Примечательно, что форум пройдёт в гибридном формате, а именно — все уставшие от онлайн-мероприятий приглашаются в Экспоцентр (Краснопресненская набережная, 14).
Регистрируйтесь здесь.
07.04 с 13:50 до 15:20 выступаю в секции по искусственному интеллекту и этике на Российском форуме по управлению интернетом.
Также участвуют:
- Эльза Ганеева, Microsoft
- Андрей Игнатьев, Центр Глобальной ИТ-Кооперации, МГИМО
- Ян Клейссен, Совет Европы
- Андрей Незнамов, Сбербанк
- Андрей Кулешов, МФТИ
- Максим Федоров, Сколковский институт науки и технологий
Модераторы: Карен Казарян, РАЭК, Анна Абрамова, МГИМО
Примечательно, что форум пройдёт в гибридном формате, а именно — все уставшие от онлайн-мероприятий приглашаются в Экспоцентр (Краснопресненская набережная, 14).
Регистрируйтесь здесь.
rigf.ru
RIGF 2025. Российский форум по управлению Интернетом.
Kop_2021_The_Right_to_Process_Data_for_Machine_Learning_Purposes.pdf
318.2 KB
Право на обработку данных?
Kop M, ‘The Right to Process Data for Machine Learning Purposes in the EU’ (2021) 34 Harvard Journal of Law & Technology 1
Сегодня увидел у автора в Линкдине данную статью. Абстракт заинтересовал.
В статье приводятся аргументы в пользу закрепления в праве ЕС sui generis права на обработку данных для целей развития ИИ.
Всё это приурочено к планируемому принятию в ЕС Data Governance Act.
При этом автор выступает за довольно радикальную доработку этого документа. И, в частности, за исключение или существенное ограничение прав на данные в составе наборов данных, предназначенных для машинного обучения.
Конечный вывод — Евросоюзу не стоит слушать бизнес и искать компромисы, а стоит твёрдо и смело проводить политику, которую предпочитает автор.
Доводы, приводимые автором в защиту своих тезисов, кажутся довольно слабо проработанными. Контраргументы самому себе — нарочито не детализированными.
Возможно, вы иного мнения? Обсудим в комментариях.
Kop M, ‘The Right to Process Data for Machine Learning Purposes in the EU’ (2021) 34 Harvard Journal of Law & Technology 1
Сегодня увидел у автора в Линкдине данную статью. Абстракт заинтересовал.
В статье приводятся аргументы в пользу закрепления в праве ЕС sui generis права на обработку данных для целей развития ИИ.
Всё это приурочено к планируемому принятию в ЕС Data Governance Act.
При этом автор выступает за довольно радикальную доработку этого документа. И, в частности, за исключение или существенное ограничение прав на данные в составе наборов данных, предназначенных для машинного обучения.
Конечный вывод — Евросоюзу не стоит слушать бизнес и искать компромисы, а стоит твёрдо и смело проводить политику, которую предпочитает автор.
Доводы, приводимые автором в защиту своих тезисов, кажутся довольно слабо проработанными. Контраргументы самому себе — нарочито не детализированными.
Возможно, вы иного мнения? Обсудим в комментариях.
Robocounsel
Искусственный интеллект и этика на RIGF 07.04 с 13:50 до 15:20 выступаю в секции по искусственному интеллекту и этике на Российском форуме по управлению интернетом. Также участвуют: - Эльза Ганеева, Microsoft - Андрей Игнатьев, Центр Глобальной ИТ-Кооперации…
"Четвёртая власть" и бизнес-этика
СМИ и информагентства России, на ваш взгляд...
СМИ и информагентства России, на ваш взгляд...
Anonymous Poll
2%
полно и объективно освещают неэтичное поведение в бизнесе, и бизнес часто исправляется
2%
полно и объективно освещают неэтичное поведение в бизнесе, но бизнес нечасто исправляется
96%
недостаточно полно и объективно освещают неэтичное поведение в бизнесе
Немного пятничного
Данные - новая нефть, говорите? Но всё новое - хорошо забытое старое:
Не прячьте ваши данные по банкам и углам.
Несите ваши данные, иначе быть беде.
И в полночь ваши данные заройте в землю там.
И в полночь ваши данные заройте в землю где? -
Припев:
Не горы не овраги и не лес,
Не океан без дна и берегов,
А поле, поле, поле, поле чудес,
Поле чудес, в стране дураков.
Крекс-пекс-фекс..
Полейте хорошенечко, советуем мы вам.
И вырастут ветвистые стартапы в темноте.
И вместо листьев денежки засеребрятся там.
И вместо листьев денежки зазолотятся где? -
Припев.
Данные - новая нефть, говорите? Но всё новое - хорошо забытое старое:
Не прячьте ваши данные по банкам и углам.
Несите ваши данные, иначе быть беде.
И в полночь ваши данные заройте в землю там.
И в полночь ваши данные заройте в землю где? -
Припев:
Не горы не овраги и не лес,
Не океан без дна и берегов,
А поле, поле, поле, поле чудес,
Поле чудес, в стране дураков.
Крекс-пекс-фекс..
Полейте хорошенечко, советуем мы вам.
И вырастут ветвистые стартапы в темноте.
И вместо листьев денежки засеребрятся там.
И вместо листьев денежки зазолотятся где? -
Припев.
Многосторонние консультации Совета Европы до 29 апреля по регулированию ИИ
Как вы, возможно, знаете, Советом Европы (СЕ) в 2019 году создан Специальный Комитет по искусственному интеллекту (Спецкомитет).
Спецкомитету поручено выработать общие для СЕ основы регулирования разработки и применения систем искусственного интеллекта.
В рамках данной задачи Спецкомитет анонсировал и до 29 апреля 2021 г. проводит многосторонние консультации. Результаты консультаций будут учитываться в дальнейшей работе Спецкомитета.
С учётом области деятельности СЕ, фокусом работы Спецкомитета являются не технические аспекты таких систем, а возможное влияние их разработки и применения на права человека.
Ожидаемым результатом работы являются проекты таких правовых инструментов, как конвенции Совета Европы и рекомендации Комитета министров Совета Европы.
Примеры ранее принятых и обязательных для России инструментов СЕ:
- Конвенция о защите прав человека и основных свобод,
- Европейская социальная хартия,
- Конвенция о защите физических лиц при автоматизированной обработке персональных данных,
- Европейская конвенция о пресечении терроризма
Участие в консультациях открыто Советом Европы для всех институциональных участников (то есть представителям любых организаций) в индивидуальном порядке.
Однако с учётом значимости итогов консультации для российского бизнеса в целом Центр компетенций при Фонде "Сколково" проведёт совещания для обсуждения и фиксации позиции экспертов по данной теме.
Совещания пройдут:
1) 23 апреля, в пятницу, с 17 до 19 ч.
2) 27 апреля, во вторник, с 15 до 17 ч.
Для участия в совещаниях Центра компетенций войдите в состав ТРГ 09 "Киберфизические системы".
Для подготовки к совещаниям ТРГ предлагаем использовать ресурсы СЕ и, прежде всего, исследование Спецкомитета (feasibility study).
Также в эту пятницу 16 апреля 2021 г. в 14.00 коллеги из Сбера проведут вебинар. На нём представители России в Совете Европы расскажут о деятельности Спецкомитета и о проходящих консультациях. Принять участие в вебинаре можно будет по ссылке.
Как вы, возможно, знаете, Советом Европы (СЕ) в 2019 году создан Специальный Комитет по искусственному интеллекту (Спецкомитет).
Спецкомитету поручено выработать общие для СЕ основы регулирования разработки и применения систем искусственного интеллекта.
В рамках данной задачи Спецкомитет анонсировал и до 29 апреля 2021 г. проводит многосторонние консультации. Результаты консультаций будут учитываться в дальнейшей работе Спецкомитета.
С учётом области деятельности СЕ, фокусом работы Спецкомитета являются не технические аспекты таких систем, а возможное влияние их разработки и применения на права человека.
Ожидаемым результатом работы являются проекты таких правовых инструментов, как конвенции Совета Европы и рекомендации Комитета министров Совета Европы.
Примеры ранее принятых и обязательных для России инструментов СЕ:
- Конвенция о защите прав человека и основных свобод,
- Европейская социальная хартия,
- Конвенция о защите физических лиц при автоматизированной обработке персональных данных,
- Европейская конвенция о пресечении терроризма
Участие в консультациях открыто Советом Европы для всех институциональных участников (то есть представителям любых организаций) в индивидуальном порядке.
Однако с учётом значимости итогов консультации для российского бизнеса в целом Центр компетенций при Фонде "Сколково" проведёт совещания для обсуждения и фиксации позиции экспертов по данной теме.
Совещания пройдут:
1) 23 апреля, в пятницу, с 17 до 19 ч.
2) 27 апреля, во вторник, с 15 до 17 ч.
Для участия в совещаниях Центра компетенций войдите в состав ТРГ 09 "Киберфизические системы".
Для подготовки к совещаниям ТРГ предлагаем использовать ресурсы СЕ и, прежде всего, исследование Спецкомитета (feasibility study).
Также в эту пятницу 16 апреля 2021 г. в 14.00 коллеги из Сбера проведут вебинар. На нём представители России в Совете Европы расскажут о деятельности Спецкомитета и о проходящих консультациях. Принять участие в вебинаре можно будет по ссылке.
Google Docs
Анкета эксперта
Чтобы присоединиться к работе Центра компетенций по нормативному регулированию Цифровой экономики, заполните контактные данные и отметьте интересующие направления
Митап: право на данные для AI/ML?
Мориц Коп в своей недавней статье предлагает ввести новое "право на обработку данных" для разработчиков систем искусственного интеллекта. И, соответственно, ограничить права владельцев любых наборов данных, предназначенных для машинного обучения.
Похожие предложения высказываются и применительно к праву других стран, в том числе в СНГ.
Ранее Директива ЕС 2019/790 и её предшественники уже предоставили ограниченную возможность извлекать и воспроизводить данные из различных источников для научно-исследовательских целей. Но, разумеется, новые предложения идут гораздо дальше.
Стоит ли законодателям искать компромиссы или занять более жёсткую позицию в ту или иную сторону?
Обсудим на очередном голосовом телеграм-митапе канала Robocounsel во вторник 20 апреля 2021 г., в 19:00
Участвуют: Екатерина Кирова, Светлана Поляк, Максим Балаценко, Николай Дмитрик, Алексей Мунтян, Иван Чумаков. Ведёт митап Александр Тюльканов.
UPD: аудиозапись прошедшего митапа здесь.
Мориц Коп в своей недавней статье предлагает ввести новое "право на обработку данных" для разработчиков систем искусственного интеллекта. И, соответственно, ограничить права владельцев любых наборов данных, предназначенных для машинного обучения.
Похожие предложения высказываются и применительно к праву других стран, в том числе в СНГ.
Ранее Директива ЕС 2019/790 и её предшественники уже предоставили ограниченную возможность извлекать и воспроизводить данные из различных источников для научно-исследовательских целей. Но, разумеется, новые предложения идут гораздо дальше.
Стоит ли законодателям искать компромиссы или занять более жёсткую позицию в ту или иную сторону?
Обсудим на очередном голосовом телеграм-митапе канала Robocounsel во вторник 20 апреля 2021 г., в 19:00
Участвуют: Екатерина Кирова, Светлана Поляк, Максим Балаценко, Николай Дмитрик, Алексей Мунтян, Иван Чумаков. Ведёт митап Александр Тюльканов.
UPD: аудиозапись прошедшего митапа здесь.
Robocounsel
Многосторонние консультации Совета Европы до 29 апреля по регулированию ИИ Как вы, возможно, знаете, Советом Европы (СЕ) в 2019 году создан Специальный Комитет по искусственному интеллекту (Спецкомитет). Спецкомитету поручено выработать общие для СЕ основы…
⚡️Первый проект Конвенции Совета Европы по ИИ может быть разработан уже в ближайшие месяцы
На сегодняшнем вебинаре представитель России в Совете Европы (группа LFG комитета CAHAI) Константин Косоруков обозначил, что Россия поддерживает разработку и принятие Советом Европы не рекомендаций, а обязывающего документа — всеобъемлющей конвенции по искусственному интеллекту.
Константин также высказал предположение, что первый рабочий проект Конвенции, пригодный для обсуждения и дальнейшей проработки внутри СЕ, может быть разработан уже в первом полугодии этого года.
Мария Алеева (Минэкономразвития России) напомнила слушателям вебинара и о других аспектах позиции России по предлагаемой Конвенции:
- применимость только к ИИ гражданского назначения,
- регулирование как применения ИИ, так и аспектов его разработки, включая работу с данными,
- предотвращение угроз правам человека, имея в виду существующие конвенционные права, без создания новых прав,
- обеспечение недискриминационного доступа на рынок государств-членов Конвенции разработчиков из других государств-членов,
- риск-ориентированный подход, без выделения явно и заведомо запрещённых технологий или областей применения ИИ,
- Конвенция должна быть открыта для присоединения государств, не являющихся членами Совета Европы,
- сертификация ИИ, при её необходимости, должна устанавливаться и регламентироваться на национальном, а не на наднациональном уровне.
На сегодняшнем вебинаре представитель России в Совете Европы (группа LFG комитета CAHAI) Константин Косоруков обозначил, что Россия поддерживает разработку и принятие Советом Европы не рекомендаций, а обязывающего документа — всеобъемлющей конвенции по искусственному интеллекту.
Константин также высказал предположение, что первый рабочий проект Конвенции, пригодный для обсуждения и дальнейшей проработки внутри СЕ, может быть разработан уже в первом полугодии этого года.
Мария Алеева (Минэкономразвития России) напомнила слушателям вебинара и о других аспектах позиции России по предлагаемой Конвенции:
- применимость только к ИИ гражданского назначения,
- регулирование как применения ИИ, так и аспектов его разработки, включая работу с данными,
- предотвращение угроз правам человека, имея в виду существующие конвенционные права, без создания новых прав,
- обеспечение недискриминационного доступа на рынок государств-членов Конвенции разработчиков из других государств-членов,
- риск-ориентированный подход, без выделения явно и заведомо запрещённых технологий или областей применения ИИ,
- Конвенция должна быть открыта для присоединения государств, не являющихся членами Совета Европы,
- сертификация ИИ, при её необходимости, должна устанавливаться и регламентироваться на национальном, а не на наднациональном уровне.
Telegram
Robocounsel
Многосторонние консультации Совета Европы до 29 апреля по регулированию ИИ
Как вы, возможно, знаете, Советом Европы (СЕ) в 2019 году создан Специальный Комитет по искусственному интеллекту (Спецкомитет).
Спецкомитету поручено выработать общие для СЕ основы…
Как вы, возможно, знаете, Советом Европы (СЕ) в 2019 году создан Специальный Комитет по искусственному интеллекту (Спецкомитет).
Спецкомитету поручено выработать общие для СЕ основы…
Публикуем запись митапа "Право на данные для AI/ML?"
С участием Светланы Поляк, Максима Балаценко, Николая Дмитрика, Алексея Мунтяна и Ивана Чумакова.
Обсудили Text and data mining exception, предложение М. Копа о закреплении "права на обработку данных для машинного обучения". Затронули потенциальную совместимость этого предложения с GDPR и грядущий Data Governance Act, и нужно ли нам это всё в СНГ.
А также правовые последствия построения регулирования по модели из сказок про теремок и грибочек.
https://www.youtube.com/watch?v=NKzccBQZZ8w
С участием Светланы Поляк, Максима Балаценко, Николая Дмитрика, Алексея Мунтяна и Ивана Чумакова.
Обсудили Text and data mining exception, предложение М. Копа о закреплении "права на обработку данных для машинного обучения". Затронули потенциальную совместимость этого предложения с GDPR и грядущий Data Governance Act, и нужно ли нам это всё в СНГ.
А также правовые последствия построения регулирования по модели из сказок про теремок и грибочек.
https://www.youtube.com/watch?v=NKzccBQZZ8w
Telegram
Robocounsel
Митап: право на данные для AI/ML?
Мориц Коп в своей недавней статье предлагает ввести новое "право на обработку данных" для разработчиков систем искусственного интеллекта. И, соответственно, ограничить права владельцев любых наборов данных, предназначенных…
Мориц Коп в своей недавней статье предлагает ввести новое "право на обработку данных" для разработчиков систем искусственного интеллекта. И, соответственно, ограничить права владельцев любых наборов данных, предназначенных…
⚡️Опубликован проект Регламента ЕС о гармонизированных правилах в отношении ИИ (Artificial Intelligence Act)
Предложено запретить некоторые применения ИИ, в частности — внедрение для государственных нужд систем социального скоринга, в которых поведение человека в одном контексте влияет на его оценку в другом контексте.
Определены высокорисковые области применения ИИ и требования к процессам, системам и данным, используемым в таких областях.
В областях ограниченного или минимального риска предусмотрено, соответственно, ограниченное регулирование (в основном касающееся прозрачности взаимодействия с системой ИИ) или отсутствие регулирования.
Предусматривается процедура подтверждения соответствия систем ИИ для областей высокого риска, а также создание Европейского совета по ИИ для содействия стандартизации и введение регуляторных песочниц.
Добровольные кодексы поведения предполагаются для областей применения, не относящихся к высокорисковым.
Опубликован пресс-релиз, а также ответы на вопросы.
Предложено запретить некоторые применения ИИ, в частности — внедрение для государственных нужд систем социального скоринга, в которых поведение человека в одном контексте влияет на его оценку в другом контексте.
Определены высокорисковые области применения ИИ и требования к процессам, системам и данным, используемым в таких областях.
В областях ограниченного или минимального риска предусмотрено, соответственно, ограниченное регулирование (в основном касающееся прозрачности взаимодействия с системой ИИ) или отсутствие регулирования.
Предусматривается процедура подтверждения соответствия систем ИИ для областей высокого риска, а также создание Европейского совета по ИИ для содействия стандартизации и введение регуляторных песочниц.
Добровольные кодексы поведения предполагаются для областей применения, не относящихся к высокорисковым.
Опубликован пресс-релиз, а также ответы на вопросы.
European Commission - European Commission
Europe fit for the Digital Age: Commission proposes new rules and actions for excellence and trust in Artificial Intelligence
The Commission proposes today new rules and actions aiming to turn Europe into the global hub for trustworthy Artificial Intelligence (AI).
Robocounsel
Automation bias (automation complacency) В продолжение темы для интересующихся: есть исследования, подтверждающие феномен слепого доверия автоматизированным системам. Объясняется оно одним из присущих человеческому мышлению когнитивных искажений. Оно так…
К чему приводит склонность людей некритически полагаться на автоматизированные решения?
Алексей Мунтян рассказывает о показательном случае.
Британский Post Office 20 лет использовал ПО, из-за ошибок в котором сотрудникам регулярно вменяли несуществующие недостачи.
Почти 740 сотрудников были ошибочно привлечены к ответственности в период с 2000 по 2014 гг. Причинён огромный моральный вред. И никто не усомнился в надёжности программного обеспечения.
Что я могу сказать? Есть целый ряд исследований (пару из которых я приводил тут), подтверждающих феномен слепого доверия автоматизированным системам.
Объясняется такое доверие одним из присущих человеческому мышлению когнитивных искажений. Оно так и называется - искажение автоматизации (automation bias).
Исследования объясняют, что искажение приводит, во-первых, к склонности к ошибочным упущениям событий, которые прямо не обозначены автоматизированной системой (errors in omission).
Во-вторых — также к ошибочным действиям по рекомендациям автоматизированной системы, даже если рекомендация противоречит опыту человека, использующего систему, и другим доступным ему заведомо достоверным данным (errors in commission).
Какие выводы?
1. Доверяй, но проверяй. Автоматизированные решения могут и должны проверяться, хотя бы выборочно, на буллшит: ошибка может быть во входных данных, в методах и логике вычисления решения или в его интерпретации.
Для чувствительных применений доказательство надёжности автоматизированной системы должно быть предварительным условием закупки и ввода её в эксплуатацию.
2. Гражданам должны быть доступны эффективные средства правовой защиты, а организации должны критичнее относиться к своим внутренним процедурам и убедиться в том, что в них "зашита" проверка на буллшит, и что урок от Британского Post Office выучен и не повторится.
Алексей Мунтян рассказывает о показательном случае.
Британский Post Office 20 лет использовал ПО, из-за ошибок в котором сотрудникам регулярно вменяли несуществующие недостачи.
Почти 740 сотрудников были ошибочно привлечены к ответственности в период с 2000 по 2014 гг. Причинён огромный моральный вред. И никто не усомнился в надёжности программного обеспечения.
Что я могу сказать? Есть целый ряд исследований (пару из которых я приводил тут), подтверждающих феномен слепого доверия автоматизированным системам.
Объясняется такое доверие одним из присущих человеческому мышлению когнитивных искажений. Оно так и называется - искажение автоматизации (automation bias).
Исследования объясняют, что искажение приводит, во-первых, к склонности к ошибочным упущениям событий, которые прямо не обозначены автоматизированной системой (errors in omission).
Во-вторых — также к ошибочным действиям по рекомендациям автоматизированной системы, даже если рекомендация противоречит опыту человека, использующего систему, и другим доступным ему заведомо достоверным данным (errors in commission).
Какие выводы?
1. Доверяй, но проверяй. Автоматизированные решения могут и должны проверяться, хотя бы выборочно, на буллшит: ошибка может быть во входных данных, в методах и логике вычисления решения или в его интерпретации.
Для чувствительных применений доказательство надёжности автоматизированной системы должно быть предварительным условием закупки и ввода её в эксплуатацию.
2. Гражданам должны быть доступны эффективные средства правовой защиты, а организации должны критичнее относиться к своим внутренним процедурам и убедиться в том, что в них "зашита" проверка на буллшит, и что урок от Британского Post Office выучен и не повторится.