Создан алгоритм справедливого ИИ.
Паноптикум (см. пост 11.06) – это еще не самая страшная антиутопия будущего ИИ.
Еще хуже мир, лишенный справедливости. Ценнейшего (наряду со свободой и любовью), что есть у человека.
Большинство ошибочно полагает, что главные проблемы ИИ – отъем рабочих мест и бунт машин. Но это не так. Самой большой проблемой (не будущего, а уже настоящего), становится предвзятость ИИ, способная, в перспективе, лишить мир справедливости.
Да-да! А вы как хотели, чтоб интеллект был, а субъективных предубеждений и стереотипов у него не было?
Увы, так не бывает.
Основа современного ИИ - машинное обучение. Алгоритмы с минимальной помощью людей учатся на огромных объемах данных классифицировать объекты по их характеристикам. Применяя это умение при принятии решений, компьютеры заменяют людей во все новых и новых областях от рекомендаций до анализа медицинских снимков.
Исключение человека из процесса принятия решений устраняет проблему когнитивных искажений людей, всегда присутствующих из-за наличия у нас субъективных предубеждений и стереотипов.
Но на смену им приходят субъективные предубеждения алгоритмов машинного обучения. Их источник – «алгоритмический опыт», накопленный при анализе учебных наборов данных в процессе обучения. Их результат - принимаемые алгоритмом решения, дискриминирующие ту или иную категорию людей. А это ни что иное, как несправедливость, порождаемая ИИ.
Например, если из данных, на которых обучался алгоритм оценки кадров при найме, следует, что мужчины продуктивнее женщин, машина, скорее всего, «узнает» эту разницу и будет предпочитать кандидатов-мужчин. А кадровики при этом не смогут распознать это дискриминационное предубеждение машины, будучи уверены, что
(1) уж машина то, точно, не может иметь предубеждений,
(2) мужчин она отбирает потому, что таковы лучшие кандидаты (селяви).
Подобная несправедливость (а это точно она, поскольку дискриминирует вполне конкретных хороших кандидатов из-за предубеждений машины) теперь повсюду:
— от оценки кредитного рейтинга заемщика до формирования списков подозреваемых;
— повсюду, где так или иначе фигурируют пол, возраст, расовая принадлежность, сексуальная ориентация и т.д.
И это только сейчас. А завтра, - в «светлом будущем» а ля китайского паноптикума – обучающиеся алгоритмы будут учитывать такое, о чем люди и не предполагают: от характеристик поведения в соцсетях до кулинарных пристрастий людей. И черт их еще знает, какие корреляции алгоритмы распознают при обучении на очередных больших данных.
Этот вал машинных предубеждений будет нарастать, порождая тотальную несправедливость во всем, где решение принимается машинами.
А тех, кто думает, что подобное можно устранить, просто убрав при оценке конкретный критерий, спешу разочаровать. Это не поможет.
— Согласно кейсу Верховного суда США 1971 года Griggs v. Duke Power Co., 401 U.S., тесты ущемляют заявителя определенной расы и незаконны, даже если решение в них не было четко определено на основе расы.
— А убрать вообще все (пол, средний бал и т.д.) невозможно, поскольку нечего будут анализировать.
Теперь про Good News.
Разработан алгоритм, решающий эту проблему. Он обеспечивает соблюдение федеральных законов о недискриминации и позволяет строго контролировать уровень справедливости.
За кажущимся простым решением – ручным заданием максимального уровня предвзятости алгоритма – 10 страниц крутой математики.
Этот алгоритм прорывной, поскольку позволяет обеспечивать компромисс точности и дискриминации:
— для обоих классов задач: классификация и регрессия;
— для обоих видов параметров: дискретные (пол, раса ...) и числовые (типа возраста).
Похоже, это 1е качественное, а не количественное преимущество ИИ перед людьми.
http://proceedings.mlr.press/v80/komiyama18a.html
#МашинноеОбучение #КогнитивныеИскажения #Справедливость
Паноптикум (см. пост 11.06) – это еще не самая страшная антиутопия будущего ИИ.
Еще хуже мир, лишенный справедливости. Ценнейшего (наряду со свободой и любовью), что есть у человека.
Большинство ошибочно полагает, что главные проблемы ИИ – отъем рабочих мест и бунт машин. Но это не так. Самой большой проблемой (не будущего, а уже настоящего), становится предвзятость ИИ, способная, в перспективе, лишить мир справедливости.
Да-да! А вы как хотели, чтоб интеллект был, а субъективных предубеждений и стереотипов у него не было?
Увы, так не бывает.
Основа современного ИИ - машинное обучение. Алгоритмы с минимальной помощью людей учатся на огромных объемах данных классифицировать объекты по их характеристикам. Применяя это умение при принятии решений, компьютеры заменяют людей во все новых и новых областях от рекомендаций до анализа медицинских снимков.
Исключение человека из процесса принятия решений устраняет проблему когнитивных искажений людей, всегда присутствующих из-за наличия у нас субъективных предубеждений и стереотипов.
Но на смену им приходят субъективные предубеждения алгоритмов машинного обучения. Их источник – «алгоритмический опыт», накопленный при анализе учебных наборов данных в процессе обучения. Их результат - принимаемые алгоритмом решения, дискриминирующие ту или иную категорию людей. А это ни что иное, как несправедливость, порождаемая ИИ.
Например, если из данных, на которых обучался алгоритм оценки кадров при найме, следует, что мужчины продуктивнее женщин, машина, скорее всего, «узнает» эту разницу и будет предпочитать кандидатов-мужчин. А кадровики при этом не смогут распознать это дискриминационное предубеждение машины, будучи уверены, что
(1) уж машина то, точно, не может иметь предубеждений,
(2) мужчин она отбирает потому, что таковы лучшие кандидаты (селяви).
Подобная несправедливость (а это точно она, поскольку дискриминирует вполне конкретных хороших кандидатов из-за предубеждений машины) теперь повсюду:
— от оценки кредитного рейтинга заемщика до формирования списков подозреваемых;
— повсюду, где так или иначе фигурируют пол, возраст, расовая принадлежность, сексуальная ориентация и т.д.
И это только сейчас. А завтра, - в «светлом будущем» а ля китайского паноптикума – обучающиеся алгоритмы будут учитывать такое, о чем люди и не предполагают: от характеристик поведения в соцсетях до кулинарных пристрастий людей. И черт их еще знает, какие корреляции алгоритмы распознают при обучении на очередных больших данных.
Этот вал машинных предубеждений будет нарастать, порождая тотальную несправедливость во всем, где решение принимается машинами.
А тех, кто думает, что подобное можно устранить, просто убрав при оценке конкретный критерий, спешу разочаровать. Это не поможет.
— Согласно кейсу Верховного суда США 1971 года Griggs v. Duke Power Co., 401 U.S., тесты ущемляют заявителя определенной расы и незаконны, даже если решение в них не было четко определено на основе расы.
— А убрать вообще все (пол, средний бал и т.д.) невозможно, поскольку нечего будут анализировать.
Теперь про Good News.
Разработан алгоритм, решающий эту проблему. Он обеспечивает соблюдение федеральных законов о недискриминации и позволяет строго контролировать уровень справедливости.
За кажущимся простым решением – ручным заданием максимального уровня предвзятости алгоритма – 10 страниц крутой математики.
Этот алгоритм прорывной, поскольку позволяет обеспечивать компромисс точности и дискриминации:
— для обоих классов задач: классификация и регрессия;
— для обоих видов параметров: дискретные (пол, раса ...) и числовые (типа возраста).
Похоже, это 1е качественное, а не количественное преимущество ИИ перед людьми.
http://proceedings.mlr.press/v80/komiyama18a.html
#МашинноеОбучение #КогнитивныеИскажения #Справедливость
PMLR
Nonconvex Optimization for Regression with Fairness Constraints
The unfairness of a regressor is evaluated by measuring the correlation between the estimator and the sensitive attribute (e.g., race, gender, age), and the ...
Предвзятость ИИ порождает несправедливость. И наконец это начали осознавать.
Мой недавний пост про «справедливый ИИ» некоторым читателям не понравился, - мол, кликбейтовая подача второстепенной темы.
Это не так. Тема наиважнейшая и куда более актуальная, чем ИИ-страшилки или ИИ-восторги, заполонившие СМИ и блогосферу.
Вот краткая подборка в подтверждение сказанного.
1️⃣ Google опубликовал свои принципы этики, включающие, проверку алгоритмов на предвзятость, для чего на специальном сайте «Ответственные AI-практики» даются рекомендации по способам защиты от Предвзятости Данных (Data bias) и обеспечения ИИ-справедливости (AI Fairness).
2️⃣ Комитет по науке и технологиям Конгресса США проводит слушания по вопросу, как обязать техкомпании решать проблему предвзятости ИИ.
«Нам нужно решать проблемы, связанные с данными, которые используются для обучения машин. Предвзятые данные ведут к предвзятым действиям только кажущихся нам объективными машин», - сказал конгрессмен Дэн Липински.
3️⃣ Accenture выпустила 1й инструмент для борьбы с Предвзятостью Данных (Data bias) при машинном обучении. Он называется «Инструментарий AI-справедливости» (AI Fairness Tool) и позволяет выявлять корреляции в данных по отношению к возрасту, расе, полу и иным демографическим данным. Определив эти корреляции, можно перенастроить системы, чтобы дать более справедливые результаты по всем демографическим показателям.
Джоди Уоллис, управляющий директор по ИИ в Accenture, сказала:
«Даже если вы намеренно исключаете из своих данных чувствительные переменные, типа этническая принадлежность, пол, возраст и другие очевидные источники несправедливой предвзятости, система машинного обучения может использовать какую-то другую переменную или комбинацию переменных, которая тесно коррелирует с половой принадлежностью или расой, тем самым делая “инъекцию несправедливости“ в действия системы».
4️⃣ А тем временем, примеры банальной, но при этом тотальной Предвзятости Данных встречаются повсюду.
— Системы распознавания лиц проявляют черты гендерной и расовой дискриминации. С 99%ой вероятностью распознаются лишь белые мужчины. Тогда как темнокожие женщины в трети случаев распознаются, как мужчины.
— И даже Google Translate ухитряется делать переводы с гендерным уклоном. Например, на турецком языке существует одно местоимение «o» для он, она, оно. Поэтому, когда Google Translate переводит с турецкого, например, на английский, нужно угадать, означает ли «о» он, она или оно. И эти переводы раскрывают гендерный уклон алгоритма:
✔️ если переводится слово трудолюбивый, то подставляется он;
✔️ если же переводится ленивый, … то она, т.е. ленивая.
#МашинноеОбучение #КогнитивныеИскажения #Справедливость
Мой недавний пост про «справедливый ИИ» некоторым читателям не понравился, - мол, кликбейтовая подача второстепенной темы.
Это не так. Тема наиважнейшая и куда более актуальная, чем ИИ-страшилки или ИИ-восторги, заполонившие СМИ и блогосферу.
Вот краткая подборка в подтверждение сказанного.
1️⃣ Google опубликовал свои принципы этики, включающие, проверку алгоритмов на предвзятость, для чего на специальном сайте «Ответственные AI-практики» даются рекомендации по способам защиты от Предвзятости Данных (Data bias) и обеспечения ИИ-справедливости (AI Fairness).
2️⃣ Комитет по науке и технологиям Конгресса США проводит слушания по вопросу, как обязать техкомпании решать проблему предвзятости ИИ.
«Нам нужно решать проблемы, связанные с данными, которые используются для обучения машин. Предвзятые данные ведут к предвзятым действиям только кажущихся нам объективными машин», - сказал конгрессмен Дэн Липински.
3️⃣ Accenture выпустила 1й инструмент для борьбы с Предвзятостью Данных (Data bias) при машинном обучении. Он называется «Инструментарий AI-справедливости» (AI Fairness Tool) и позволяет выявлять корреляции в данных по отношению к возрасту, расе, полу и иным демографическим данным. Определив эти корреляции, можно перенастроить системы, чтобы дать более справедливые результаты по всем демографическим показателям.
Джоди Уоллис, управляющий директор по ИИ в Accenture, сказала:
«Даже если вы намеренно исключаете из своих данных чувствительные переменные, типа этническая принадлежность, пол, возраст и другие очевидные источники несправедливой предвзятости, система машинного обучения может использовать какую-то другую переменную или комбинацию переменных, которая тесно коррелирует с половой принадлежностью или расой, тем самым делая “инъекцию несправедливости“ в действия системы».
4️⃣ А тем временем, примеры банальной, но при этом тотальной Предвзятости Данных встречаются повсюду.
— Системы распознавания лиц проявляют черты гендерной и расовой дискриминации. С 99%ой вероятностью распознаются лишь белые мужчины. Тогда как темнокожие женщины в трети случаев распознаются, как мужчины.
— И даже Google Translate ухитряется делать переводы с гендерным уклоном. Например, на турецком языке существует одно местоимение «o» для он, она, оно. Поэтому, когда Google Translate переводит с турецкого, например, на английский, нужно угадать, означает ли «о» он, она или оно. И эти переводы раскрывают гендерный уклон алгоритма:
✔️ если переводится слово трудолюбивый, то подставляется он;
✔️ если же переводится ленивый, … то она, т.е. ленивая.
#МашинноеОбучение #КогнитивныеИскажения #Справедливость
Google
AI at Google: our principles
We’re announcing seven principles to guide our work in AI.
А существует ли справедливость?
Мы можем заставить ИИ не быть расистом, но будет ли это справедливо?
В последнюю пару лет на пути расширения использования ИИ на основе машинного обучения образовывался все более фундаментальный завал – неконтролируемая предвзятость. Она проявлялась во всевозможных формах дискриминации со стороны алгоритмов чернокожих, женщин, малообеспеченных, пожилых и т.д. буквально во всем: от процента кредита до решений о досрочном освобождении из заключения.
Проблема стала настолько серьезной, что на нее навалились всем миром: IT-гиганты и стартапы, военные и разведка, университеты и хакатоны …
И вот, похоже, принципиальное решение найдено. Им стал «Алгоритм Селдона» (детали см. здесь: популярно, научно). Он назван так в честь персонажа легендарного романа «Основание» Айзека Азимова математика Гэри Селдона. Ситуация в романе здорово напоминает нашу сегодняшнюю. Галактическая империя разваливалась, отчасти потому, что выполнение Трех законов робототехники требует гарантий, что ни один человек не пострадает в результате действий роботов. Это парализует любые действия роботов и заводит ситуацию в тупик. Селдон же предложил, как исправить это, обратившись к вероятностным рассуждениям о безопасности.
Разработчики «Алгоритма Селдона» (из США и Бразилии) пошли тем же путем. В результате получился фреймворк для разработки алгоритмов машинного обучения, облегчающий пользователям алгоритма указывать ограничения безопасности и избегания дискриминации (это можно условно назвать справедливостью).
Идея 1й версии «Алгоритма Селдона» была предложена еще 2 года назад. Но нужно было проверить на практике, как она работает. 1е тестирование было на задаче прогнозирования средних баллов в наборе данных из 43 000 учащихся в Бразилии. Все предыдущие алгоритмы машинного обучения дискриминировали женщин. 2е тестирование касалось задачи улучшения алгоритма управления контроллера инсулиновой помпы, чтобы он из-за предвзятостей не увеличивал частоту гипогликемии. Оба теста показали, что «Алгоритм Селдона» позволяет минимизировать предвзятость.
Казалось бы, ура (!?). Не совсем.
Засада может ждать впереди (опять же, как и предсказано Азимовым). Проблема в понимании людьми справедливости. Алгоритмы же так и так ни черта не понимают. И потому решать, что справедливо, а что нет, «Алгоритма Селдона» предлагает людям. Фреймворк позволяет использовать альтернативные определения справедливости. Люди сами должны выбрать, что им подходит, а «Алгоритм Селдона» потом проследит, чтобы выбранная «справедливость» не была нарушена. Однако даже среди экспертов существуют порядка 30 различных определений справедливости. И если даже эксперты не могут договориться о том, что справедливо, было бы странно перекладывать бремя решений на менее опытных пользователей.
В результате может получиться следующее:
• Пользователь рассудит, что справедливо, и задаст правила справедливости алгоритму.
• «Алгоритм Селдона» отследит выполнение правил.
• Но, по-честному, люди так и не будут уверены, справедливо ли они рассудили или нет.
#МашинноеОбучение #Справедливость #ПредвзятостьИИ
Мы можем заставить ИИ не быть расистом, но будет ли это справедливо?
В последнюю пару лет на пути расширения использования ИИ на основе машинного обучения образовывался все более фундаментальный завал – неконтролируемая предвзятость. Она проявлялась во всевозможных формах дискриминации со стороны алгоритмов чернокожих, женщин, малообеспеченных, пожилых и т.д. буквально во всем: от процента кредита до решений о досрочном освобождении из заключения.
Проблема стала настолько серьезной, что на нее навалились всем миром: IT-гиганты и стартапы, военные и разведка, университеты и хакатоны …
И вот, похоже, принципиальное решение найдено. Им стал «Алгоритм Селдона» (детали см. здесь: популярно, научно). Он назван так в честь персонажа легендарного романа «Основание» Айзека Азимова математика Гэри Селдона. Ситуация в романе здорово напоминает нашу сегодняшнюю. Галактическая империя разваливалась, отчасти потому, что выполнение Трех законов робототехники требует гарантий, что ни один человек не пострадает в результате действий роботов. Это парализует любые действия роботов и заводит ситуацию в тупик. Селдон же предложил, как исправить это, обратившись к вероятностным рассуждениям о безопасности.
Разработчики «Алгоритма Селдона» (из США и Бразилии) пошли тем же путем. В результате получился фреймворк для разработки алгоритмов машинного обучения, облегчающий пользователям алгоритма указывать ограничения безопасности и избегания дискриминации (это можно условно назвать справедливостью).
Идея 1й версии «Алгоритма Селдона» была предложена еще 2 года назад. Но нужно было проверить на практике, как она работает. 1е тестирование было на задаче прогнозирования средних баллов в наборе данных из 43 000 учащихся в Бразилии. Все предыдущие алгоритмы машинного обучения дискриминировали женщин. 2е тестирование касалось задачи улучшения алгоритма управления контроллера инсулиновой помпы, чтобы он из-за предвзятостей не увеличивал частоту гипогликемии. Оба теста показали, что «Алгоритм Селдона» позволяет минимизировать предвзятость.
Казалось бы, ура (!?). Не совсем.
Засада может ждать впереди (опять же, как и предсказано Азимовым). Проблема в понимании людьми справедливости. Алгоритмы же так и так ни черта не понимают. И потому решать, что справедливо, а что нет, «Алгоритма Селдона» предлагает людям. Фреймворк позволяет использовать альтернативные определения справедливости. Люди сами должны выбрать, что им подходит, а «Алгоритм Селдона» потом проследит, чтобы выбранная «справедливость» не была нарушена. Однако даже среди экспертов существуют порядка 30 различных определений справедливости. И если даже эксперты не могут договориться о том, что справедливо, было бы странно перекладывать бремя решений на менее опытных пользователей.
В результате может получиться следующее:
• Пользователь рассудит, что справедливо, и задаст правила справедливости алгоритму.
• «Алгоритм Селдона» отследит выполнение правил.
• Но, по-честному, люди так и не будут уверены, справедливо ли они рассудили или нет.
#МашинноеОбучение #Справедливость #ПредвзятостьИИ
Wired
Researchers Want Guardrails to Help Prevent Bias in AI
Machine-learning experts often design their algorithms to avoid some unintended consequences. But that’s not as easy for others.