🇺🇳Понимание рисков и выстраивание путей к принятию мер по укреплению доверия

Данный исследовательский отчет предлагает таксономию рисков искусственного интеллекта (ИИ) в контексте международного мира и безопасности. Он является частью проекта ЮНИДИР по мерам укрепления доверия в области ИИ и направлен на составление карты рисков, связанных с технологией, которая может послужить основой для будущих обсуждений и выработки мер укрепления доверия. Таксономия классифицирует риски на две большие группы:

1️⃣Риски технологии ИИ, которые включают риски безопасности (возможности и ограничения систем ИИ), риски безопасности (преднамеренные атаки, направленные на то, чтобы скомпрометировать способ обучения или действия систем ИИ) и риски взаимодействия между человеком и машиной (неправильное использование систем ИИ из-за сложных динамик, возникающих при работе с ними).

2️⃣Риски ИИ для глобальной безопасности, которые включают три широкие категории рисков: ошибки расчета (использование ИИ, которое может привести к принятию решений о применении силы или открывать путь к ухудшению международных отношений), эскалация (потенциал ИИ привести к преднамеренному или непреднамеренному эскалированию конфликта) и распространение (риски неправильного использования ИИ для распространения нового оружия, включая оружие массового поражения).

Отчет предоставляет технические разъяснения о различных категориях рисков и контекстуальный анализ их потенциального влияния на глобальную безопасность. В настоящее время он не предоставляет варианты для дискуссий о будущих мерах доверия и не ставит целью определение приоритетных областей в отношении конкретных рисков. Отчет предоставляет руководство для понимания рисков, которое может стать основой для будущих дискуссий.

#Школа_МИБ #ЮНИДИР #Информационная_безопасность #AI #ИИ #ЧтоПочитать_МИБ

🇪🇺EC на пути принятия первого закона о регулировании ИИ

Страны - члены Евросоюза и Европарламент достигли соглашения по закону о регулировании ИИ. Данный закон является одной из самых первых попыток юридически регламентировать использование ИИ.

Как заявляется, важность данного документа заключается в том, что он имеет потенциал установить новые ориентиры для стран, которые стремятся оградить себя от возможных рисков его использования: автоматизации рабочих мест, распространения дезинформации в Интернете и угрозы национальной безопасности. Стоит отметить, что он является широко критикуется. Помимо этого, закону необходимо пройти ещё несколько заключительных стадий утверждения. Как ожидается, это может произойти в 2026 году, хотя некоторые положения начнут действовать раньше.

Закон распределяет приложения ИИ по трем категориям риска:

1️⃣Приложения и системы, которые создают прямой риск, такие как управляемый правительством социальный скоринг, используемый в Китае, данные системы запрещаются;

2️⃣Приложения с высоким уровнем риска, такие как инструмент сканирования резюме, который ранжирует соискателей на работу, они подпадают под особые требования законодательства;

3️⃣Приложения, которые явно не запрещены или не включены в список приложений с высоким уровнем риска, такие в значительной степени остаются нерегулируемыми.

Отмечается, что европейские законодатели сосредоточили свое внимание на наиболее уязвимых сферах применения ИИ. Создатели крупнейших систем ИИ (например, чат-бот ChatGPT) столкнутся с новыми требованиями к прозрачности. Чат-боты и ПО, создающее “deep-fakes”, должны будут четко указывать, что изображение было сгенерировано ИИ, согласно проекту закона. Также будут введены ограничения на использование ИИ правоохранительными органами для распознавания лиц. В случае злоупотребления, компаниям грозят штрафы.

С краткой презентацией закона, подготовленной Европейской комиссией, можно ознакомиться здесь.

#ШколаМИБ #НовостиМИБ #ИИ #ЕС

🧠II Глобальный форум по этике ИИ

🌎5 и 6 февраля 2024 г. в Словении состоялся 2-й Глобальный форум по этике искусственного интеллекта, проводимый под эгидой ЮНЕСКО.

💬Дискуссии были сосредоточены вокруг проблематики международного сотрудничества и создания этических принципов и стандартов. Эти меры, как заявляется, призваны направлять разработку и применение ИИ, обеспечивая его соответствие глобальному благосостоянию и человеческим ценностям.

📌В ходе форума ЮНЕСКО запустила ряд новых инициатив, включая сеть Экспертов по этике искусственного интеллекта без границ и Глобальную обсерваторию по этике ИИ.

📌Помимо этого, в ходе форума 8 технологических компаний в своем совместном заявлении «Приверженность компаний частного сектора сотрудничеству с ЮНЕСКО в создании этичного и ответственного ИИ» обязались создавать «более этичный» ИИ. Обязательство также включает усилия фирм по укреплению своих технических возможностей в области этики и искусственного интеллекта, такие как разработка и внедрение рекомендованного ЮНЕСКО «Инструмента оценки этического воздействия». Сотрудничество между государственным и частным секторами позиционируется как ключ к использованию ИИ на общее благо.

Расскажем подробнее об упомянутых инициативах в наших дальнейших постах.

#ШколаМИБ #Новости_МИБ #Новости_ИИ #ИИ

🇺🇳Большие языковые модели и международная безопасность

📆 16 апреля 2024 г. Институт Организации Объединенных Наций по исследованию проблем разоружения (ЮНИДИР) проведет свое первое мероприятие, посвященное большим языковым моделям и международной безопасности.

⚙️ Большие языковые модели (LLM) - это системы искусственного интеллекта, которые работают с языком. С 2022 года популярность LLM значительно возросла благодаря быстрому повышению производительности и простоте использования в различных областях. LLM работают как базовые модели, что означает, что они обладают широкими возможностями, масштабируемы и могут быть адаптированы к моделям, специфичным для конкретных задач.

Влияние LLM на международную безопасность заслуживает своевременного и более тщательного изучения. Хотя уже высказывались некоторые опасения в связи с потенциальным использованием LLM для проведения широкомасштабных кампаний по дезинформации, области применения этой технологии гораздо шире, как и возможные риски, что вызывает серьезные опасения.

На мероприятии будет представлен обзор значения LLM для международной безопасности, а также рассмотрены возникающие области рисков.

📎 Более подробная информация по ссылке.

🌐 Формат: онлайн.

🕐 Время: 17:30 -18:45 по московскому времени.

ℹ️ Для участия в конференции необходимо зарегистрироваться по ссылке до 15 апреля.

#Школа_МИБ #Мероприятия_ИИ #ИИ #Языковыемодели #ЮНИДИР

🌐 Доклад ОЭСР по ИИ, управлению данными и конфиденциальности

🧠 26 июня 2024 года ОЭСР в рамках серии «OECD Artificial Intelligence Papers» выпустила доклад «ИИ, управление данными и конфиденциальность: взаимодействие и области международного сотрудничества».

❗️Недавние достижения в области ИИ, такие как появление генеративного ИИ, подняли важные вопросы об использовании входных и выходных данных, качестве данных и доступности обучающих данных для моделей ИИ. Эти проблемы подчеркивают необходимость защиты прав и интересов всех вовлеченных сторон, особенно отдельных лиц, чьи данные собираются, используются и генерируются ИИ-системами.

💬В докладе исследуется взаимосвязь ИИ и конфиденциальности, а также способы, с помощью которых соответствующие политические сообщества могут работать для устранения рисков в данной сфере, особенно в связи с появлением генеративного ИИ. Также представлены ключевые выводы и рекомендации по укреплению взаимодействия международного сотрудничества в области ИИ, управления данными и конфиденциальности.

🔃Авторы доклада сопоставляют принципы, изложенные в Руководстве ОЭСР по обеспечению конфиденциальности, с Руководящими принципами ОЭСР по ИИ, и анализируют национальные и региональные инициативы, и предлагают потенциальные области для сотрудничества.

🛡В заключении подчеркивается важность интеграции достижений в области ИИ с надежными мерами по управлению данными и защите конфиденциальности. Согласно докладу, такой целостный подход имеет решающее значение для обеспечения того, чтобы ИИ-технологии можно было использовать для инноваций, одновременно защищая права личности и укрепляя доверие общественности к приложениям искусственного интеллекта.

#ШколаМИБ #ОЭСР #искусственныйинтеллект #ИИ #конфиденциальность #защитаданных

🇺🇳Технологический завтрак: исследование технологического ландшафта микрочипов

📆 9 июля 2024 г. Институт Организации Объединенных Наций по исследованию проблем разоружения (ЮНИДИР) проведет сайд-ивент РГОС ООН - технологический завтрак по проблематике "Исследование технологического ландшафта микрочипов".

⚙️Достижения в различных областях технологий, таких как нанотехнологии, микрочипы, облачные вычисления и 5G, меняют цифровой ландшафт и стимулируют инновации в области информационно-коммуникационных технологий (ИКТ), искусственного интеллекта (ИИ) и автономных систем. Несмотря на достигнутый прогресс в решении проблем, связанных с последствиями ИКТ и ИИ для безопасности, в рамках различных многосторонних процессов, относительно меньшее внимание уделяется базовым технологиям, лежащим в основе их развития.

Чтобы восполнить этот пробел, ЮНИДИР организует серию технологических завтраков для изучения последствий применения конкретных технологий для международной безопасности, опираясь на результаты исследований, опубликованных в сборнике "Передовые технологии и международная безопасность: сборник" (издание 2023 года). В рамках технологических завтраков состоится вторая сессия этой серии. Она будет посвящена последним достижениям в области технологии микрочипов. Микрочипы являются основой современной электроники и вычислительных систем, выполняя такие важные функции, как обработка информации, хранение данных и выполнение инструкций. Эти достижения обладают значительным потенциалом для будущих приложений ИИ, но в равной степени представляют угрозу для международной безопасности, особенно в том, что касается уязвимостей цепочки поставок, двойного назначения технологии и угроз кибербезопасности.

📎Более подробная информация о мероприятии по ссылке.

🌐Онлайн формат: ссылка для подключения будет предоставлена зарегистрированным участникам по электронной почте за день до начала мероприятия.

ℹ️Для участия в мероприятии необходимо зарегистрироваться до 8 июля 2024 г.

#Школа_МИБ #Мероприятия_МИБ #ИКТ #ИИ #микрочипы #ЮНИДИР

🇺🇸 Обновленная Стратегия НАТО по искусственному интеллекту

📄10 июля 2024 г. на официальном ресурсе НАТО было опубликовано резюме обновленной Стратегии по искусственному интеллекту (полная версия документа традиционно не опубликована). Стратегия отражает ряд изменений, внесенных в предыдущую версию документа от октября 2021 г., с учетом технологических прорывов последних лет в области ИИ.

🗣НАТО обеспокоено возможностями применения ИИ, но стремится им обладать.
В обновленном документе указано, что сгенерированный контент может использоваться с целью посеять разногласия и смятение в Альянсе, демобилизовать и деморализовать общества и военные силы во время конфликтов, провести информационные операции с использованием ИИ для оказания влияния на результаты выборов, распространения дезинформации, а также снижения доверия к институтам и властям, имеющим важное значение для Альянса. Однако в то же время Стратегия подчеркивает, что для НАТО жизненно важно как можно скорее использовать ИИ-технологии там, где это возможно.

🗣НАТО будет стремиться влиять на разработку международных норм по ИИ. В версии 2021 г. были представлены «Принципы ответственного использования ИИ в обороне», а именно «законность, ответственность и подотчетность, объяснимость и прослеживаемость, надежность, управляемость и смягчение предвзятости». Новая версия гласит, что НАТО должно оставаться сторонником ответственного применения ИИ путем применения своих ресурсов с целью оказания влияния на международные нормы и стандарты.

🗣Альянс будет способствовать совместимости систем ИИ стран-членов. Отмечается, что ИИ-технологии будут интегрированы в процесс планирования обороны НАТО. В рамках достижения данной цели Альянс будет предпринимать меры, направленные на оперативную совместимость систем ИИ всех стран-членов. Также будут приняты меры по решению проблемы конвергенции ИИ и других новых прорывных технологий.

🗣Важным приоритетом для НАТО станет обеспечение безопасности систем ИИ. Профильные структуры НАТО планируют привлекать квалифицированных тестировщиков из частного сектора, госорганов и научных учреждений для аккредитации и сертификации систем ИИ. НАТО также намерено принять общие для Альянса методы тестирования, оценки, верификации и валидации ИИ (TEV&V), применяемые в Катализаторе оборонных инноваций для Северной Атлантики (Defence Innovation Accelerator for the North Atlantic (DIANA).

👀 Обращает на себя внимание, что обновленная стратегия стремится не только учесть технологические прорывы в области ИИ, но также навязать странам НАТО англо-американский подход к проблеме регулирования и стандартизации ИИ. Данный нарратив, в частности, коррелирует с подходом, предложенным главным научным советником НАТО Б. Уэлшем по созданию сборника передовых практик использования цифровых технологий, основанного на опыте США и Великобритании. Помимо этого, Стратегия во многом соотносится с намерениями США по дальнейшему изучению применения автономных и управляемых ИИ кибервозможностей, что было заявлено в Киберстратегии министерства обороны США в 2023 г.

🖋Школа МИБ представляет авторский перевод резюме Стратегии НАТО по ИИ на русский язык.

#Школа_МИБ #Новости_МИБ #НАТО #ИИ #Искусственный_интеллект

🇪🇺 Европейским парламентом формируется межкомитетская рабочая группа по мониторингу введения Закона об ИИ

💬Напомним, что Закон об искусственном интеллекте (AI Act) был окончательно одобрен Советом ЕС 21 мая 2024 г. Закон является частью более широкого пакета мер по поддержке развития заслуживающего доверия ИИ, который также включает Пакет инноваций в области ИИ (AI Innovation Package) и Скоординированный план по ИИ (Coordinated Plan on AI).

👥Совместная рабочая группа создаётся на базе двух парламентских комитетов - по вопросам внутреннего рынка и защите прав потребителей (IMCO) и по гражданским свободам, правосудию и внутренним делам (LIBE). При этом подробности по организационной структуре и функциональных обязанностях новой Рабочей группы должны быть обнародованы в конце лета 2024 г.

⚙Подобная практика является логическим продолжением стремления депутатов Европейского парламента более тесно участвовать в процессе технологического регулирования ЕС. Так, при других комитетах уже существуют аналогичные профильные структуры, отвечающие за внедрение и реализацию положений Закона о цифровых услугах и Закона о цифровых рынках. 

#Школа_МИБ #Новости_МИБ #ЕС #ИИ #Искусственный_интеллект

📄23 июля 2024 года Управление по коммуникациям Великобритании (Ofcom) опубликовало дискуссионный документ под названием «Red Teaming for GenAI Harms», в котором обсуждается применение подхода «red teaming» в качестве метода оценки в рамках поиска уязвимостей в моделях генеративного искусственного интеллекта с целью защиты пользователей от вредоносного контента.

🛡Данный подход представляет собой проведение «атаки» на модель с помощью ряда промптов с целью получения информации о возможной генерации запрещенного контента. В документе подчеркивается, что red teaming представляет собой оценочный процесс, структурированный в четыре основных этапа:
1️⃣ создание команды и постановка четких задач;
2️⃣ подача в тестируемую модель ИИ ряда промптов для проведения атаки;
3️⃣ анализ выходных данных с целью определить, какие атаки приводят к генерации вредоносного контента;
4️⃣ принятие определенных мер по результатам исследования.

🗣Однако в документе отмечается, что у red teaming есть несколько недостатков, в частности:
🔴red teaming затруднительно применить в отношении видео-, аудио- и мультимодальных моделей, которые создают сложный для анализа разнообразный контент;
🔴неопытные операторы могут пропустить вредоносный контент, а автоматические классификаторы могут допускать неточности;
🔴red teaming не полностью воспроизводит реальные условия использования ИИ, поскольку проводится в контролируемых условиях;
🔴полученные в результате использования разных моделей итоги тестирования различных команд сложны для проведения сравнительного анализа.

«Однако, несмотря на широкий интерес к red teaming, на данный момент отсутствует четкий консенсус относительно его сильных и слабых сторон, порядка проведения, необходимых навыков и ресурсов, а также конкретных конечных результатов исследования. Без ответов на эти вопросы тем, кто использует GenAI, сложно понять, как именно и следует ли вообще проводить свою собственную red teaming», − подчеркивают авторы документа.


#Школа_МИБ #Новости_МИБ #ИИ #информационная_безопасность

🇭🇰 Гонконг: рамочная программа конфиденциальности персональных данных для внедрения ИИ

📁 Управление Уполномоченного по конфиденциальности персональных данных опубликовало рамочную программу «Искусственный интеллект: модель системы защиты персональных данных». Рамочная программа ИИ направлена на предоставление практических рекомендаций организациям при внедрении сторонних систем ИИ в соответствии с Постановлением о персональных данных. Новая Рамочная программа ИИ опирается на Руководство 2021 г. по этическому развитию и использованию искусственного интеллекта, смещая внимание с организаций, разрабатывающих собственные модели искусственного интеллекта, на организации, закупающие и внедряющие такие решения.

📌 Рамочная программа ИИ позиционируется как первая всеобъемлющая основа в Азиатско-Тихоокеанском регионе по внедрению ИИ с точки зрения конфиденциальности персональных данных. В то же время Рамочная программа ИИ будет способствовать превращению Гонконга в инновационно-технологический центр и будет способствовать развитию цифровой экономики в районе Большого залива.

📝Согласно Рамочной программе организациям следует рассмотреть возможность принятия следующих мер:
⏺️провести аудит ИИ;
⏺️улучшить управление данными;
⏺️разработать комплексную политику для ИИ;
⏺️подготовиться к настройке системы ИИ;
⏺️инвестировать в обучение сотрудников в области ИИ;
⏺️улучшить взаимодействие с заинтересованными сторонами;
⏺️внедрить надежный мониторинг;
⏺️подготовиться к инцидентам.

#Школа_МИБ #Новости_МИБ #ИИ #Искусственный_интеллект

🇺🇳Консультативный орган по ИИ представил доклад «Управление ИИ в интересах человечества»

📄В своем докладе Консультативный орган высокого уровня по ИИ опубликовала семь рекомендаций по рассмотрению и управлению рисками, связанными с искусственным интеллектом.

🌎В документе содержится призыв к ООН заложить основы для первой «глобально инклюзивной и распределенной архитектуры управления ИИ на основе международного сотрудничества», а также предложение к правительствам и заинтересованным сторонам работать вместе в управлении ИИ для содействия развитию и защите прав человека.

🔔Консультативный орган также отметил отсутствие глобальной структуры для управления ИИ и наличие пробелов между странами в регулировании новых технологий и в связи с этим выдвинул семь рекомендаций по глобальному управлению ИИ.

1️⃣Создание международной научной группы по ИИ: данная группа, как заявляется, будет стремиться предоставлять беспристрастные, надежные научные знания об ИИ, а также устранять пробелы в знаниях и выпускать ежегодные отчеты о тенденциях, возможностях и рисках ИИ.
2️⃣Новый политический диалог по управлению ИИ: новый диалог под эгидой ООН будет включать межправительственные и многосторонние встречи для содействия достижению общей позиции и нормативной совместимости, основанной на правах человека. Проводить его рекомендуется два раза в год.
3️⃣Обмен стандартами ИИ: рекомендуется создать центр обмена стандартами ИИ, который объединял бы представителей национальных и международных организаций, занимающихся разработкой стандартов, технологических компаний, гражданского общества и представителей международной научной группы.
4️⃣Глобальная сеть по наращиванию потенциала: предлагается создать сеть для наращивания потенциала в области ИИ, которая объединила бы ряд сотрудничающих центров наращивания потенциала, связанных с ООН, и предоставила бы ключевым участникам экспертные знания, вычислительную технику и данные для обучения ИИ.
5️⃣Глобальный фонд для ИИ: усилия данного фонда предполагается направить на устранение пробелов в потенциале и сотрудничестве, расширяя возможности местных усилий для достижения целей устойчивого развития.
6️⃣Глобальная система данных ИИ: предлагается проведение стандартизации определений, принципов и управления, связанных с данными, обеспечивая прозрачность и подотчетность в системах ИИ.
7️⃣ Офис ИИ: предлагается учредить подразделение по вопросам ИИ в Секретариате ООН для поддержки и координации реализации вышеуказанных предложений.

❔Доклад Консультативного органа позиционируется как дорожная карта для управлению ИИ на благо всего человечества. Тем не менее, документ имеет как однозначно позитивные пункты, направленные на развитие международного сотрудничества в области ИИ, так и пункты вызывающие сомнения.

#Школа_МИБ #ООН #ИИ

💡Делимся с вами комментариями и предложениями Школы МИБ по докладу Консультативного органа по ИИ «Управление ИИ в интересах человечества». Материалы были направлены в Канцелярию посланника Генерального секретаря ООН по вопросам технологий в ходе сбора мнений.

#Школа_МИБ #ООН #ИИ

⬇️⬇️⬇️

🇺🇸 В США назвали наиболее серьезные угрозы для грядущих президентских выборов. Часть 2

4️⃣ Использование генеративного ИИ. Особое внимание в отчете посвящено злонамеренному применению ИИ − данная технология активно применяется злоумышленниками для генерации поддельного, но правдоподобного контента, который служит для манипуляции общественным мнением. С помощью таких платформ, как ChatGPT, создаются фишинговые письма и даже программное обеспечение для взлома, что облегчает задачу для менее опытных злоумышленников и увеличивает общий объем киберугроз. Также аналитики отметили случаи использования голосового клонирования в рамках проведения телефонного мошенничества, направленного на подрыв доверия к официальной информации о выборах.

5️⃣ Физические угрозы и насилие в отношении работников. Согласно отчету, около 38% сотрудников избирательных комиссий подвергались угрозам или непосредственному физическому воздействию, включая т.н. «сваттинг» (намеренный ложный вызов «специальных подразделений полиции» в адрес жертвы) и отправку подозрительных писем с порошками. Кроме того, ложные нарративы о «недостоверности» выборов направлены на психологическое запугивание и дестабилизацию работы избирательных служб.

6️⃣ DVEs и кибератаки. В отдельную категорию угроз аналитики отнесли внутренних радикальных экстремистов (DVEs), а также направленные на критическую инфраструктуру кибератаки. Угрозы насилия и саботажа инфраструктуры со стороны экстремистов могут быть направлены на подрыв работы правительственных объектов, мест для голосования, штабов политических партий и иных объектов, связанных с подсчетом голосов. Кроме того, критическая инфраструктура, включая такие каналы связи, как оптоволоконные кабели, а также объекты электроснабжения, может стать целью для атак, направленных на создание паники и дестабилизацию избирательного процесса.

❔В заключении документа отмечается, что по итогу выборов аналитики ожидают дальнейшего усиления политической поляризации и обострения напряженности, что может привести к демонстрациям и вспышкам насилия. Согласно отчету, кибератаки и операции по дезинформации будут продолжаться с «целью усиления общественного недовольства и подрыва доверия к демократическим процессам», что потребует от правительственных и частных организаций готовности к управлению рисками, связанными с сочетанием информационного и физического воздействия.

#ШколаМИБ #CIS #США #кибербезопасность #ИИ