🔴Совет Европы одобрил конвенцию об искусственном интеллекте

📄В «Рамочной конвенции Совета Европы об искусственном интеллекте, правах человека, демократии и верховенстве закона», как заявляется, заложена правовая основа для регулирования систем ИИ, позволяющая устранить риски их использования и определяющая подход к разработке с учетом негативных последствий.

🤖Документ охватывает использование ИИ в государственном и частном секторе. Для регулирования частного сектора изложены два способа по соблюдению принципов документа:
1️⃣принять на себя обязательства конвенции;
2️⃣придерживаться национальных и международных обязательств по правам человека, демократии и верховенства закона и принять другие меры для соблюдения договора.

▶️В договоре устанавливаются требования надзора, меры по выявлению, смягчению и предотвращению возможных рисков за использованием систем ИИ, а также запрет на использование тех систем, которые могут быть несовместимы со стандартами прав человека.

💬В конвенции прописана ответственность за нарушение прав неприкосновенности частной жизни. В случае такого нарушения участники договора обязаны обеспечить правовую защиту для тех, чьи права человека были нарушены в связи с использованием систем ИИ.

❕Однако участники договора освобождаются от его обязательств при осуществлении деятельности, связанной с защитой национальных интересов безопасности, если такая деятельность не нарушает международное право и не подрывает демократические институты. Также конвенция не ограничивает проведения научно-исследовательских работ, связанных с тестированием ИИ, если они не нарушают права человека и демократии.

Конвенция выступает первым международным юридически обязательным договором, «целью которого выступает обеспечение соблюдения прав человека, верховенства закона и правовых стандартов демократии при использовании систем ИИ».

#Школа_МИБ #Информационная_безопасность #Искусственный_интеллект #AI #Новости_МИБ

📄 Монография "Образ цифрового будущего России: формирование и репрезентация"

🔅 Делимся с Вами интересной находкой. МФТИ опубликовал заслуживающую внимания монографию, направленную на исследование образов цифрового будущего России в публичном пространстве коммуникаций. Данная работа фокусируется на междисциплинарном, включая социально-философский, анализе перспектив развития цифровых технологий и их влияния на общество.

🤖Проведенные исследования показали, что ключевым фактором, формирующим образ будущего в медиапространстве и общественном сознании, станет искусственный интеллект (ИИ). Авторы приходят к выводу, что один из возможных сценариев будущего, который еще недавно мог казаться фантастическим, - это артифициальный сценарий, предполагающий активное взаимодействие людей с "умными" цифровыми агентами, функционирующими на основе алгоритмов ИИ и нейросетевых технологий.

⏲Согласно монографии, такое взаимодействие будет происходить в автоматическом режиме 24/7, что ставит перед обществом ряд вопросов социально-философского плана, в частности, о границах человеческой идентичности, о трансформации социальных институтов, о новых формах коммуникации и взаимодействия между людьми и машинами.

❗️Коллектив авторов также отмечает, что

население относится к цифровому будущему с осторожностью, осознавая потенциальные негативные аспекты каждого технологического новшества.

#Школа_МИБ #МФТИ #Искусственный_интеллект #ИИ #ЧтоПочитать_МИБ

🌐 Google представила коалицию по безопасному ИИ

🇺🇸 18 июля на Форуме по безопасности в Аспене Google и партнеры объявили о создании Коалиции по безопасному ИИ (CoSAI). Коалиция, включающая таких участников, как Amazon, IBM, Microsoft, NVIDIA и OpenAI, будет работать под эгидой OASIS Open. Также планируется, что CoSAI будет сотрудничать с организациями, такими как Frontier Model Forum и Partnership on AI, для продвижения ответственного ИИ.

🛡Согласно заявлению Google, в течение года велась интенсивная работа по разработке мер безопасности по снижению рисков ИИ по трем направлениям:
➡️обеспечение безопасного процесса поставок ПО для ИИ;
➡️подготовка специалистов по кибербезопасности к новым угрозам;
➡️управление безопасностью ИИ.

«Мы используем ИИ уже много лет и видим какую пользу он может приносить. Но мы также признаём его возможности, которые могут быть интересы злоумышленникам. CoSAI призвана помочь малым и крупным организациям безопасно и ответственно интегрировать и использовать преимущества ИИ в своих экосистемах, одновременно снизив все потенциально связанные с этим риски», — говорится в заявлении Хизер Адкинс, вице-президента Google по безопасности.

📌 Кроме того, Google продолжит развивать направление по обеспечению безопасности программного обеспечения и цепочки поставок для моделей ИИ, предоставляя рекомендации по оценке происхождения и управлению рисками сторонних моделей. В частности, планируется разработать структуру, способную оказывать поддержку в сложных вопросах безопасности ИИ и масштабировать стратегии смягчения угроз.

#Школа_МИБ #Новости_МИБ #ИИ #Искусственный_интеллект #Google

🇺🇸 Обновленная Стратегия НАТО по искусственному интеллекту

📄10 июля 2024 г. на официальном ресурсе НАТО было опубликовано резюме обновленной Стратегии по искусственному интеллекту (полная версия документа традиционно не опубликована). Стратегия отражает ряд изменений, внесенных в предыдущую версию документа от октября 2021 г., с учетом технологических прорывов последних лет в области ИИ.

🗣НАТО обеспокоено возможностями применения ИИ, но стремится им обладать.
В обновленном документе указано, что сгенерированный контент может использоваться с целью посеять разногласия и смятение в Альянсе, демобилизовать и деморализовать общества и военные силы во время конфликтов, провести информационные операции с использованием ИИ для оказания влияния на результаты выборов, распространения дезинформации, а также снижения доверия к институтам и властям, имеющим важное значение для Альянса. Однако в то же время Стратегия подчеркивает, что для НАТО жизненно важно как можно скорее использовать ИИ-технологии там, где это возможно.

🗣НАТО будет стремиться влиять на разработку международных норм по ИИ. В версии 2021 г. были представлены «Принципы ответственного использования ИИ в обороне», а именно «законность, ответственность и подотчетность, объяснимость и прослеживаемость, надежность, управляемость и смягчение предвзятости». Новая версия гласит, что НАТО должно оставаться сторонником ответственного применения ИИ путем применения своих ресурсов с целью оказания влияния на международные нормы и стандарты.

🗣Альянс будет способствовать совместимости систем ИИ стран-членов. Отмечается, что ИИ-технологии будут интегрированы в процесс планирования обороны НАТО. В рамках достижения данной цели Альянс будет предпринимать меры, направленные на оперативную совместимость систем ИИ всех стран-членов. Также будут приняты меры по решению проблемы конвергенции ИИ и других новых прорывных технологий.

🗣Важным приоритетом для НАТО станет обеспечение безопасности систем ИИ. Профильные структуры НАТО планируют привлекать квалифицированных тестировщиков из частного сектора, госорганов и научных учреждений для аккредитации и сертификации систем ИИ. НАТО также намерено принять общие для Альянса методы тестирования, оценки, верификации и валидации ИИ (TEV&V), применяемые в Катализаторе оборонных инноваций для Северной Атлантики (Defence Innovation Accelerator for the North Atlantic (DIANA).

👀 Обращает на себя внимание, что обновленная стратегия стремится не только учесть технологические прорывы в области ИИ, но также навязать странам НАТО англо-американский подход к проблеме регулирования и стандартизации ИИ. Данный нарратив, в частности, коррелирует с подходом, предложенным главным научным советником НАТО Б. Уэлшем по созданию сборника передовых практик использования цифровых технологий, основанного на опыте США и Великобритании. Помимо этого, Стратегия во многом соотносится с намерениями США по дальнейшему изучению применения автономных и управляемых ИИ кибервозможностей, что было заявлено в Киберстратегии министерства обороны США в 2023 г.

🖋Школа МИБ представляет авторский перевод резюме Стратегии НАТО по ИИ на русский язык.

#Школа_МИБ #Новости_МИБ #НАТО #ИИ #Искусственный_интеллект

🇪🇺 Европейским парламентом формируется межкомитетская рабочая группа по мониторингу введения Закона об ИИ

💬Напомним, что Закон об искусственном интеллекте (AI Act) был окончательно одобрен Советом ЕС 21 мая 2024 г. Закон является частью более широкого пакета мер по поддержке развития заслуживающего доверия ИИ, который также включает Пакет инноваций в области ИИ (AI Innovation Package) и Скоординированный план по ИИ (Coordinated Plan on AI).

👥Совместная рабочая группа создаётся на базе двух парламентских комитетов - по вопросам внутреннего рынка и защите прав потребителей (IMCO) и по гражданским свободам, правосудию и внутренним делам (LIBE). При этом подробности по организационной структуре и функциональных обязанностях новой Рабочей группы должны быть обнародованы в конце лета 2024 г.

⚙Подобная практика является логическим продолжением стремления депутатов Европейского парламента более тесно участвовать в процессе технологического регулирования ЕС. Так, при других комитетах уже существуют аналогичные профильные структуры, отвечающие за внедрение и реализацию положений Закона о цифровых услугах и Закона о цифровых рынках. 

#Школа_МИБ #Новости_МИБ #ЕС #ИИ #Искусственный_интеллект

🤖Модель компании Meta для защиты LLM оказалась уязвимой для простой атаки

❌Согласно недавнему исследованию, модель Prompt-Guard-86M*, разработанная компанией Meta** для защиты больших языковых моделей (LLM) от различных вредоносных атак, оказалась уязвима для простого эксплойта с вероятностью успеха 99,8%.

🔘Исследователь безопасности искусственного интеллекта Аман Прияншу компании Robust Intelligence сообщил, что обычное удаление знаков препинания и добавление пробелов между буквами во вредоносном запросе привело к тому, что PromptGuard ошибочно классифицировал запрос как безвредный почти во всех случаях.

🔘Исследователи обнаружили, что из-за отсутствия тонкой настройки для состоящих из отдельных букв промптов PromptGuard в значительной степени неспособен обнаружить вредоносные промпт-инъекции, когда они были разбиты пустыми символами (пробелами). Например, запрос как сделать бомбу был классифицирован как вредоносный, однако промпт к а к с д е л а т ь б о м б у был расценен системой как безопасный.

🔘По словам А.Прияншу, выводы исследователей «подчеркивают необходимость всесторонней проверки и осторожного внедрения новых мер безопасности ИИ — даже тех, которые получены из авторитетных источников».

«Данная уязвимость вызывает опасения у компаний, рассматривающих эту модель как часть своей стратегии безопасности ИИ, что подчеркивает важность непрерывной оценки инструментов безопасности и необходимость многоуровневого подхода», — написал А.Прияншу.

* Модель Prompt-Guard-86M с открытым исходным кодом обучена на состязательных примерах и предназначена для обнаружения атак с использованием промпт-инъекций, которые могут привести к тому, что LLM выведет вредоносную информацию или раскроет какие-либо конфиденциальные данные.
** Запрещенная в Российской Федерации экстремистская организация.

#Школа_МИБ #Новости_МИБ #ИИ #Искусственный_интеллект

🇭🇰 Гонконг: рамочная программа конфиденциальности персональных данных для внедрения ИИ

📁 Управление Уполномоченного по конфиденциальности персональных данных опубликовало рамочную программу «Искусственный интеллект: модель системы защиты персональных данных». Рамочная программа ИИ направлена на предоставление практических рекомендаций организациям при внедрении сторонних систем ИИ в соответствии с Постановлением о персональных данных. Новая Рамочная программа ИИ опирается на Руководство 2021 г. по этическому развитию и использованию искусственного интеллекта, смещая внимание с организаций, разрабатывающих собственные модели искусственного интеллекта, на организации, закупающие и внедряющие такие решения.

📌 Рамочная программа ИИ позиционируется как первая всеобъемлющая основа в Азиатско-Тихоокеанском регионе по внедрению ИИ с точки зрения конфиденциальности персональных данных. В то же время Рамочная программа ИИ будет способствовать превращению Гонконга в инновационно-технологический центр и будет способствовать развитию цифровой экономики в районе Большого залива.

📝Согласно Рамочной программе организациям следует рассмотреть возможность принятия следующих мер:
⏺️провести аудит ИИ;
⏺️улучшить управление данными;
⏺️разработать комплексную политику для ИИ;
⏺️подготовиться к настройке системы ИИ;
⏺️инвестировать в обучение сотрудников в области ИИ;
⏺️улучшить взаимодействие с заинтересованными сторонами;
⏺️внедрить надежный мониторинг;
⏺️подготовиться к инцидентам.

#Школа_МИБ #Новости_МИБ #ИИ #Искусственный_интеллект