🇺🇳РГОС ООН: заключительный неформальный диалог

🗓️3 июля состоялся заключительный неформальный диалог РГОС ООН 2021-2025 с негосударственными субъектами, организованный ее председателем Б.Гафуром. Основное внимание сессии уделялось вопросу нового формата-преемника рабочей группы.

👥Участники обсудили важность открытого международного сотрудничества и взаимодействия между заинтересованными сторонами и государствами, затронули вызовы и угрозы информационной безопасности и выдвинули идеи по развитию всестороннего переговорного процесса.

🌐Школа МИБ выступила с докладом, в котором поддержала создание в рамках ООН всеобъемлющего постоянного механизма по безопасности ИКТ после завершения работы РГОС ООН, осветила ряд принципов, которые должны ей сопутствовать. В заключении доклада Школа МИБ поддержала тезис о вовлечении молодежи в переговорный процесс по международной информационной безопасности.

#Школа_МИБ #РГОС #ООН #ИКТ #Информационная_безопасность

📄23 июля 2024 года Управление по коммуникациям Великобритании (Ofcom) опубликовало дискуссионный документ под названием «Red Teaming for GenAI Harms», в котором обсуждается применение подхода «red teaming» в качестве метода оценки в рамках поиска уязвимостей в моделях генеративного искусственного интеллекта с целью защиты пользователей от вредоносного контента.

🛡Данный подход представляет собой проведение «атаки» на модель с помощью ряда промптов с целью получения информации о возможной генерации запрещенного контента. В документе подчеркивается, что red teaming представляет собой оценочный процесс, структурированный в четыре основных этапа:
1️⃣ создание команды и постановка четких задач;
2️⃣ подача в тестируемую модель ИИ ряда промптов для проведения атаки;
3️⃣ анализ выходных данных с целью определить, какие атаки приводят к генерации вредоносного контента;
4️⃣ принятие определенных мер по результатам исследования.

🗣Однако в документе отмечается, что у red teaming есть несколько недостатков, в частности:
🔴red teaming затруднительно применить в отношении видео-, аудио- и мультимодальных моделей, которые создают сложный для анализа разнообразный контент;
🔴неопытные операторы могут пропустить вредоносный контент, а автоматические классификаторы могут допускать неточности;
🔴red teaming не полностью воспроизводит реальные условия использования ИИ, поскольку проводится в контролируемых условиях;
🔴полученные в результате использования разных моделей итоги тестирования различных команд сложны для проведения сравнительного анализа.

«Однако, несмотря на широкий интерес к red teaming, на данный момент отсутствует четкий консенсус относительно его сильных и слабых сторон, порядка проведения, необходимых навыков и ресурсов, а также конкретных конечных результатов исследования. Без ответов на эти вопросы тем, кто использует GenAI, сложно понять, как именно и следует ли вообще проводить свою собственную red teaming», − подчеркивают авторы документа.


#Школа_МИБ #Новости_МИБ #ИИ #информационная_безопасность

🤖 Опасные возможности ИИ: как уязвимости генеративных моделей становятся инструментом угроз

📄Школа международной информационной безопасности ДА МИД России рада представить своим читателям опубликованный на портале по информационной безопасности SecurityLab краткий вариант проведенного совместно с Координационным центром доменов .RU / .РФ исследования на тему анализа методов генерации деструктивного контента современными моделями искусственного интеллекта общего назначения.

👩‍💻 Данный материал посвящен изучению обнаруженных экспертами уязвимостей в виде промпт-инъекций с использованием HTML-тегов в ИИ-продуктах таких отечественных и зарубежных IT-компаний, как SberAI, Yandex и OpenAI. В результате применения данного метода авторам удалось сгенерировать не только текстовую, но и графическую информацию вредоносного содержания, а также обнаружить факт предвзятости в отношении влиятельных политических фигур.

🛡 Таким образом, стоит отметить, что современные генеративные модели по-прежнему остаются уязвимыми для изощренных промпт-атак, что представляет потенциальную опасность в контексте генерации вредоносного контента и его дальнейшего использования в злонамеренных целях. Охватывая классическую триаду угроз международной информационной безопасности, результаты генерации свидетельствуют о существующей тенденции к значительному возрастанию функциональности и, как следствие, негативного потенциала ИИ с течением времени, отражая двойственную природу данной технологии.

⚠️ Авторы призывают к ответственному использованию ИИ и выражают благодарность компаниям-разработчикам за своевременную обратную связь.

#ШколаМИБ #SberAI #Yandex #OpenAI #информационная_безопасность #ИИ

🇧🇷 Бразилия: Федеральное правительство утвердило новую Национальную стратегию кибербезопасности

4 августа в рамках усилий по укреплению цифрового суверенитета и обеспечения устойчивости киберинфраструктуры Президент Бразилии Луис Инасиу Лула да Силва подписал Указ № 12.573, которым утверждена обновлённая Национальная стратегия кибербезопасности (E-Ciber).

✅Новая стратегия направлена на усиление защиты граждан, бизнеса и государственных институтов от цифровых угроз, а также на расширение потенциала страны в сфере предотвращения, реагирования и восстановления после киберинцидентов.

Структура стратегии включает четыре ключевых направления:
1) повышение осведомлённости общества и защита пользователей;
2) обеспечение безопасности и устойчивости критически важных секторов и инфраструктур;
3) развитие сотрудничества и интеграции между государственными и частными структурами;
4) укрепление цифрового суверенитета и системы управления.

🎯 Особое внимание в стратегии уделено:
– цифровой грамотности уязвимых категорий населения (дети, пожилые, лица в трудной жизненной ситуации);
– защите стратегических отраслей;
– международному сотрудничеству по вопросам противодействия киберпреступности;
– подготовке и переподготовке национальных кадров в сфере кибербезопасности.

Координацию исполнения стратегии будет осуществлять Национальный комитет по кибербезопасности (CNCiber), созданный в декабре 2023 года. Он работает под руководством Аппарата институциональной безопасности при Президенте Республики и включает 25 организаций, в том числе 16 государственных и 9 представляющих интересы общества (в сфере цифровых прав, науки и технологий, бизнеса). Стратегия предполагает реализацию порядка 40 приоритетных мер, разрабатываемых и обновляемых CNCiber на регулярной основе.

#Школа_МИБ #Новости_МИБ #Бразилия #киберстратегия #информационная_безопасность