📄23 июля 2024 года Управление по коммуникациям Великобритании (Ofcom) опубликовало дискуссионный документ под названием «Red Teaming for GenAI Harms», в котором обсуждается применение подхода «red teaming» в качестве метода оценки в рамках поиска уязвимостей в моделях генеративного искусственного интеллекта с целью защиты пользователей от вредоносного контента.

🛡Данный подход представляет собой проведение «атаки» на модель с помощью ряда промптов с целью получения информации о возможной генерации запрещенного контента. В документе подчеркивается, что red teaming представляет собой оценочный процесс, структурированный в четыре основных этапа:
1️⃣ создание команды и постановка четких задач;
2️⃣ подача в тестируемую модель ИИ ряда промптов для проведения атаки;
3️⃣ анализ выходных данных с целью определить, какие атаки приводят к генерации вредоносного контента;
4️⃣ принятие определенных мер по результатам исследования.

🗣Однако в документе отмечается, что у red teaming есть несколько недостатков, в частности:
🔴red teaming затруднительно применить в отношении видео-, аудио- и мультимодальных моделей, которые создают сложный для анализа разнообразный контент;
🔴неопытные операторы могут пропустить вредоносный контент, а автоматические классификаторы могут допускать неточности;
🔴red teaming не полностью воспроизводит реальные условия использования ИИ, поскольку проводится в контролируемых условиях;
🔴полученные в результате использования разных моделей итоги тестирования различных команд сложны для проведения сравнительного анализа.

«Однако, несмотря на широкий интерес к red teaming, на данный момент отсутствует четкий консенсус относительно его сильных и слабых сторон, порядка проведения, необходимых навыков и ресурсов, а также конкретных конечных результатов исследования. Без ответов на эти вопросы тем, кто использует GenAI, сложно понять, как именно и следует ли вообще проводить свою собственную red teaming», − подчеркивают авторы документа.


#Школа_МИБ #Новости_МИБ #ИИ #информационная_безопасность

🇭🇰 Гонконг: рамочная программа конфиденциальности персональных данных для внедрения ИИ

📁 Управление Уполномоченного по конфиденциальности персональных данных опубликовало рамочную программу «Искусственный интеллект: модель системы защиты персональных данных». Рамочная программа ИИ направлена на предоставление практических рекомендаций организациям при внедрении сторонних систем ИИ в соответствии с Постановлением о персональных данных. Новая Рамочная программа ИИ опирается на Руководство 2021 г. по этическому развитию и использованию искусственного интеллекта, смещая внимание с организаций, разрабатывающих собственные модели искусственного интеллекта, на организации, закупающие и внедряющие такие решения.

📌 Рамочная программа ИИ позиционируется как первая всеобъемлющая основа в Азиатско-Тихоокеанском регионе по внедрению ИИ с точки зрения конфиденциальности персональных данных. В то же время Рамочная программа ИИ будет способствовать превращению Гонконга в инновационно-технологический центр и будет способствовать развитию цифровой экономики в районе Большого залива.

📝Согласно Рамочной программе организациям следует рассмотреть возможность принятия следующих мер:
⏺️провести аудит ИИ;
⏺️улучшить управление данными;
⏺️разработать комплексную политику для ИИ;
⏺️подготовиться к настройке системы ИИ;
⏺️инвестировать в обучение сотрудников в области ИИ;
⏺️улучшить взаимодействие с заинтересованными сторонами;
⏺️внедрить надежный мониторинг;
⏺️подготовиться к инцидентам.

#Школа_МИБ #Новости_МИБ #ИИ #Искусственный_интеллект

🇺🇳Консультативный орган по ИИ представил доклад «Управление ИИ в интересах человечества»

📄В своем докладе Консультативный орган высокого уровня по ИИ опубликовала семь рекомендаций по рассмотрению и управлению рисками, связанными с искусственным интеллектом.

🌎В документе содержится призыв к ООН заложить основы для первой «глобально инклюзивной и распределенной архитектуры управления ИИ на основе международного сотрудничества», а также предложение к правительствам и заинтересованным сторонам работать вместе в управлении ИИ для содействия развитию и защите прав человека.

🔔Консультативный орган также отметил отсутствие глобальной структуры для управления ИИ и наличие пробелов между странами в регулировании новых технологий и в связи с этим выдвинул семь рекомендаций по глобальному управлению ИИ.

1️⃣Создание международной научной группы по ИИ: данная группа, как заявляется, будет стремиться предоставлять беспристрастные, надежные научные знания об ИИ, а также устранять пробелы в знаниях и выпускать ежегодные отчеты о тенденциях, возможностях и рисках ИИ.
2️⃣Новый политический диалог по управлению ИИ: новый диалог под эгидой ООН будет включать межправительственные и многосторонние встречи для содействия достижению общей позиции и нормативной совместимости, основанной на правах человека. Проводить его рекомендуется два раза в год.
3️⃣Обмен стандартами ИИ: рекомендуется создать центр обмена стандартами ИИ, который объединял бы представителей национальных и международных организаций, занимающихся разработкой стандартов, технологических компаний, гражданского общества и представителей международной научной группы.
4️⃣Глобальная сеть по наращиванию потенциала: предлагается создать сеть для наращивания потенциала в области ИИ, которая объединила бы ряд сотрудничающих центров наращивания потенциала, связанных с ООН, и предоставила бы ключевым участникам экспертные знания, вычислительную технику и данные для обучения ИИ.
5️⃣Глобальный фонд для ИИ: усилия данного фонда предполагается направить на устранение пробелов в потенциале и сотрудничестве, расширяя возможности местных усилий для достижения целей устойчивого развития.
6️⃣Глобальная система данных ИИ: предлагается проведение стандартизации определений, принципов и управления, связанных с данными, обеспечивая прозрачность и подотчетность в системах ИИ.
7️⃣ Офис ИИ: предлагается учредить подразделение по вопросам ИИ в Секретариате ООН для поддержки и координации реализации вышеуказанных предложений.

❔Доклад Консультативного органа позиционируется как дорожная карта для управлению ИИ на благо всего человечества. Тем не менее, документ имеет как однозначно позитивные пункты, направленные на развитие международного сотрудничества в области ИИ, так и пункты вызывающие сомнения.

#Школа_МИБ #ООН #ИИ

💡Делимся с вами комментариями и предложениями Школы МИБ по докладу Консультативного органа по ИИ «Управление ИИ в интересах человечества». Материалы были направлены в Канцелярию посланника Генерального секретаря ООН по вопросам технологий в ходе сбора мнений.

#Школа_МИБ #ООН #ИИ

⬇️⬇️⬇️

🇺🇸 В США назвали наиболее серьезные угрозы для грядущих президентских выборов. Часть 2

4️⃣ Использование генеративного ИИ. Особое внимание в отчете посвящено злонамеренному применению ИИ − данная технология активно применяется злоумышленниками для генерации поддельного, но правдоподобного контента, который служит для манипуляции общественным мнением. С помощью таких платформ, как ChatGPT, создаются фишинговые письма и даже программное обеспечение для взлома, что облегчает задачу для менее опытных злоумышленников и увеличивает общий объем киберугроз. Также аналитики отметили случаи использования голосового клонирования в рамках проведения телефонного мошенничества, направленного на подрыв доверия к официальной информации о выборах.

5️⃣ Физические угрозы и насилие в отношении работников. Согласно отчету, около 38% сотрудников избирательных комиссий подвергались угрозам или непосредственному физическому воздействию, включая т.н. «сваттинг» (намеренный ложный вызов «специальных подразделений полиции» в адрес жертвы) и отправку подозрительных писем с порошками. Кроме того, ложные нарративы о «недостоверности» выборов направлены на психологическое запугивание и дестабилизацию работы избирательных служб.

6️⃣ DVEs и кибератаки. В отдельную категорию угроз аналитики отнесли внутренних радикальных экстремистов (DVEs), а также направленные на критическую инфраструктуру кибератаки. Угрозы насилия и саботажа инфраструктуры со стороны экстремистов могут быть направлены на подрыв работы правительственных объектов, мест для голосования, штабов политических партий и иных объектов, связанных с подсчетом голосов. Кроме того, критическая инфраструктура, включая такие каналы связи, как оптоволоконные кабели, а также объекты электроснабжения, может стать целью для атак, направленных на создание паники и дестабилизацию избирательного процесса.

❔В заключении документа отмечается, что по итогу выборов аналитики ожидают дальнейшего усиления политической поляризации и обострения напряженности, что может привести к демонстрациям и вспышкам насилия. Согласно отчету, кибератаки и операции по дезинформации будут продолжаться с «целью усиления общественного недовольства и подрыва доверия к демократическим процессам», что потребует от правительственных и частных организаций готовности к управлению рисками, связанными с сочетанием информационного и физического воздействия.

#ШколаМИБ #CIS #США #кибербезопасность #ИИ

🇺🇸 В США представили прогноз об угрозах в киберсфере на 2025 год

🌐 Эксперты Google и Mandiant представили документ Cybersecurity Forecast 2025, посвященный анализу и прогнозированию ключевых тенденций и угроз в сфере кибербезопасности на ближайший год. Как отмечают авторы, в 2025 году правительство США продолжит оставаться объектом интереса со стороны "кибершпионажа, спонсируемого государствами" , которые, вероятно, намерены воспользоваться сменой администрации для получения стратегического преимущества.

👺 В частности, документ особо акцентирует внимание на роли геополитических факторов как катализаторов киберактивности. Так, американские исследователи традиционно называют «большую четверку» − Россию, Китай, Иран и Северную Корею − основными источниками киберугроз в рамках достижения своих геостратегических целей. По мнению Google и Mandiant, российские кибератаки направлены против Украины и стран НАТО, в то время как Китай демонстрирует высокую активность в использовании нулевых уязвимостей, скрытых сетей и информационных операций, направленных на дискредитацию целей. В свою очередь, Северная Корея сосредоточена на кражах криптовалют и социальной инженерии, а Иран продолжает поддерживать региональную напряженность с помощью атак на государственные и телекоммуникационные системы.

🤖 В то же время одной из центральных тем исследования является влияние искусственного интеллекта на формирование киберугроз и возможностей защиты. Согласно прогнозам авторов доклада, кибербезопасность в 2025 году претерпит значительные изменения, вызванные как технологическим прогрессом, особенно в области искусственного интеллекта, так и постоянной активностью злонамеренных акторов, которые активно осваивают потенциал больших языковых моделей для масштабирования атак, включая фишинг, создание deepfake-контента и эксплойты для обхода защитных систем. Отдельно отмечается, что генеративный искусственный интеллект все чаще используется в информационных операциях для создания дезинформации и ложных идентичностей, что существенно увеличивает масштабы атак.

🦠 Важным аспектом отчета является анализ глобальных угроз, в котором особое внимание уделяется использованию вредоносного ПО для кражи данных и программ-вымогателей, которые становятся все более опасными благодаря их способности обходить современные средства обнаружения и защиты. Кроме того, отчет указывает на рост активности менее квалифицированных злоумышленников, получающих доступ к профессиональным инструментам через сервисы «как услуга» − такая демократизация кибервозможностей значительно усложняет задачи обеспечения безопасности для организаций.

🛡 Наконец, с развитием квантовых технологий появляется риск взлома традиционных шифров, поэтому эксперты считают, что организациям необходимо переходить к квантово-устойчивым стандартам шифрования, разработанным Национальным институтом стандартов и технологий (NIST). Кроме того, организациям предстоит адаптироваться к новым вызовам через внедрение облачных и автоматизированных решений, усиление контроля за идентификацией пользователей и подготовку к долгосрочным изменениям в криптографии.

#ШколаМИБ #Google #Mandiant #США #кибербезопасность #ИИ

🤖 Опасные возможности ИИ: как уязвимости генеративных моделей становятся инструментом угроз

📄Школа международной информационной безопасности ДА МИД России рада представить своим читателям опубликованный на портале по информационной безопасности SecurityLab краткий вариант проведенного совместно с Координационным центром доменов .RU / .РФ исследования на тему анализа методов генерации деструктивного контента современными моделями искусственного интеллекта общего назначения.

👩‍💻 Данный материал посвящен изучению обнаруженных экспертами уязвимостей в виде промпт-инъекций с использованием HTML-тегов в ИИ-продуктах таких отечественных и зарубежных IT-компаний, как SberAI, Yandex и OpenAI. В результате применения данного метода авторам удалось сгенерировать не только текстовую, но и графическую информацию вредоносного содержания, а также обнаружить факт предвзятости в отношении влиятельных политических фигур.

🛡 Таким образом, стоит отметить, что современные генеративные модели по-прежнему остаются уязвимыми для изощренных промпт-атак, что представляет потенциальную опасность в контексте генерации вредоносного контента и его дальнейшего использования в злонамеренных целях. Охватывая классическую триаду угроз международной информационной безопасности, результаты генерации свидетельствуют о существующей тенденции к значительному возрастанию функциональности и, как следствие, негативного потенциала ИИ с течением времени, отражая двойственную природу данной технологии.

⚠️ Авторы призывают к ответственному использованию ИИ и выражают благодарность компаниям-разработчикам за своевременную обратную связь.

#ШколаМИБ #SberAI #Yandex #OpenAI #информационная_безопасность #ИИ

🌏 Доклад ЮНКТАД о технологиях и инновациях за 2025 год

Конференция ООН по торговле и развитию (ЮНКТАД) представила ежегодный доклад, центральной темой которого в 2025 году стал «Инклюзивный искусственный интеллект для развития». В центре внимания — вызовы и перспективы использования ИИ в целях устойчивого и справедливого глобального роста.

Ожидается, что к 2033 году ИИ станет передовой технологией с наибольшим объемом рынка, на долю которого придется около 4,8 трлн долларов, что составит 30% от общего объема рынка. Однако наряду с быстрым развитием ИИ возрастает и глобальное технологическое неравенство.

Доклад подчеркивает тревожную тенденцию в части растущего неравенства в сфере ИИ: всего 100 компаний, в основном в США и Китае, обеспечивают 40% мировых частных инвестиций в исследования и разработки, что свидетельствует о высокой концентрации ресурсов и возможностей в руках ограниченного круга игроков.

Особое внимание уделено индикатору готовности стран к внедрению передовых технологий, который демонстрирует критическую отсталость многих государств.

Отмечается, что 118 стран, главным образом из Глобального Юга, в настоящее время не принимают участия в международных инициативах и обсуждениях по вопросам ИИ, что грозит их дальнейшей маргинализацией в глобальной цифровой архитектуре.

В качестве ответа на эти вызовы ЮНКТАД предлагает, помимо прочего: разработку национальных стратегий по ИИ с учётом принципов инклюзивности и устойчивости; создание глобального механизма, обеспечивающего равный доступ стран к вычислительным мощностям, данным и инструментам ИИ; укрепление международного сотрудничества в области ИИ, включая более активную роль ООН в глобальной дискуссии и формировании норм.

Доклад подчёркивает необходимости срочных и скоординированных действий, чтобы искусственный интеллект стал инструментом устойчивого развития, а не фактором усиления глобального технологического разрыва.

#Школа_МИБ #ИИ #ООН #ЮНКТАД #аналитика

От кибербезопасности до этики ИИ: самые важные международные события июня 2025

🔵2-4 июня 2025 г. - Парижский киберсаммит: дискуссии будут посвящены киберзащите и новым тенденциям в области киберзащиты, защите сектора здравоохранения, защите критически важных объектов, кибербезопасности ИИ, использованию ИИ в кибербезопасности, готовности ЕС использовать ИИ в кибероперациях, обмену разведданными для обеспечения киберустойчивости, а также иностранному вмешательству и военным действиям в киберпространстве. Полная программа по ссылке.

🔵4-5 июня 2025 г. - Конференция ЮНЕСКО по наращиванию потенциала в области ИИ и цифровой трансформации в государственном секторе в Париже: на мероприятии будут рассмотрены потребности в наращивании потенциала в госсекторе, связанные с ИИ, цифровыми технологиями и управлением данными. Конференция приурочена ко Всемирному дню окружающей среды и поднимет также вопрос роли технологий в развитии экологически устойчивых цифровых экосистем. Регистрация для онлайн участия по ссылке.

🔵5-6 июня 2025 г. - Первый Глобальный цифровой форум в Нижнем Новгороде состоится в рамках ЦИПР: ключевые вопросы - развитие международного сотрудничества в ИТ, преодоление цифрового неравенства, сохранение культурной специфики в глобальных технологиях, изменение профессий в эпоху цифровизации, перспективные технологии, развитие ИИ. Программа по ссылке. На сайте будет доступна прямая трансляция мероприятия.

🔵9-10 июня 2025 г. - неофициальная интерактивная консультация заинтересованных сторон ВВУИО по обзору хода выполнения решений ВВУИО+20: мероприятие проводится в рамках подготовки к заседанию Генеральной Ассамблеи ООН, которое состоится 16-17 декабря 2025 года и будет посвящено обзору итогов Всемирного саммита по информационному обществу. Повестка дня строится вокруг обсуждения, как укрепить глобальное сотрудничество и согласованность в цифровом управлении, оценить эволюцию и достижения WSIS за 20 лет, определить ключевые приоритеты и вызовы сегодняшнего дня, а также наметить пути дальнейшего развития WSIS и реализации Глобального цифрового договора.

🔵9-12 июня 2025 г. - ICANN83 Policy Forum в Праге, направленный на продвижение ключевых политических и консультативных инициатив. В ходе обсуждений также будут рассмотрены более широкие вопросы управления Интернетом, включая подготовку к 20-летнему обзору результатов ВВУИО+20.

🔵10 июня 2025 г. - Заключительный брифинг, посвященный мероприятию высокого уровня ВВУИО+20 в Женеве. Доступна регистрация для онлайн участия.

🔵11-12 июня 2025 г. - День виртуальных миров ООН: мероприятие будет посвящено изучению роли виртуальных миров на базе ИИ в решении глобальных проблем и в достижении целей Пакта о будущем и Глобального цифрового договора. Онлайн регистрация по ссылке.

🔵15-17 июня 2025 г. - Саммит лидеров G7 в Кананаскисе: среди широкой повестки также числится цифровая проблематика.

🔵23-27 июня 2025 г. - юбилейный 20-й Форум ООН по управлению Интернетом в Лиллестрёме: повестка этого года охватывает цифровое доверие и устойчивость, устойчивые и ответственные инновации, всеобщий доступ и цифровые права, а также цифровое сотрудничество. Предварительная программа доступна по ссылке.

🔵24-27 июня 2025 г. - 3-ий Глобальный форум ЮНЕСКО по этике искусственного интеллекта в Бангкоке: будут освещены достижения в области этики ИИ, достигнутые после принятия Рекомендации ЮНЕСКО по этике ИИ от 2021 года, и практические меры для дальнейшего прогресса. Программа доступна по ссылке.

🔵25-27 июня 2025 г. - XVI Международный IT-Форум с участием стран БРИКС и ШОС в Ханты-Мансийске: будут обсуждены актуальные тренды развития цифровой экономики и состоится обмен решениями профессионального ИТ-сообщества стран БРИКС и ШОС, а также других государств.

#ШколаМИБ #ИКТПовестка #ИИ #МероприятияМИБ #МероприятияИИ #МИБ_анонс