🇺🇳Большие языковые модели и международная безопасность

📆 16 апреля 2024 г. Институт Организации Объединенных Наций по исследованию проблем разоружения (ЮНИДИР) проведет свое первое мероприятие, посвященное большим языковым моделям и международной безопасности.

⚙️ Большие языковые модели (LLM) - это системы искусственного интеллекта, которые работают с языком. С 2022 года популярность LLM значительно возросла благодаря быстрому повышению производительности и простоте использования в различных областях. LLM работают как базовые модели, что означает, что они обладают широкими возможностями, масштабируемы и могут быть адаптированы к моделям, специфичным для конкретных задач.

Влияние LLM на международную безопасность заслуживает своевременного и более тщательного изучения. Хотя уже высказывались некоторые опасения в связи с потенциальным использованием LLM для проведения широкомасштабных кампаний по дезинформации, области применения этой технологии гораздо шире, как и возможные риски, что вызывает серьезные опасения.

На мероприятии будет представлен обзор значения LLM для международной безопасности, а также рассмотрены возникающие области рисков.

📎 Более подробная информация по ссылке.

🌐 Формат: онлайн.

🕐 Время: 17:30 -18:45 по московскому времени.

ℹ️ Для участия в конференции необходимо зарегистрироваться по ссылке до 15 апреля.

#Школа_МИБ #Мероприятия_ИИ #ИИ #Языковыемодели #ЮНИДИР

🌐 Доклад ОЭСР по ИИ, управлению данными и конфиденциальности

🧠 26 июня 2024 года ОЭСР в рамках серии «OECD Artificial Intelligence Papers» выпустила доклад «ИИ, управление данными и конфиденциальность: взаимодействие и области международного сотрудничества».

❗️Недавние достижения в области ИИ, такие как появление генеративного ИИ, подняли важные вопросы об использовании входных и выходных данных, качестве данных и доступности обучающих данных для моделей ИИ. Эти проблемы подчеркивают необходимость защиты прав и интересов всех вовлеченных сторон, особенно отдельных лиц, чьи данные собираются, используются и генерируются ИИ-системами.

💬В докладе исследуется взаимосвязь ИИ и конфиденциальности, а также способы, с помощью которых соответствующие политические сообщества могут работать для устранения рисков в данной сфере, особенно в связи с появлением генеративного ИИ. Также представлены ключевые выводы и рекомендации по укреплению взаимодействия международного сотрудничества в области ИИ, управления данными и конфиденциальности.

🔃Авторы доклада сопоставляют принципы, изложенные в Руководстве ОЭСР по обеспечению конфиденциальности, с Руководящими принципами ОЭСР по ИИ, и анализируют национальные и региональные инициативы, и предлагают потенциальные области для сотрудничества.

🛡В заключении подчеркивается важность интеграции достижений в области ИИ с надежными мерами по управлению данными и защите конфиденциальности. Согласно докладу, такой целостный подход имеет решающее значение для обеспечения того, чтобы ИИ-технологии можно было использовать для инноваций, одновременно защищая права личности и укрепляя доверие общественности к приложениям искусственного интеллекта.

#ШколаМИБ #ОЭСР #искусственныйинтеллект #ИИ #конфиденциальность #защитаданных

🇺🇳Технологический завтрак: исследование технологического ландшафта микрочипов

📆 9 июля 2024 г. Институт Организации Объединенных Наций по исследованию проблем разоружения (ЮНИДИР) проведет сайд-ивент РГОС ООН - технологический завтрак по проблематике "Исследование технологического ландшафта микрочипов".

⚙️Достижения в различных областях технологий, таких как нанотехнологии, микрочипы, облачные вычисления и 5G, меняют цифровой ландшафт и стимулируют инновации в области информационно-коммуникационных технологий (ИКТ), искусственного интеллекта (ИИ) и автономных систем. Несмотря на достигнутый прогресс в решении проблем, связанных с последствиями ИКТ и ИИ для безопасности, в рамках различных многосторонних процессов, относительно меньшее внимание уделяется базовым технологиям, лежащим в основе их развития.

Чтобы восполнить этот пробел, ЮНИДИР организует серию технологических завтраков для изучения последствий применения конкретных технологий для международной безопасности, опираясь на результаты исследований, опубликованных в сборнике "Передовые технологии и международная безопасность: сборник" (издание 2023 года). В рамках технологических завтраков состоится вторая сессия этой серии. Она будет посвящена последним достижениям в области технологии микрочипов. Микрочипы являются основой современной электроники и вычислительных систем, выполняя такие важные функции, как обработка информации, хранение данных и выполнение инструкций. Эти достижения обладают значительным потенциалом для будущих приложений ИИ, но в равной степени представляют угрозу для международной безопасности, особенно в том, что касается уязвимостей цепочки поставок, двойного назначения технологии и угроз кибербезопасности.

📎Более подробная информация о мероприятии по ссылке.

🌐Онлайн формат: ссылка для подключения будет предоставлена зарегистрированным участникам по электронной почте за день до начала мероприятия.

ℹ️Для участия в мероприятии необходимо зарегистрироваться до 8 июля 2024 г.

#Школа_МИБ #Мероприятия_МИБ #ИКТ #ИИ #микрочипы #ЮНИДИР

🇺🇸 Обновленная Стратегия НАТО по искусственному интеллекту

📄10 июля 2024 г. на официальном ресурсе НАТО было опубликовано резюме обновленной Стратегии по искусственному интеллекту (полная версия документа традиционно не опубликована). Стратегия отражает ряд изменений, внесенных в предыдущую версию документа от октября 2021 г., с учетом технологических прорывов последних лет в области ИИ.

🗣НАТО обеспокоено возможностями применения ИИ, но стремится им обладать.
В обновленном документе указано, что сгенерированный контент может использоваться с целью посеять разногласия и смятение в Альянсе, демобилизовать и деморализовать общества и военные силы во время конфликтов, провести информационные операции с использованием ИИ для оказания влияния на результаты выборов, распространения дезинформации, а также снижения доверия к институтам и властям, имеющим важное значение для Альянса. Однако в то же время Стратегия подчеркивает, что для НАТО жизненно важно как можно скорее использовать ИИ-технологии там, где это возможно.

🗣НАТО будет стремиться влиять на разработку международных норм по ИИ. В версии 2021 г. были представлены «Принципы ответственного использования ИИ в обороне», а именно «законность, ответственность и подотчетность, объяснимость и прослеживаемость, надежность, управляемость и смягчение предвзятости». Новая версия гласит, что НАТО должно оставаться сторонником ответственного применения ИИ путем применения своих ресурсов с целью оказания влияния на международные нормы и стандарты.

🗣Альянс будет способствовать совместимости систем ИИ стран-членов. Отмечается, что ИИ-технологии будут интегрированы в процесс планирования обороны НАТО. В рамках достижения данной цели Альянс будет предпринимать меры, направленные на оперативную совместимость систем ИИ всех стран-членов. Также будут приняты меры по решению проблемы конвергенции ИИ и других новых прорывных технологий.

🗣Важным приоритетом для НАТО станет обеспечение безопасности систем ИИ. Профильные структуры НАТО планируют привлекать квалифицированных тестировщиков из частного сектора, госорганов и научных учреждений для аккредитации и сертификации систем ИИ. НАТО также намерено принять общие для Альянса методы тестирования, оценки, верификации и валидации ИИ (TEV&V), применяемые в Катализаторе оборонных инноваций для Северной Атлантики (Defence Innovation Accelerator for the North Atlantic (DIANA).

👀 Обращает на себя внимание, что обновленная стратегия стремится не только учесть технологические прорывы в области ИИ, но также навязать странам НАТО англо-американский подход к проблеме регулирования и стандартизации ИИ. Данный нарратив, в частности, коррелирует с подходом, предложенным главным научным советником НАТО Б. Уэлшем по созданию сборника передовых практик использования цифровых технологий, основанного на опыте США и Великобритании. Помимо этого, Стратегия во многом соотносится с намерениями США по дальнейшему изучению применения автономных и управляемых ИИ кибервозможностей, что было заявлено в Киберстратегии министерства обороны США в 2023 г.

🖋Школа МИБ представляет авторский перевод резюме Стратегии НАТО по ИИ на русский язык.

#Школа_МИБ #Новости_МИБ #НАТО #ИИ #Искусственный_интеллект

🇪🇺 Европейским парламентом формируется межкомитетская рабочая группа по мониторингу введения Закона об ИИ

💬Напомним, что Закон об искусственном интеллекте (AI Act) был окончательно одобрен Советом ЕС 21 мая 2024 г. Закон является частью более широкого пакета мер по поддержке развития заслуживающего доверия ИИ, который также включает Пакет инноваций в области ИИ (AI Innovation Package) и Скоординированный план по ИИ (Coordinated Plan on AI).

👥Совместная рабочая группа создаётся на базе двух парламентских комитетов - по вопросам внутреннего рынка и защите прав потребителей (IMCO) и по гражданским свободам, правосудию и внутренним делам (LIBE). При этом подробности по организационной структуре и функциональных обязанностях новой Рабочей группы должны быть обнародованы в конце лета 2024 г.

⚙Подобная практика является логическим продолжением стремления депутатов Европейского парламента более тесно участвовать в процессе технологического регулирования ЕС. Так, при других комитетах уже существуют аналогичные профильные структуры, отвечающие за внедрение и реализацию положений Закона о цифровых услугах и Закона о цифровых рынках. 

#Школа_МИБ #Новости_МИБ #ЕС #ИИ #Искусственный_интеллект

📄23 июля 2024 года Управление по коммуникациям Великобритании (Ofcom) опубликовало дискуссионный документ под названием «Red Teaming for GenAI Harms», в котором обсуждается применение подхода «red teaming» в качестве метода оценки в рамках поиска уязвимостей в моделях генеративного искусственного интеллекта с целью защиты пользователей от вредоносного контента.

🛡Данный подход представляет собой проведение «атаки» на модель с помощью ряда промптов с целью получения информации о возможной генерации запрещенного контента. В документе подчеркивается, что red teaming представляет собой оценочный процесс, структурированный в четыре основных этапа:
1️⃣ создание команды и постановка четких задач;
2️⃣ подача в тестируемую модель ИИ ряда промптов для проведения атаки;
3️⃣ анализ выходных данных с целью определить, какие атаки приводят к генерации вредоносного контента;
4️⃣ принятие определенных мер по результатам исследования.

🗣Однако в документе отмечается, что у red teaming есть несколько недостатков, в частности:
🔴red teaming затруднительно применить в отношении видео-, аудио- и мультимодальных моделей, которые создают сложный для анализа разнообразный контент;
🔴неопытные операторы могут пропустить вредоносный контент, а автоматические классификаторы могут допускать неточности;
🔴red teaming не полностью воспроизводит реальные условия использования ИИ, поскольку проводится в контролируемых условиях;
🔴полученные в результате использования разных моделей итоги тестирования различных команд сложны для проведения сравнительного анализа.

«Однако, несмотря на широкий интерес к red teaming, на данный момент отсутствует четкий консенсус относительно его сильных и слабых сторон, порядка проведения, необходимых навыков и ресурсов, а также конкретных конечных результатов исследования. Без ответов на эти вопросы тем, кто использует GenAI, сложно понять, как именно и следует ли вообще проводить свою собственную red teaming», − подчеркивают авторы документа.


#Школа_МИБ #Новости_МИБ #ИИ #информационная_безопасность

🇭🇰 Гонконг: рамочная программа конфиденциальности персональных данных для внедрения ИИ

📁 Управление Уполномоченного по конфиденциальности персональных данных опубликовало рамочную программу «Искусственный интеллект: модель системы защиты персональных данных». Рамочная программа ИИ направлена на предоставление практических рекомендаций организациям при внедрении сторонних систем ИИ в соответствии с Постановлением о персональных данных. Новая Рамочная программа ИИ опирается на Руководство 2021 г. по этическому развитию и использованию искусственного интеллекта, смещая внимание с организаций, разрабатывающих собственные модели искусственного интеллекта, на организации, закупающие и внедряющие такие решения.

📌 Рамочная программа ИИ позиционируется как первая всеобъемлющая основа в Азиатско-Тихоокеанском регионе по внедрению ИИ с точки зрения конфиденциальности персональных данных. В то же время Рамочная программа ИИ будет способствовать превращению Гонконга в инновационно-технологический центр и будет способствовать развитию цифровой экономики в районе Большого залива.

📝Согласно Рамочной программе организациям следует рассмотреть возможность принятия следующих мер:
⏺️провести аудит ИИ;
⏺️улучшить управление данными;
⏺️разработать комплексную политику для ИИ;
⏺️подготовиться к настройке системы ИИ;
⏺️инвестировать в обучение сотрудников в области ИИ;
⏺️улучшить взаимодействие с заинтересованными сторонами;
⏺️внедрить надежный мониторинг;
⏺️подготовиться к инцидентам.

#Школа_МИБ #Новости_МИБ #ИИ #Искусственный_интеллект

🇺🇳Консультативный орган по ИИ представил доклад «Управление ИИ в интересах человечества»

📄В своем докладе Консультативный орган высокого уровня по ИИ опубликовала семь рекомендаций по рассмотрению и управлению рисками, связанными с искусственным интеллектом.

🌎В документе содержится призыв к ООН заложить основы для первой «глобально инклюзивной и распределенной архитектуры управления ИИ на основе международного сотрудничества», а также предложение к правительствам и заинтересованным сторонам работать вместе в управлении ИИ для содействия развитию и защите прав человека.

🔔Консультативный орган также отметил отсутствие глобальной структуры для управления ИИ и наличие пробелов между странами в регулировании новых технологий и в связи с этим выдвинул семь рекомендаций по глобальному управлению ИИ.

1️⃣Создание международной научной группы по ИИ: данная группа, как заявляется, будет стремиться предоставлять беспристрастные, надежные научные знания об ИИ, а также устранять пробелы в знаниях и выпускать ежегодные отчеты о тенденциях, возможностях и рисках ИИ.
2️⃣Новый политический диалог по управлению ИИ: новый диалог под эгидой ООН будет включать межправительственные и многосторонние встречи для содействия достижению общей позиции и нормативной совместимости, основанной на правах человека. Проводить его рекомендуется два раза в год.
3️⃣Обмен стандартами ИИ: рекомендуется создать центр обмена стандартами ИИ, который объединял бы представителей национальных и международных организаций, занимающихся разработкой стандартов, технологических компаний, гражданского общества и представителей международной научной группы.
4️⃣Глобальная сеть по наращиванию потенциала: предлагается создать сеть для наращивания потенциала в области ИИ, которая объединила бы ряд сотрудничающих центров наращивания потенциала, связанных с ООН, и предоставила бы ключевым участникам экспертные знания, вычислительную технику и данные для обучения ИИ.
5️⃣Глобальный фонд для ИИ: усилия данного фонда предполагается направить на устранение пробелов в потенциале и сотрудничестве, расширяя возможности местных усилий для достижения целей устойчивого развития.
6️⃣Глобальная система данных ИИ: предлагается проведение стандартизации определений, принципов и управления, связанных с данными, обеспечивая прозрачность и подотчетность в системах ИИ.
7️⃣ Офис ИИ: предлагается учредить подразделение по вопросам ИИ в Секретариате ООН для поддержки и координации реализации вышеуказанных предложений.

❔Доклад Консультативного органа позиционируется как дорожная карта для управлению ИИ на благо всего человечества. Тем не менее, документ имеет как однозначно позитивные пункты, направленные на развитие международного сотрудничества в области ИИ, так и пункты вызывающие сомнения.

#Школа_МИБ #ООН #ИИ

💡Делимся с вами комментариями и предложениями Школы МИБ по докладу Консультативного органа по ИИ «Управление ИИ в интересах человечества». Материалы были направлены в Канцелярию посланника Генерального секретаря ООН по вопросам технологий в ходе сбора мнений.

#Школа_МИБ #ООН #ИИ

⬇️⬇️⬇️

🇺🇸 В США назвали наиболее серьезные угрозы для грядущих президентских выборов. Часть 2

4️⃣ Использование генеративного ИИ. Особое внимание в отчете посвящено злонамеренному применению ИИ − данная технология активно применяется злоумышленниками для генерации поддельного, но правдоподобного контента, который служит для манипуляции общественным мнением. С помощью таких платформ, как ChatGPT, создаются фишинговые письма и даже программное обеспечение для взлома, что облегчает задачу для менее опытных злоумышленников и увеличивает общий объем киберугроз. Также аналитики отметили случаи использования голосового клонирования в рамках проведения телефонного мошенничества, направленного на подрыв доверия к официальной информации о выборах.

5️⃣ Физические угрозы и насилие в отношении работников. Согласно отчету, около 38% сотрудников избирательных комиссий подвергались угрозам или непосредственному физическому воздействию, включая т.н. «сваттинг» (намеренный ложный вызов «специальных подразделений полиции» в адрес жертвы) и отправку подозрительных писем с порошками. Кроме того, ложные нарративы о «недостоверности» выборов направлены на психологическое запугивание и дестабилизацию работы избирательных служб.

6️⃣ DVEs и кибератаки. В отдельную категорию угроз аналитики отнесли внутренних радикальных экстремистов (DVEs), а также направленные на критическую инфраструктуру кибератаки. Угрозы насилия и саботажа инфраструктуры со стороны экстремистов могут быть направлены на подрыв работы правительственных объектов, мест для голосования, штабов политических партий и иных объектов, связанных с подсчетом голосов. Кроме того, критическая инфраструктура, включая такие каналы связи, как оптоволоконные кабели, а также объекты электроснабжения, может стать целью для атак, направленных на создание паники и дестабилизацию избирательного процесса.

❔В заключении документа отмечается, что по итогу выборов аналитики ожидают дальнейшего усиления политической поляризации и обострения напряженности, что может привести к демонстрациям и вспышкам насилия. Согласно отчету, кибератаки и операции по дезинформации будут продолжаться с «целью усиления общественного недовольства и подрыва доверия к демократическим процессам», что потребует от правительственных и частных организаций готовности к управлению рисками, связанными с сочетанием информационного и физического воздействия.

#ШколаМИБ #CIS #США #кибербезопасность #ИИ

🇺🇸 В США представили прогноз об угрозах в киберсфере на 2025 год

🌐 Эксперты Google и Mandiant представили документ Cybersecurity Forecast 2025, посвященный анализу и прогнозированию ключевых тенденций и угроз в сфере кибербезопасности на ближайший год. Как отмечают авторы, в 2025 году правительство США продолжит оставаться объектом интереса со стороны "кибершпионажа, спонсируемого государствами" , которые, вероятно, намерены воспользоваться сменой администрации для получения стратегического преимущества.

👺 В частности, документ особо акцентирует внимание на роли геополитических факторов как катализаторов киберактивности. Так, американские исследователи традиционно называют «большую четверку» − Россию, Китай, Иран и Северную Корею − основными источниками киберугроз в рамках достижения своих геостратегических целей. По мнению Google и Mandiant, российские кибератаки направлены против Украины и стран НАТО, в то время как Китай демонстрирует высокую активность в использовании нулевых уязвимостей, скрытых сетей и информационных операций, направленных на дискредитацию целей. В свою очередь, Северная Корея сосредоточена на кражах криптовалют и социальной инженерии, а Иран продолжает поддерживать региональную напряженность с помощью атак на государственные и телекоммуникационные системы.

🤖 В то же время одной из центральных тем исследования является влияние искусственного интеллекта на формирование киберугроз и возможностей защиты. Согласно прогнозам авторов доклада, кибербезопасность в 2025 году претерпит значительные изменения, вызванные как технологическим прогрессом, особенно в области искусственного интеллекта, так и постоянной активностью злонамеренных акторов, которые активно осваивают потенциал больших языковых моделей для масштабирования атак, включая фишинг, создание deepfake-контента и эксплойты для обхода защитных систем. Отдельно отмечается, что генеративный искусственный интеллект все чаще используется в информационных операциях для создания дезинформации и ложных идентичностей, что существенно увеличивает масштабы атак.

🦠 Важным аспектом отчета является анализ глобальных угроз, в котором особое внимание уделяется использованию вредоносного ПО для кражи данных и программ-вымогателей, которые становятся все более опасными благодаря их способности обходить современные средства обнаружения и защиты. Кроме того, отчет указывает на рост активности менее квалифицированных злоумышленников, получающих доступ к профессиональным инструментам через сервисы «как услуга» − такая демократизация кибервозможностей значительно усложняет задачи обеспечения безопасности для организаций.

🛡 Наконец, с развитием квантовых технологий появляется риск взлома традиционных шифров, поэтому эксперты считают, что организациям необходимо переходить к квантово-устойчивым стандартам шифрования, разработанным Национальным институтом стандартов и технологий (NIST). Кроме того, организациям предстоит адаптироваться к новым вызовам через внедрение облачных и автоматизированных решений, усиление контроля за идентификацией пользователей и подготовку к долгосрочным изменениям в криптографии.

#ШколаМИБ #Google #Mandiant #США #кибербезопасность #ИИ

🤖 Опасные возможности ИИ: как уязвимости генеративных моделей становятся инструментом угроз

📄Школа международной информационной безопасности ДА МИД России рада представить своим читателям опубликованный на портале по информационной безопасности SecurityLab краткий вариант проведенного совместно с Координационным центром доменов .RU / .РФ исследования на тему анализа методов генерации деструктивного контента современными моделями искусственного интеллекта общего назначения.

👩‍💻 Данный материал посвящен изучению обнаруженных экспертами уязвимостей в виде промпт-инъекций с использованием HTML-тегов в ИИ-продуктах таких отечественных и зарубежных IT-компаний, как SberAI, Yandex и OpenAI. В результате применения данного метода авторам удалось сгенерировать не только текстовую, но и графическую информацию вредоносного содержания, а также обнаружить факт предвзятости в отношении влиятельных политических фигур.

🛡 Таким образом, стоит отметить, что современные генеративные модели по-прежнему остаются уязвимыми для изощренных промпт-атак, что представляет потенциальную опасность в контексте генерации вредоносного контента и его дальнейшего использования в злонамеренных целях. Охватывая классическую триаду угроз международной информационной безопасности, результаты генерации свидетельствуют о существующей тенденции к значительному возрастанию функциональности и, как следствие, негативного потенциала ИИ с течением времени, отражая двойственную природу данной технологии.

⚠️ Авторы призывают к ответственному использованию ИИ и выражают благодарность компаниям-разработчикам за своевременную обратную связь.

#ШколаМИБ #SberAI #Yandex #OpenAI #информационная_безопасность #ИИ

🌏 Доклад ЮНКТАД о технологиях и инновациях за 2025 год

Конференция ООН по торговле и развитию (ЮНКТАД) представила ежегодный доклад, центральной темой которого в 2025 году стал «Инклюзивный искусственный интеллект для развития». В центре внимания — вызовы и перспективы использования ИИ в целях устойчивого и справедливого глобального роста.

Ожидается, что к 2033 году ИИ станет передовой технологией с наибольшим объемом рынка, на долю которого придется около 4,8 трлн долларов, что составит 30% от общего объема рынка. Однако наряду с быстрым развитием ИИ возрастает и глобальное технологическое неравенство.

Доклад подчеркивает тревожную тенденцию в части растущего неравенства в сфере ИИ: всего 100 компаний, в основном в США и Китае, обеспечивают 40% мировых частных инвестиций в исследования и разработки, что свидетельствует о высокой концентрации ресурсов и возможностей в руках ограниченного круга игроков.

Особое внимание уделено индикатору готовности стран к внедрению передовых технологий, который демонстрирует критическую отсталость многих государств.

Отмечается, что 118 стран, главным образом из Глобального Юга, в настоящее время не принимают участия в международных инициативах и обсуждениях по вопросам ИИ, что грозит их дальнейшей маргинализацией в глобальной цифровой архитектуре.

В качестве ответа на эти вызовы ЮНКТАД предлагает, помимо прочего: разработку национальных стратегий по ИИ с учётом принципов инклюзивности и устойчивости; создание глобального механизма, обеспечивающего равный доступ стран к вычислительным мощностям, данным и инструментам ИИ; укрепление международного сотрудничества в области ИИ, включая более активную роль ООН в глобальной дискуссии и формировании норм.

Доклад подчёркивает необходимости срочных и скоординированных действий, чтобы искусственный интеллект стал инструментом устойчивого развития, а не фактором усиления глобального технологического разрыва.

#Школа_МИБ #ИИ #ООН #ЮНКТАД #аналитика