Школа МИБ
1.09K subscribers
555 photos
10 videos
60 files
376 links
Школа международной информационной безопасности Института актуальных международных проблем Дипломатической академии МИД России (Школа МИБ).

Наша страница ВКонтакте https://vk.com/iis_school

По вопросам сотрудничества: [email protected]
加入频道
🧠 Дипломатическая академия МИД России: учебник и доклад по ИИ

Продолжаем рубрику #ЧтоПочитать_МИБ на этот раз по тематике ИИ.

1. В свет вышел учебник «Международная безопасность в эпоху искусственного интеллекта», презентованный 5 июня 2024 г. в ходе круглого стола «Роль искусственного интеллекта в формировании общества будущего».

В первом томе рассматриваются теоретические и практические аспекты истории и развития технологий искусственного интеллекта в контексте международной безопасности. Второй том представляет собой сборник документов, регулирующих международные отношения в сфере искусственного интеллекта.

Это первое своем роде издание, которое освещает весь комплекс проблем, связанных с эволюцией международных отношений в свете развития цифровых технологий. В нем представлены мегатренды развития искусственного интеллекта, а также перспективы его внедрения в сфере международных отношений и национальной безопасности.


ℹ️ Международная безопасность в эпоху искусственного интеллекта. Учебник для вузов: в 2-х т. / Под ред. М.В.Захаровой, А.И.Смирнова. — М.: Издательство «Аспект Пресс», 2024.— 400 с. ISBN 978-5-7567-1319-0. Издание подготовлено при поддержке НАМИБ. Авторский коллектив: Алборова М.Б., Гриняев С.Н., Исаева Т.В., Карасев П.А., Карасева Д.М., Котлюхина И.Н., Малинецкий Г.Г., Мартиросян А.Ж., Михайлова Е.А., Савченкова М.И., Смирнов А.И., Степовая Д.А., Сурма И.В.


2. Опубликован доклад «Искусственный интеллект и геополитика»

Доклад рассматривает различные аспекты влияния технологий искусственного интеллекта на сферу геополитики, международных отношений и международной безопасности. Авторы документа изучают влияние цифровых технологий на глобальный социум, военную мощь государства, сферу дипломатической деятельности.

Вызовы международной информационно-психологической безопасности, злонамеренное использование дипфейков и политическая стабильность, потенциал и риски применения больших языковых моделей в международных отношениях стали предметом внимательного рассмотрения в представленной работе.

ℹ️ Искусственный интеллект и геополитика, Е. Н. Пашенцев, В. Б. Козюлин; ДА МИД России. – Москва, 2024. ISBN 978-5-6051830-0-6. Рецензент: Зиновьева Е. С. – доктор политических наук, профессор кафедры мировых политических процессов МГИМО МИД России.

#ШколаМИБ #Искусственный_интеллект #ИИ #ЧтоПочитать_МИБ
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🔥31🎉1
🌐 Google представила коалицию по безопасному ИИ

🇺🇸 18 июля на Форуме по безопасности в Аспене Google и партнеры объявили о создании Коалиции по безопасному ИИ (CoSAI). Коалиция, включающая таких участников, как Amazon, IBM, Microsoft, NVIDIA и OpenAI, будет работать под эгидой OASIS Open. Также планируется, что CoSAI будет сотрудничать с организациями, такими как Frontier Model Forum и Partnership on AI, для продвижения ответственного ИИ.

🛡Согласно заявлению Google, в течение года велась интенсивная работа по разработке мер безопасности по снижению рисков ИИ по трем направлениям:
➡️обеспечение безопасного процесса поставок ПО для ИИ;
➡️подготовка специалистов по кибербезопасности к новым угрозам;
➡️управление безопасностью ИИ.

«Мы используем ИИ уже много лет и видим какую пользу он может приносить. Но мы также признаём его возможности, которые могут быть интересы злоумышленникам. CoSAI призвана помочь малым и крупным организациям безопасно и ответственно интегрировать и использовать преимущества ИИ в своих экосистемах, одновременно снизив все потенциально связанные с этим риски», — говорится в заявлении Хизер Адкинс, вице-президента Google по безопасности.


📌 Кроме того, Google продолжит развивать направление по обеспечению безопасности программного обеспечения и цепочки поставок для моделей ИИ, предоставляя рекомендации по оценке происхождения и управлению рисками сторонних моделей. В частности, планируется разработать структуру, способную оказывать поддержку в сложных вопросах безопасности ИИ и масштабировать стратегии смягчения угроз.

#Школа_МИБ #Новости_МИБ #ИИ #Искусственный_интеллект #Google
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥42👍2🤣2
🇺🇸 Обновленная Стратегия НАТО по искусственному интеллекту

📄10 июля 2024 г. на официальном ресурсе НАТО было опубликовано резюме обновленной Стратегии по искусственному интеллекту (полная версия документа традиционно не опубликована). Стратегия отражает ряд изменений, внесенных в предыдущую версию документа от октября 2021 г., с учетом технологических прорывов последних лет в области ИИ.

🗣НАТО обеспокоено возможностями применения ИИ, но стремится им обладать.
В обновленном документе указано, что сгенерированный контент может использоваться с целью посеять разногласия и смятение в Альянсе, демобилизовать и деморализовать общества и военные силы во время конфликтов, провести информационные операции с использованием ИИ для оказания влияния на результаты выборов, распространения дезинформации, а также снижения доверия к институтам и властям, имеющим важное значение для Альянса. Однако в то же время Стратегия подчеркивает, что для НАТО жизненно важно как можно скорее использовать ИИ-технологии там, где это возможно.

🗣НАТО будет стремиться влиять на разработку международных норм по ИИ. В версии 2021 г. были представлены «Принципы ответственного использования ИИ в обороне», а именно «законность, ответственность и подотчетность, объяснимость и прослеживаемость, надежность, управляемость и смягчение предвзятости». Новая версия гласит, что НАТО должно оставаться сторонником ответственного применения ИИ путем применения своих ресурсов с целью оказания влияния на международные нормы и стандарты.

🗣Альянс будет способствовать совместимости систем ИИ стран-членов. Отмечается, что ИИ-технологии будут интегрированы в процесс планирования обороны НАТО. В рамках достижения данной цели Альянс будет предпринимать меры, направленные на оперативную совместимость систем ИИ всех стран-членов. Также будут приняты меры по решению проблемы конвергенции ИИ и других новых прорывных технологий.

🗣Важным приоритетом для НАТО станет обеспечение безопасности систем ИИ. Профильные структуры НАТО планируют привлекать квалифицированных тестировщиков из частного сектора, госорганов и научных учреждений для аккредитации и сертификации систем ИИ. НАТО также намерено принять общие для Альянса методы тестирования, оценки, верификации и валидации ИИ (TEV&V), применяемые в Катализаторе оборонных инноваций для Северной Атлантики (Defence Innovation Accelerator for the North Atlantic (DIANA).

👀 Обращает на себя внимание, что обновленная стратегия стремится не только учесть технологические прорывы в области ИИ, но также навязать странам НАТО англо-американский подход к проблеме регулирования и стандартизации ИИ. Данный нарратив, в частности, коррелирует с подходом, предложенным главным научным советником НАТО Б. Уэлшем по созданию сборника передовых практик использования цифровых технологий, основанного на опыте США и Великобритании. Помимо этого, Стратегия во многом соотносится с намерениями США по дальнейшему изучению применения автономных и управляемых ИИ кибервозможностей, что было заявлено в Киберстратегии министерства обороны США в 2023 г.

🖋Школа МИБ представляет авторский перевод резюме Стратегии НАТО по ИИ на русский язык.

#Школа_МИБ #Новости_МИБ #НАТО #ИИ #Искусственный_интеллект
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11👍431
🇪🇺 Европейским парламентом формируется межкомитетская рабочая группа по мониторингу введения Закона об ИИ

💬Напомним, что Закон об искусственном интеллекте (AI Act) был окончательно одобрен Советом ЕС 21 мая 2024 г. Закон является частью более широкого пакета мер по поддержке развития заслуживающего доверия ИИ, который также включает Пакет инноваций в области ИИ (AI Innovation Package) и Скоординированный план по ИИ (Coordinated Plan on AI).

👥Совместная рабочая группа создаётся на базе двух парламентских комитетов - по вопросам внутреннего рынка и защите прав потребителей (IMCO) и по гражданским свободам, правосудию и внутренним делам (LIBE). При этом подробности по организационной структуре и функциональных обязанностях новой Рабочей группы должны быть обнародованы в конце лета 2024 г.

Подобная практика является логическим продолжением стремления депутатов Европейского парламента более тесно участвовать в процессе технологического регулирования ЕС. Так, при других комитетах уже существуют аналогичные профильные структуры, отвечающие за внедрение и реализацию положений Закона о цифровых услугах и Закона о цифровых рынках. 

#Школа_МИБ #Новости_МИБ #ЕС #ИИ #Искусственный_интеллект
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍21
23 июля 2024 года власти ЕС, США и Великобритании опубликовали совместное заявление о принципах конкуренции в сфере искусственного интеллекта (ИИ).

🧮 Еврокомиссия, Управление по защите конкуренции и рынков Великобритании, а также Федеральная торговая комиссия и Министерство юстиции США всерьез обеспокоены тем, что на фоне быстро развивающихся технологий ИИ, по большей части, в руках частного сектора, у кого-то появляются сильные преимущества, создающие для других участников рынка потенциальные угрозы.

📄 В этой связи были разработаны общие принципы обеспечения справедливой конкуренции:

📍 – «честные сделки» – европейские и американские эксперты считают, что сфера искусственного интеллекта (ИИ) будет развиваться лучше, если куда большее количество компаний будут придерживаться принципа честных сделок;
📍 – «интероперабельность» – по мере возрастания популярности и спроса на технологии искусственного интеллекта (ИИ), конкуренция будет усиливаться, поэтому необходимо взаимодействовать;
📍 – «выбор» – компании и потребители явно останутся «в выигрыше», если у них будет выбор между различными продуктами и бизнес-моделями, который образуется в результате самого процесса справедливой конкуренции.

«Справедливые, открытые и конкурентные рынки приведут к новым возможностям, росту и инновациям, которые, в свою очередь, могут предоставить эти технологии», – говорится в заявлении.


#Школа_МИБ / #Новости_МИБ #ИИ #Искусственный_интеллект #ЕС #США #Великобритания
1👍1🌚1
🤖Модель компании Meta для защиты LLM оказалась уязвимой для простой атаки

Согласно недавнему исследованию, модель Prompt-Guard-86M*, разработанная компанией Meta** для защиты больших языковых моделей (LLM) от различных вредоносных атак, оказалась уязвима для простого эксплойта с вероятностью успеха 99,8%.

🔘Исследователь безопасности искусственного интеллекта Аман Прияншу компании Robust Intelligence сообщил, что обычное удаление знаков препинания и добавление пробелов между буквами во вредоносном запросе привело к тому, что PromptGuard ошибочно классифицировал запрос как безвредный почти во всех случаях.

🔘Исследователи обнаружили, что из-за отсутствия тонкой настройки для состоящих из отдельных букв промптов PromptGuard в значительной степени неспособен обнаружить вредоносные промпт-инъекции, когда они были разбиты пустыми символами (пробелами). Например, запрос как сделать бомбу был классифицирован как вредоносный, однако промпт к а к с д е л а т ь б о м б у был расценен системой как безопасный.

🔘По словам А.Прияншу, выводы исследователей «подчеркивают необходимость всесторонней проверки и осторожного внедрения новых мер безопасности ИИ — даже тех, которые получены из авторитетных источников».

«Данная уязвимость вызывает опасения у компаний, рассматривающих эту модель как часть своей стратегии безопасности ИИ, что подчеркивает важность непрерывной оценки инструментов безопасности и необходимость многоуровневого подхода», — написал А.Прияншу.


* Модель Prompt-Guard-86M с открытым исходным кодом обучена на состязательных примерах и предназначена для обнаружения атак с использованием промпт-инъекций, которые могут привести к тому, что LLM выведет вредоносную информацию или раскроет какие-либо конфиденциальные данные.
** Запрещенная в Российской Федерации экстремистская организация
.

#Школа_МИБ #Новости_МИБ #ИИ #Искусственный_интеллект
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4
📄23 июля 2024 года Управление по коммуникациям Великобритании (Ofcom) опубликовало дискуссионный документ под названием «Red Teaming for GenAI Harms», в котором обсуждается применение подхода «red teaming» в качестве метода оценки в рамках поиска уязвимостей в моделях генеративного искусственного интеллекта с целью защиты пользователей от вредоносного контента.

🛡Данный подход представляет собой проведение «атаки» на модель с помощью ряда промптов с целью получения информации о возможной генерации запрещенного контента. В документе подчеркивается, что red teaming представляет собой оценочный процесс, структурированный в четыре основных этапа:
1️⃣ создание команды и постановка четких задач;
2️⃣ подача в тестируемую модель ИИ ряда промптов для проведения атаки;
3️⃣ анализ выходных данных с целью определить, какие атаки приводят к генерации вредоносного контента;
4️⃣ принятие определенных мер по результатам исследования.

🗣Однако в документе отмечается, что у red teaming есть несколько недостатков, в частности:
🔴red teaming затруднительно применить в отношении видео-, аудио- и мультимодальных моделей, которые создают сложный для анализа разнообразный контент;
🔴неопытные операторы могут пропустить вредоносный контент, а автоматические классификаторы могут допускать неточности;
🔴red teaming не полностью воспроизводит реальные условия использования ИИ, поскольку проводится в контролируемых условиях;
🔴полученные в результате использования разных моделей итоги тестирования различных команд сложны для проведения сравнительного анализа.

«Однако, несмотря на широкий интерес к red teaming, на данный момент отсутствует четкий консенсус относительно его сильных и слабых сторон, порядка проведения, необходимых навыков и ресурсов, а также конкретных конечных результатов исследования. Без ответов на эти вопросы тем, кто использует GenAI, сложно понять, как именно и следует ли вообще проводить свою собственную red teaming», − подчеркивают авторы документа.


#Школа_МИБ #Новости_МИБ #ИИ #информационная_безопасность
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21
🇭🇰 Гонконг: рамочная программа конфиденциальности персональных данных для внедрения ИИ

📁 Управление Уполномоченного по конфиденциальности персональных данных опубликовало рамочную программу «Искусственный интеллект: модель системы защиты персональных данных». Рамочная программа ИИ направлена на предоставление практических рекомендаций организациям при внедрении сторонних систем ИИ в соответствии с Постановлением о персональных данных. Новая Рамочная программа ИИ опирается на Руководство 2021 г. по этическому развитию и использованию искусственного интеллекта, смещая внимание с организаций, разрабатывающих собственные модели искусственного интеллекта, на организации, закупающие и внедряющие такие решения.

📌 Рамочная программа ИИ позиционируется как первая всеобъемлющая основа в Азиатско-Тихоокеанском регионе по внедрению ИИ с точки зрения конфиденциальности персональных данных. В то же время Рамочная программа ИИ будет способствовать превращению Гонконга в инновационно-технологический центр и будет способствовать развитию цифровой экономики в районе Большого залива.

📝Согласно Рамочной программе организациям следует рассмотреть возможность принятия следующих мер:
⏺️провести аудит ИИ;
⏺️улучшить управление данными;
⏺️разработать комплексную политику для ИИ;
⏺️подготовиться к настройке системы ИИ;
⏺️инвестировать в обучение сотрудников в области ИИ;
⏺️улучшить взаимодействие с заинтересованными сторонами;
⏺️внедрить надежный мониторинг;
⏺️подготовиться к инцидентам.

#Школа_МИБ #Новости_МИБ #ИИ #Искусственный_интеллект
Please open Telegram to view this post
VIEW IN TELEGRAM
1
🇺🇳Консультативный орган по ИИ представил доклад «Управление ИИ в интересах человечества»

📄В своем докладе Консультативный орган высокого уровня по ИИ опубликовала семь рекомендаций по рассмотрению и управлению рисками, связанными с искусственным интеллектом.

🌎В документе содержится призыв к ООН заложить основы для первой «глобально инклюзивной и распределенной архитектуры управления ИИ на основе международного сотрудничества», а также предложение к правительствам и заинтересованным сторонам работать вместе в управлении ИИ для содействия развитию и защите прав человека.

🔔Консультативный орган также отметил отсутствие глобальной структуры для управления ИИ и наличие пробелов между странами в регулировании новых технологий и в связи с этим выдвинул семь рекомендаций по глобальному управлению ИИ.

1️⃣Создание международной научной группы по ИИ: данная группа, как заявляется, будет стремиться предоставлять беспристрастные, надежные научные знания об ИИ, а также устранять пробелы в знаниях и выпускать ежегодные отчеты о тенденциях, возможностях и рисках ИИ.
2️⃣Новый политический диалог по управлению ИИ: новый диалог под эгидой ООН будет включать межправительственные и многосторонние встречи для содействия достижению общей позиции и нормативной совместимости, основанной на правах человека. Проводить его рекомендуется два раза в год.
3️⃣Обмен стандартами ИИ: рекомендуется создать центр обмена стандартами ИИ, который объединял бы представителей национальных и международных организаций, занимающихся разработкой стандартов, технологических компаний, гражданского общества и представителей международной научной группы.
4️⃣Глобальная сеть по наращиванию потенциала: предлагается создать сеть для наращивания потенциала в области ИИ, которая объединила бы ряд сотрудничающих центров наращивания потенциала, связанных с ООН, и предоставила бы ключевым участникам экспертные знания, вычислительную технику и данные для обучения ИИ.
5️⃣Глобальный фонд для ИИ: усилия данного фонда предполагается направить на устранение пробелов в потенциале и сотрудничестве, расширяя возможности местных усилий для достижения целей устойчивого развития.
6️⃣Глобальная система данных ИИ: предлагается проведение стандартизации определений, принципов и управления, связанных с данными, обеспечивая прозрачность и подотчетность в системах ИИ.
7️⃣ Офис ИИ: предлагается учредить подразделение по вопросам ИИ в Секретариате ООН для поддержки и координации реализации вышеуказанных предложений.

Доклад Консультативного органа позиционируется как дорожная карта для управлению ИИ на благо всего человечества. Тем не менее, документ имеет как однозначно позитивные пункты, направленные на развитие международного сотрудничества в области ИИ, так и пункты вызывающие сомнения.

#Школа_МИБ #ООН #ИИ
Please open Telegram to view this post
VIEW IN TELEGRAM
👍72
💡Делимся с вами комментариями и предложениями Школы МИБ по докладу Консультативного органа по ИИ «Управление ИИ в интересах человечества». Материалы были направлены в Канцелярию посланника Генерального секретаря ООН по вопросам технологий в ходе сбора мнений.

#Школа_МИБ #ООН #ИИ

⬇️⬇️⬇️
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍2
🇺🇸 В США назвали наиболее серьезные угрозы для грядущих президентских выборов. Часть 2

4️⃣ Использование генеративного ИИ. Особое внимание в отчете посвящено злонамеренному применению ИИ − данная технология активно применяется злоумышленниками для генерации поддельного, но правдоподобного контента, который служит для манипуляции общественным мнением. С помощью таких платформ, как ChatGPT, создаются фишинговые письма и даже программное обеспечение для взлома, что облегчает задачу для менее опытных злоумышленников и увеличивает общий объем киберугроз. Также аналитики отметили случаи использования голосового клонирования в рамках проведения телефонного мошенничества, направленного на подрыв доверия к официальной информации о выборах.

5️⃣ Физические угрозы и насилие в отношении работников. Согласно отчету, около 38% сотрудников избирательных комиссий подвергались угрозам или непосредственному физическому воздействию, включая т.н. «сваттинг» (намеренный ложный вызов «специальных подразделений полиции» в адрес жертвы) и отправку подозрительных писем с порошками. Кроме того, ложные нарративы о «недостоверности» выборов направлены на психологическое запугивание и дестабилизацию работы избирательных служб.

6️⃣ DVEs и кибератаки. В отдельную категорию угроз аналитики отнесли внутренних радикальных экстремистов (DVEs), а также направленные на критическую инфраструктуру кибератаки. Угрозы насилия и саботажа инфраструктуры со стороны экстремистов могут быть направлены на подрыв работы правительственных объектов, мест для голосования, штабов политических партий и иных объектов, связанных с подсчетом голосов. Кроме того, критическая инфраструктура, включая такие каналы связи, как оптоволоконные кабели, а также объекты электроснабжения, может стать целью для атак, направленных на создание паники и дестабилизацию избирательного процесса.

В заключении документа отмечается, что по итогу выборов аналитики ожидают дальнейшего усиления политической поляризации и обострения напряженности, что может привести к демонстрациям и вспышкам насилия. Согласно отчету, кибератаки и операции по дезинформации будут продолжаться с «целью усиления общественного недовольства и подрыва доверия к демократическим процессам», что потребует от правительственных и частных организаций готовности к управлению рисками, связанными с сочетанием информационного и физического воздействия.

#ШколаМИБ #CIS #США #кибербезопасность #ИИ
Please open Telegram to view this post
VIEW IN TELEGRAM
71👍1
🇺🇸 В США представили прогноз об угрозах в киберсфере на 2025 год

🌐 Эксперты Google и Mandiant представили документ Cybersecurity Forecast 2025, посвященный анализу и прогнозированию ключевых тенденций и угроз в сфере кибербезопасности на ближайший год. Как отмечают авторы, в 2025 году правительство США продолжит оставаться объектом интереса со стороны "кибершпионажа, спонсируемого государствами" , которые, вероятно, намерены воспользоваться сменой администрации для получения стратегического преимущества.

👺 В частности, документ особо акцентирует внимание на роли геополитических факторов как катализаторов киберактивности. Так, американские исследователи традиционно называют «большую четверку» − Россию, Китай, Иран и Северную Корею − основными источниками киберугроз в рамках достижения своих геостратегических целей. По мнению Google и Mandiant, российские кибератаки направлены против Украины и стран НАТО, в то время как Китай демонстрирует высокую активность в использовании нулевых уязвимостей, скрытых сетей и информационных операций, направленных на дискредитацию целей. В свою очередь, Северная Корея сосредоточена на кражах криптовалют и социальной инженерии, а Иран продолжает поддерживать региональную напряженность с помощью атак на государственные и телекоммуникационные системы.

🤖 В то же время одной из центральных тем исследования является влияние искусственного интеллекта на формирование киберугроз и возможностей защиты. Согласно прогнозам авторов доклада, кибербезопасность в 2025 году претерпит значительные изменения, вызванные как технологическим прогрессом, особенно в области искусственного интеллекта, так и постоянной активностью злонамеренных акторов, которые активно осваивают потенциал больших языковых моделей для масштабирования атак, включая фишинг, создание deepfake-контента и эксплойты для обхода защитных систем. Отдельно отмечается, что генеративный искусственный интеллект все чаще используется в информационных операциях для создания дезинформации и ложных идентичностей, что существенно увеличивает масштабы атак.

🦠 Важным аспектом отчета является анализ глобальных угроз, в котором особое внимание уделяется использованию вредоносного ПО для кражи данных и программ-вымогателей, которые становятся все более опасными благодаря их способности обходить современные средства обнаружения и защиты. Кроме того, отчет указывает на рост активности менее квалифицированных злоумышленников, получающих доступ к профессиональным инструментам через сервисы «как услуга» − такая демократизация кибервозможностей значительно усложняет задачи обеспечения безопасности для организаций.

🛡 Наконец, с развитием квантовых технологий появляется риск взлома традиционных шифров, поэтому эксперты считают, что организациям необходимо переходить к квантово-устойчивым стандартам шифрования, разработанным Национальным институтом стандартов и технологий (NIST). Кроме того, организациям предстоит адаптироваться к новым вызовам через внедрение облачных и автоматизированных решений, усиление контроля за идентификацией пользователей и подготовку к долгосрочным изменениям в криптографии.

#ШколаМИБ #Google #Mandiant #США #кибербезопасность #ИИ
Please open Telegram to view this post
VIEW IN TELEGRAM
👍642
🤖 Опасные возможности ИИ: как уязвимости генеративных моделей становятся инструментом угроз

📄Школа международной информационной безопасности ДА МИД России рада представить своим читателям опубликованный на портале по информационной безопасности SecurityLab краткий вариант проведенного совместно с Координационным центром доменов .RU / .РФ исследования на тему анализа методов генерации деструктивного контента современными моделями искусственного интеллекта общего назначения.

👩‍💻 Данный материал посвящен изучению обнаруженных экспертами уязвимостей в виде промпт-инъекций с использованием HTML-тегов в ИИ-продуктах таких отечественных и зарубежных IT-компаний, как SberAI, Yandex и OpenAI. В результате применения данного метода авторам удалось сгенерировать не только текстовую, но и графическую информацию вредоносного содержания, а также обнаружить факт предвзятости в отношении влиятельных политических фигур.

🛡 Таким образом, стоит отметить, что современные генеративные модели по-прежнему остаются уязвимыми для изощренных промпт-атак, что представляет потенциальную опасность в контексте генерации вредоносного контента и его дальнейшего использования в злонамеренных целях. Охватывая классическую триаду угроз международной информационной безопасности, результаты генерации свидетельствуют о существующей тенденции к значительному возрастанию функциональности и, как следствие, негативного потенциала ИИ с течением времени, отражая двойственную природу данной технологии.

⚠️ Авторы призывают к ответственному использованию ИИ и выражают благодарность компаниям-разработчикам за своевременную обратную связь.

#ШколаМИБ #SberAI #Yandex #OpenAI #информационная_безопасность #ИИ
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9🔥32
🇺🇸 Законопроект США S.1633: система тестирования и оценки надежности ИИ

7 мая сенаторы США внесли на рассмотрение законопроект S.1633, направленный на расширение возможностей федерального правительства по тестированию и оценке систем ИИ.

Законопроект предписывает Национальному институту стандартов и технологий (NIST) и Министерству энергетики сотрудничество в рамках пилотной программы оценки ИИ-систем.

«Искусственный интеллект проник во все отрасли нашей страны и стимулировал инновации, но мы не можем игнорировать связанные с ним уязвимости и риски. Законопроект устраняет эти недостатки посредством создания государственной системы оценки и тестирования ИИ», — заявил сенатор Бен Рэй Лухан.


Как заявляется, законопроект направлен на обеспечение надежности и безопасности систем искусственного интеллекта, используемых федеральными агентствами, и устанавливает национальные стандарты оценки ИИ. Согласно документу, также планируется создание рабочей группы по тестированию ИИ и расширение государственно-частного партнерства в области ИИ.

#ШколаМИБ #ИИ #США
Please open Telegram to view this post
VIEW IN TELEGRAM
👍82
Technology and Innovation Report 2025.pdf
10.4 MB
🌏 Доклад ЮНКТАД о технологиях и инновациях за 2025 год

Конференция ООН по торговле и развитию (ЮНКТАД) представила ежегодный доклад, центральной темой которого в 2025 году стал «Инклюзивный искусственный интеллект для развития». В центре внимания — вызовы и перспективы использования ИИ в целях устойчивого и справедливого глобального роста.

Ожидается, что к 2033 году ИИ станет передовой технологией с наибольшим объемом рынка, на долю которого придется около 4,8 трлн долларов, что составит 30% от общего объема рынка. Однако наряду с быстрым развитием ИИ возрастает и глобальное технологическое неравенство.

Доклад подчеркивает тревожную тенденцию в части растущего неравенства в сфере ИИ: всего 100 компаний, в основном в США и Китае, обеспечивают 40% мировых частных инвестиций в исследования и разработки, что свидетельствует о высокой концентрации ресурсов и возможностей в руках ограниченного круга игроков.

Особое внимание уделено индикатору готовности стран к внедрению передовых технологий, который демонстрирует критическую отсталость многих государств.

Отмечается, что 118 стран, главным образом из Глобального Юга, в настоящее время не принимают участия в международных инициативах и обсуждениях по вопросам ИИ, что грозит их дальнейшей маргинализацией в глобальной цифровой архитектуре.

В качестве ответа на эти вызовы ЮНКТАД предлагает, помимо прочего: разработку национальных стратегий по ИИ с учётом принципов инклюзивности и устойчивости; создание глобального механизма, обеспечивающего равный доступ стран к вычислительным мощностям, данным и инструментам ИИ; укрепление международного сотрудничества в области ИИ, включая более активную роль ООН в глобальной дискуссии и формировании норм.

Доклад подчёркивает необходимости срочных и скоординированных действий, чтобы искусственный интеллект стал инструментом устойчивого развития, а не фактором усиления глобального технологического разрыва.

#Школа_МИБ #ИИ #ООН #ЮНКТАД #аналитика
Please open Telegram to view this post
VIEW IN TELEGRAM
554👍3🆒1
ИИ на службе киберпреступников: к 2026 году 85% атак будут с его использованием

Заместитель председателя правления Сбербанка Станислав Кузнецов на круглом столе «Конвенция ООН против киберпреступности: актуальные вызовы и угрозы» в рамках 34-й сессии Комиссии ООН по предупреждению преступности и уголовному правосудию заявил, что искусственный интеллект стремительно становится главным инструментом киберпреступников.

«В 2026 году 85% атак будут производиться с его использованием. Искусственный интеллект помогает создавать новые вирусы, фишинговые сайты и дипфейки, находить уязвимости. DDoS-атаки, вирусы-вымогатели, трояны - все эти угрозы усиливаются благодаря искусственному интеллекту. Чтобы оставаться на шаг впереди, необходимо применять искусственный интеллект и в инструментах безопасности».


С.Кузнецов также отметил, что основной мотив киберпреступников — финансовая выгода, но растет и роль шпионажа, а также хактивизма, когда атаки используются для привлечения внимания к социальным и политическим проблемам.

Кроме того, эксперт подчеркнул, что масштаб угрозы увеличивается на фоне глобальной цифровизации и международных конфликтов. Только за последний год число кибератак почти удвоилось, и многие компании оказались не готовы к такому росту рисков.

#ШколаМИБ #Новости_ИИ #киберпреступность #ИИ #Сбербанк
42😢1
От кибербезопасности до этики ИИ: самые важные международные события июня 2025

🔵2-4 июня 2025 г. - Парижский киберсаммит: дискуссии будут посвящены киберзащите и новым тенденциям в области киберзащиты, защите сектора здравоохранения, защите критически важных объектов, кибербезопасности ИИ, использованию ИИ в кибербезопасности, готовности ЕС использовать ИИ в кибероперациях, обмену разведданными для обеспечения киберустойчивости, а также иностранному вмешательству и военным действиям в киберпространстве. Полная программа по ссылке.

🔵4-5 июня 2025 г. - Конференция ЮНЕСКО по наращиванию потенциала в области ИИ и цифровой трансформации в государственном секторе в Париже: на мероприятии будут рассмотрены потребности в наращивании потенциала в госсекторе, связанные с ИИ, цифровыми технологиями и управлением данными. Конференция приурочена ко Всемирному дню окружающей среды и поднимет также вопрос роли технологий в развитии экологически устойчивых цифровых экосистем. Регистрация для онлайн участия по ссылке.

🔵5-6 июня 2025 г. - Первый Глобальный цифровой форум в Нижнем Новгороде состоится в рамках ЦИПР: ключевые вопросы - развитие международного сотрудничества в ИТ, преодоление цифрового неравенства, сохранение культурной специфики в глобальных технологиях, изменение профессий в эпоху цифровизации, перспективные технологии, развитие ИИ. Программа по ссылке. На сайте будет доступна прямая трансляция мероприятия.

🔵9-10 июня 2025 г. - неофициальная интерактивная консультация заинтересованных сторон ВВУИО по обзору хода выполнения решений ВВУИО+20: мероприятие проводится в рамках подготовки к заседанию Генеральной Ассамблеи ООН, которое состоится 16-17 декабря 2025 года и будет посвящено обзору итогов Всемирного саммита по информационному обществу. Повестка дня строится вокруг обсуждения, как укрепить глобальное сотрудничество и согласованность в цифровом управлении, оценить эволюцию и достижения WSIS за 20 лет, определить ключевые приоритеты и вызовы сегодняшнего дня, а также наметить пути дальнейшего развития WSIS и реализации Глобального цифрового договора.

🔵9-12 июня 2025 г. - ICANN83 Policy Forum в Праге, направленный на продвижение ключевых политических и консультативных инициатив. В ходе обсуждений также будут рассмотрены более широкие вопросы управления Интернетом, включая подготовку к 20-летнему обзору результатов ВВУИО+20.

🔵10 июня 2025 г. - Заключительный брифинг, посвященный мероприятию высокого уровня ВВУИО+20 в Женеве. Доступна регистрация для онлайн участия.

🔵11-12 июня 2025 г. - День виртуальных миров ООН: мероприятие будет посвящено изучению роли виртуальных миров на базе ИИ в решении глобальных проблем и в достижении целей Пакта о будущем и Глобального цифрового договора. Онлайн регистрация по ссылке.

🔵15-17 июня 2025 г. - Саммит лидеров G7 в Кананаскисе: среди широкой повестки также числится цифровая проблематика.

🔵23-27 июня 2025 г. - юбилейный 20-й Форум ООН по управлению Интернетом в Лиллестрёме: повестка этого года охватывает цифровое доверие и устойчивость, устойчивые и ответственные инновации, всеобщий доступ и цифровые права, а также цифровое сотрудничество. Предварительная программа доступна по ссылке.

🔵24-27 июня 2025 г. - 3-ий Глобальный форум ЮНЕСКО по этике искусственного интеллекта в Бангкоке: будут освещены достижения в области этики ИИ, достигнутые после принятия Рекомендации ЮНЕСКО по этике ИИ от 2021 года, и практические меры для дальнейшего прогресса. Программа доступна по ссылке.

🔵25-27 июня 2025 г. - XVI Международный IT-Форум с участием стран БРИКС и ШОС в Ханты-Мансийске: будут обсуждены актуальные тренды развития цифровой экономики и состоится обмен решениями профессионального ИТ-сообщества стран БРИКС и ШОС, а также других государств.

#ШколаМИБ #ИКТПовестка #ИИ #МероприятияМИБ #МероприятияИИ #МИБ_анонс
Please open Telegram to view this post
VIEW IN TELEGRAM
711
ИИ в документах XVII саммита БРИКС

⚡️ На XVII саммите в Рио-де-Жанейро лидеры БРИКС в ходе пленарного заседания на тему «Мир, безопасность и реформа глобального управления» приняли совместную декларацию «Укрепление сотрудничества Глобального Юга для более инклюзивного и устойчивого управления».

В итоговом документе заседания особое внимание уделено ИИ:

«Мы признаем, что ИИ предоставляет широкие возможности для развития на пути к более справедливому будущему. Мы подчеркиваем, что для достижения этой цели глобальное управление ИИ должно снижать потенциальные риски и учитывать потребности всех стран, включая государства Глобального Юга. Необходимы совместные глобальные усилия для обеспечения управления ИИ, при котором поддерживаются наши общие ценности, учитываются риски, укрепляется доверие и обеспечивается широкое и инклюзивное международное сотрудничество в соответствии с национальными законодательствами, включая наращивание потенциала развивающихся стран при центральной роли ООН».


⚡️ Также была согласована отдельная декларация по глобальному управлению ИИ, «призванная содействовать ответственному развитию, внедрению и использованию технологий ИИ для устойчивого развития и инклюзивного роста, в соответствии с национальными нормативными рамками, Уставом ООН и при уважении суверенитета государств».

В документе лидеры объединения подтвердили право всех государств на равный доступ к преимуществам цифровой экономики и новым технологиям, а также на формирование собственных нормативных основ для обеспечения технологической независимости и стимулирования инноваций.

Согласно декларации, страны БРИКС намерены сформировать единую позицию и активизировать участие в глобальном диалоге по вопросам управления ИИ под эгидой ООН.

#ШколаМИБ #Новости_ИИ #ИИ #БРИКС
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥521