🤖 Опасные возможности ИИ: как уязвимости генеративных моделей становятся инструментом угроз

📄Школа международной информационной безопасности ДА МИД России рада представить своим читателям опубликованный на портале по информационной безопасности SecurityLab краткий вариант проведенного совместно с Координационным центром доменов .RU / .РФ исследования на тему анализа методов генерации деструктивного контента современными моделями искусственного интеллекта общего назначения.

👩‍💻 Данный материал посвящен изучению обнаруженных экспертами уязвимостей в виде промпт-инъекций с использованием HTML-тегов в ИИ-продуктах таких отечественных и зарубежных IT-компаний, как SberAI, Yandex и OpenAI. В результате применения данного метода авторам удалось сгенерировать не только текстовую, но и графическую информацию вредоносного содержания, а также обнаружить факт предвзятости в отношении влиятельных политических фигур.

🛡 Таким образом, стоит отметить, что современные генеративные модели по-прежнему остаются уязвимыми для изощренных промпт-атак, что представляет потенциальную опасность в контексте генерации вредоносного контента и его дальнейшего использования в злонамеренных целях. Охватывая классическую триаду угроз международной информационной безопасности, результаты генерации свидетельствуют о существующей тенденции к значительному возрастанию функциональности и, как следствие, негативного потенциала ИИ с течением времени, отражая двойственную природу данной технологии.

⚠️ Авторы призывают к ответственному использованию ИИ и выражают благодарность компаниям-разработчикам за своевременную обратную связь.

#ШколаМИБ #SberAI #Yandex #OpenAI #информационная_безопасность #ИИ