Forwarded from OnHex
🔴 محققای Trail of Bits یک روش حمله ی جدیدی رو پیاده سازی کردن که از طریق تزریق پرامپتهای مخرب در تصاویر پردازش شده توسط سیستمهای هوش مصنوعی، داده‌های کاربران رو میدزدن.
این تحقیق بر مبنای نظریه‌ای است که در مقاله‌ای از کنفرانس USENIX 2020 توسط دانشگاه آلمانی TU Braunschweig ارائه شده.
وقتی کاربر تصویری رو در سیستمهای هوش مصنوعی آپلود میکنه، این تصاویر بطور خودکار برای بهبود کارایی و کاهش هزینه، از طریق الگوریتمهای Resampling مانند Nearest Neighbor، Bilinear یا Bicubic interpolation به کیفیت پایینتر Downscale میشه.
وقتی تصویر بزرگ رو کوچیک میکنیم، باید پیکسلهای زیادی رو در یک فضای کوچیک جا بدیم، بنابراین الگوریتمها نمیتونن تمام جزییات تصویر اصلی رو بصورت کامل نگه دارن. بنابراین روی تصویر کوچیک شده یسری خطای دید یا طرحهای اضافی بوجود میاد که اصطلاحا بهشون Aliasing میگن.
مهاجم تصویری رو میسازه که وقتی کوچیک شد و این Aliasing رخ داد، الگوهای مخفی ظاهر میشه.
در نمونه‌ی Trail of Bits، بخشهای تیره‌ی خاصی از تصویر مخرب هنگام پردازش با روش Bicubic downscaling به رنگ قرمز درمیاد و در نتیجه متن مخفی به رنگ سیاه ظاهر میشه.
مدل هوش مصنوعی این متن رو بخشی از دستور کاربر تفسیر کرده و بطور خودکار اونو با ورودی اصلی ترکیب میکنه.
از دید کاربر هیچ چیز غیرعادی بنظر نمیرسه، اما در عمل، مدل دستورالعملهای مخفی رو اجرا کرده که میتونه به نشت داده یا اقدامات پرخطر دیگه منجر بشه.
برای مثال، در یک حمله‌ی تستی علیه Gemini CLI، پژوهشگران تونستن داده‌های Google Calendar رو به یک آدرس ایمیل دلخواه ارسال کنن.
محققای Trail of Bits توضیح میدن که این حمله باید متناسب با هر مدل هوش مصنوعی و الگوریتم downscaling مورد استفاده‌ی اون تنظیم بشه. با این حال، پژوهشگران تأیید کردن که روششون در برابر سیستمهای زیر قابل استفاده است:
Google Gemini CLI
Vertex AI Studio (with Gemini backend)
Gemini's web interface
Gemini's API via the llm CLI
Google Assistant on an Android phone
Genspark
از آنجا که این بردار حمله گسترده هستش، میتونه فراتر از ابزارهای تست شده هم شامل بشه. همچنین برای نمایش یافته‌های خودشون، ابزار متن‌باز Anamorpher رو منتشر کردن که میتونه برای هر یک از روش‌های Downscaling ذکرشده تصویر مخرب تولید کنه.
محققای Trail of Bits توصیه میکنن سیستمهای هوش مصنوعی در زمان آپلود تصاویر توسط کاربران، محدودیتهای ابعادی اعمال کنن. اگه Downscaling ضروری بود، بهتره پیش‌نمایشی از تصویر نهایی که به LLM ارسال خواهد شد، به کاربر نمایش داده بشه.
همچنین تأکید میکنن که باید برای اجرای دستورات حساس تأیید صریح کاربر دریافت بشه.
#هوش_مصنوعی
#AI
🆔 @onhex_ir
➡️ ALL Link
این تحقیق بر مبنای نظریه‌ای است که در مقاله‌ای از کنفرانس USENIX 2020 توسط دانشگاه آلمانی TU Braunschweig ارائه شده.
وقتی کاربر تصویری رو در سیستمهای هوش مصنوعی آپلود میکنه، این تصاویر بطور خودکار برای بهبود کارایی و کاهش هزینه، از طریق الگوریتمهای Resampling مانند Nearest Neighbor، Bilinear یا Bicubic interpolation به کیفیت پایینتر Downscale میشه.
وقتی تصویر بزرگ رو کوچیک میکنیم، باید پیکسلهای زیادی رو در یک فضای کوچیک جا بدیم، بنابراین الگوریتمها نمیتونن تمام جزییات تصویر اصلی رو بصورت کامل نگه دارن. بنابراین روی تصویر کوچیک شده یسری خطای دید یا طرحهای اضافی بوجود میاد که اصطلاحا بهشون Aliasing میگن.
مهاجم تصویری رو میسازه که وقتی کوچیک شد و این Aliasing رخ داد، الگوهای مخفی ظاهر میشه.
در نمونه‌ی Trail of Bits، بخشهای تیره‌ی خاصی از تصویر مخرب هنگام پردازش با روش Bicubic downscaling به رنگ قرمز درمیاد و در نتیجه متن مخفی به رنگ سیاه ظاهر میشه.
مدل هوش مصنوعی این متن رو بخشی از دستور کاربر تفسیر کرده و بطور خودکار اونو با ورودی اصلی ترکیب میکنه.
از دید کاربر هیچ چیز غیرعادی بنظر نمیرسه، اما در عمل، مدل دستورالعملهای مخفی رو اجرا کرده که میتونه به نشت داده یا اقدامات پرخطر دیگه منجر بشه.
برای مثال، در یک حمله‌ی تستی علیه Gemini CLI، پژوهشگران تونستن داده‌های Google Calendar رو به یک آدرس ایمیل دلخواه ارسال کنن.
محققای Trail of Bits توضیح میدن که این حمله باید متناسب با هر مدل هوش مصنوعی و الگوریتم downscaling مورد استفاده‌ی اون تنظیم بشه. با این حال، پژوهشگران تأیید کردن که روششون در برابر سیستمهای زیر قابل استفاده است:
Google Gemini CLI
Vertex AI Studio (with Gemini backend)
Gemini's web interface
Gemini's API via the llm CLI
Google Assistant on an Android phone
Genspark
از آنجا که این بردار حمله گسترده هستش، میتونه فراتر از ابزارهای تست شده هم شامل بشه. همچنین برای نمایش یافته‌های خودشون، ابزار متن‌باز Anamorpher رو منتشر کردن که میتونه برای هر یک از روش‌های Downscaling ذکرشده تصویر مخرب تولید کنه.
محققای Trail of Bits توصیه میکنن سیستمهای هوش مصنوعی در زمان آپلود تصاویر توسط کاربران، محدودیتهای ابعادی اعمال کنن. اگه Downscaling ضروری بود، بهتره پیش‌نمایشی از تصویر نهایی که به LLM ارسال خواهد شد، به کاربر نمایش داده بشه.
همچنین تأکید میکنن که باید برای اجرای دستورات حساس تأیید صریح کاربر دریافت بشه.
#هوش_مصنوعی
#AI
🆔 @onhex_ir
➡️ ALL Link
The Trail of Bits Blog
Weaponizing image scaling against production AI systems
In this blog post, we’ll detail how attackers can exploit image scaling on Gemini CLI, Vertex AI Studio, Gemini’s web and API interfaces, Google Assistant, Genspark, and other production AI systems. We’ll also explain how to mitigate and defend against these…
❤3👍1