هک شدن هوش مصنوعی با یک تصویر: یک حمله سایبری پنهان که اطلاعات شما را می دزدد

کشف یک روش حمله سایبری جدید توسط محققان، امنیت سیستم های هوش مصنوعی را به خطر انداخته است. این روش با پنهان کردن دستورات مخرب در تصاویری که برای چشم انسان نامرئی هستند، می تواند منجر به سرقت اطلاعات محرمانه کاربران شود. این حمله چگونه کار می کند و کدام یک از سرویس های هوش مصنوعی در معرض خطر هستند؟

حمله سایبری جدید: وقتی یک تصویر کافی است تا هوش مصنوعی هک شود

به گزارش بخش اخبار فناوری زوم تک از بی‌لیپینگ کامپیوتر، محققان یک حمله جدید و خلاقانه کشف کرده اند که با تزریق دستورات مخرب در تصاویری که توسط سیستم های هوش مصنوعی پردازش می شوند، اطلاعات کاربران را به سرقت می برد. این دستورات برای چشم انسان قابل مشاهده نیستند، اما زمانی که کیفیت تصویر توسط الگوریتم های تغییر اندازه کاهش می یابد، پدیدار می شوند. این روش حمله که بر اساس یک نظریه قدیمی از یک مقاله در سال ۲۰۲۰ توسعه یافته، نشان می دهد چگونه یک تصویر به ظاهر بی خطر می تواند به یک ابزار خطرناک برای سرقت داده ها تبدیل شود.

روش کار این حمله چگونه است؟

هنگامی که کاربران تصاویری را در سیستم های هوش مصنوعی آپلود می کنند، این سیستم ها به طور خودکار تصاویر را به کیفیت پایین تر تبدیل می کنند تا کارایی و هزینه های پردازش را کاهش دهند. این فرآیند که به آن “Downscaling” یا کاهش مقیاس می گویند، با استفاده از الگوریتم های مختلفی مانند «نزدیک ترین همسایه»، «دو خطی» یا «دو مکعبی» انجام می شود.

این الگوریتم ها، با کاهش کیفیت تصویر، باعث ایجاد “آرتفکت های ناخواسته” می شوند که در نهایت اجازه می دهند الگوهای مخفی در تصویر کاهش مقیاس یافته ظاهر شوند. در مثالی که توسط محققان ارائه شده، بخش های تاریک یک تصویر مخرب، پس از کاهش مقیاس، به رنگ قرمز در می آیند و متن مخفی در پس زمینه مشکی پدیدار می شود. این متن شامل دستورات پنهانی است که مدل هوش مصنوعی آن ها را به عنوان بخشی از دستورالعمل های کاربر تفسیر می کند و به طور خودکار آن را با ورودی قانونی ترکیب می کند.

از دید کاربر، همه چیز عادی به نظر می رسد، اما در عمل، مدل دستورات پنهانی را اجرا کرده که می تواند منجر به لو رفتن اطلاعات یا اقدامات خطرناک دیگر شود.

کدام سرویس های هوش مصنوعی در معرض خطر هستند؟

محققان Trail of Bits نشان دادند که این حمله می تواند علیه چندین سرویس هوش مصنوعی از جمله ابزارهای مختلف گوگل مانند Google Gemini CLI، Vertex AI Studio (با بکند Gemini)، رابط وب Gemini و API آن، و همچنین Google Assistant در تلفن های اندروید و Genspark، موفقیت آمیز باشد. آنها با استفاده از یک نمونه آزمایشی بر روی Gemini CLI، توانستند اطلاعات تقویم گوگل (Google Calendar) را به یک آدرس ایمیل دلخواه منتقل کنند.

این موضوع نشان می دهد که این حمله می تواند به سادگی گسترش یابد و بسیاری از ابزارهای دیگر را نیز تحت تاثیر قرار دهد. برای نمایش یافته های خود، محققان ابزار متن باز “Anamorpher” را نیز منتشر کرده اند که می تواند تصاویری را برای هر یک از روش های کاهش مقیاس ذکر شده ایجاد کند.

راهکارهای مقابله با این تهدید

محققان “تریل آو بیتس” برای مقابله با این نوع حملات، توصیه می کنند که سیستم های هوش مصنوعی هنگام آپلود تصاویر توسط کاربران، محدودیت هایی را برای ابعاد تصاویر اعمال کنند. همچنین، در صورتی که کاهش مقیاس ضروری است، بهتر است پیش نمایشی از نتیجه نهایی که به مدل زبانی بزرگ (LLM) ارسال می شود، به کاربر نمایش داده شود تا کاربر بتواند محتوای پنهان را شناسایی کند.

آنها همچنین تاکید می کنند که برای درخواست های حساس، به خصوص زمانی که متنی در یک تصویر شناسایی می شود، باید تایید صریح کاربر دریافت شود. به گفته محققان، قوی ترین دفاع، پیاده سازی الگوهای طراحی امنیتی و دفاع سیستماتیک است که بتواند تزریق های موثر را فراتر از تزریق های چند حالتی (multi-modal) کاهش دهد.