آسیب‌پذیری ChatGPhish؛ چگونه خلاصه‌سازی صفحات وب در ChatGPT به بستری برای حملات فیشینگ تبدیل شد؟

ChatGPhish چگونه کار می‌کند؟

بر اساس گزارش شرکت Permiso Security، رندرکننده پاسخ در chatgpt.com به لینک‌ها و تصاویر Markdown که از صفحات وب شخص ثالث استخراج شده‌اند اعتماد می‌کند. این بدان معناست که اگر کاربری از ChatGPT بخواهد صفحه‌ای را خلاصه کند، محتوای مخرب پنهان‌شده در آن صفحه می‌تواند مستقیماً در رابط کاربری ChatGPT نمایش داده شود.

در این سناریو، تصاویر می‌توانند به‌صورت خودکار از سرور مهاجم بارگذاری شوند و اطلاعاتی مانند آدرس IP، User-Agent و Referer کاربر را افشا کنند. همچنین لینک‌های مخرب می‌توانند در قالب عناصر قابل کلیک و کاملاً معتبر در پاسخ ChatGPT ظاهر شوند.

رابط پاسخ ChatGPT به لینک‌ها و تصاویر Markdown استخراج‌شده از صفحات وب اعتماد می‌کند و همین موضوع امکان سوءاستفاده را فراهم می‌کند.

امکان نمایش هشدارهای جعلی و کدهای QR مخرب

پژوهشگران هشدار داده‌اند مهاجمان می‌توانند از این ضعف برای نمایش هشدارهای امنیتی جعلی، پیام‌های سیستمی ساختگی و حتی کدهای QR مخرب استفاده کنند. این کدها ممکن است کاربران را ترغیب کنند با تلفن همراه خود آن‌ها را اسکن کنند؛ روشی که می‌تواند فیلترهای امنیتی دسکتاپ و کنترل‌های سازمانی را دور بزند.

در عمل، این حمله باعث می‌شود یک صفحه وب معمولی پس از خلاصه‌سازی توسط ChatGPT به ابزاری برای نمایش لینک‌های فیشینگ، هشدارهای جعلی و تصاویر مخرب در یک محیط قابل اعتماد تبدیل شود.

خطر جدید برای سازمان‌ها

کارشناسان امنیتی معتقدند این آسیب‌پذیری، سطح حمله جدیدی برای سازمان‌هایی ایجاد می‌کند که از ChatGPT برای تحقیق، مرور محتوا و خلاصه‌سازی صفحات وب استفاده می‌کنند.

برخلاف حملات سنتی که نیازمند باز کردن فایل ضمیمه یا تعامل مستقیم با پیام مشکوک هستند، در این روش تنها کافی است کاربر از ChatGPT بخواهد یک صفحه وب را خلاصه کند تا دستورات مهاجم وارد زمینه پردازش مدل شود.

تزریق غیرمستقیم پرامپت؛ تهدید رو به رشد در هوش مصنوعی

این کشف جدید در ادامه موجی از تحقیقات اخیر درباره حملات «تزریق غیرمستقیم پرامپت» منتشر شده است. در ماه مارس نیز Permiso Security نشان داده بود ایمیل‌های حاوی دستورالعمل‌های مخفی می‌توانند خروجی Microsoft Copilot را تحت تأثیر قرار دهند.

آنچه ChatGPhish را خطرناک‌تر می‌کند، نحوه نمایش این محتوای مخرب در قالب پاسخ رسمی و مورد اعتماد ChatGPT است؛ موضوعی که احتمال فریب کاربران را افزایش می‌دهد.

افزایش حملات علیه ابزارهای هوش مصنوعی

هم‌زمان با این افشا، پژوهشگران از حملات دیگری علیه ابزارهای مبتنی بر هوش مصنوعی نیز خبر داده‌اند. از جمله این موارد می‌توان به حملات SymJack و TrustFall اشاره کرد که ابزارهای کدنویسی مبتنی بر هوش مصنوعی را هدف قرار داده و امکان اجرای کد مخرب روی سیستم قربانی را فراهم می‌کنند.

در یکی از این سناریوها، تنها با باز کردن یک مخزن آلوده و تأیید یک پیام اعتماد، کد مهاجم با سطح دسترسی کامل کاربر اجرا می‌شود.

چالش‌های امنیتی مدل‌های زبانی بزرگ

در ماه‌های اخیر، مجموعه‌ای از روش‌های جدید برای دور زدن مکانیزم‌های امنیتی مدل‌های زبانی کشف شده است؛ از جمله:

• حملات چندمرحله‌ای برای دور زدن محدودیت‌های امنیتی مدل‌ها
• تزریق پرامپت از طریق تصاویر و متن‌های پنهان
• دستکاری افزونه‌های مرورگر مبتنی بر هوش مصنوعی
• استفاده از مخازن آلوده برای اجرای کد مخرب
• سوءاستفاده از فایل‌های پیکربندی محلی ابزارهای AI

نگرانی درباره آینده حملات خودکار

کارشناسان هشدار داده‌اند با پیشرفت مدل‌های هوش مصنوعی، مهاجمان نیز از این فناوری برای خودکارسازی حملات استفاده خواهند کرد. به گفته محققان Palo Alto Networks Unit 42، مدل‌های پیشرفته می‌توانند زنجیره‌ای از مراحل شناسایی، بهره‌برداری، ارتقای دسترسی و استخراج داده را با حداقل دخالت انسانی اجرا کنند.

این موضوع می‌تواند مقیاس و سرعت حملات سایبری را به‌طور بی‌سابقه‌ای افزایش دهد و تهدیدی جدی برای زیرساخت‌های ابری و سازمانی ایجاد کند.

جمع‌بندی

آسیب‌پذیری ChatGPhish نشان می‌دهد ابزارهای هوش مصنوعی، علاوه بر مزایا، می‌توانند به سطح حمله‌ای جدید برای مهاجمان تبدیل شوند. این کشف زنگ هشداری برای توسعه‌دهندگان و سازمان‌ها است تا در طراحی و استفاده از سیستم‌های مبتنی بر هوش مصنوعی، به تهدیدات ناشی از اعتماد به محتوای خارجی توجه بیشتری داشته باشند.