حمله جدید Agent Data Injection می تواند دستیارهای هوش مصنوعی را فریب داده و آن ها را به اجرای دستورات مهاجمان وادار کند

به گزارش زوم تک، پژوهشگران امنیت سایبری از شناسایی روشی جدید با نام Agent Data Injection (ADI) خبر داده اند که می تواند دستیارهای هوش مصنوعی را با سوءاستفاده از داده های ظاهرا قابل اعتماد فریب دهد. این حمله بدون نیاز به دور زدن مستقیم مکانیزم های محافظتی، اطلاعات مخرب را در قالب داده های معتبر به مدل های هوش مصنوعی تزریق کرده و آن ها را به انجام اقدامات ناخواسته یا اجرای دستورات مهاجمان وادار می کند.

حمله Agent Data Injection چگونه عمل می کند؟

برخلاف حملات کلاسیک Prompt Injection که مستقیما دستورهای مخرب را وارد متن ورودی می کنند، در حمله ADI اطلاعات مخرب در بخش هایی قرار می گیرد که عامل هوش مصنوعی آن ها را به عنوان داده های قابل اعتماد می شناسد؛ برای مثال نام فرستنده ایمیل، شناسه دکمه ها، اطلاعات متادیتا یا سایر فیلدهای ساختاریافته.

در نتیجه، هوش مصنوعی این اطلاعات را به عنوان بخشی از داده های معتبر پردازش کرده و ممکن است بدون تشخیص خطر، دستورات مهاجم را اجرا کند یا تصمیمات اشتباه بگیرد.

شش مدل هوش مصنوعی در برابر این حمله آسیب پذیر بودند

پژوهشگران اعلام کرده اند این روش روی شش مدل و عامل هوش مصنوعی مختلف آزمایش شده و در بسیاری از موارد موفق شده مکانیزم های دفاعی طراحی شده برای مقابله با Prompt Injection را دور بزند.

در برخی سناریوها، عامل های هوش مصنوعی به صفحات جعلی هدایت شدند، روی عناصر اشتباه رابط کاربری کلیک کردند یا حتی دستورات مهاجمان را در محیط های برنامه نویسی اجرا کردند.

چرا این حمله خطرناک تر از Prompt Injection است؟

محققان معتقدند تفاوت اصلی ADI در این است که مهاجم دیگر نیازی ندارد متن دستور مخرب را مستقیما به مدل ارسال کند. در عوض، کافی است اطلاعات آلوده را در بخش هایی قرار دهد که عامل هوش مصنوعی به طور پیش فرض به آن ها اعتماد دارد.

به همین دلیل بسیاری از راهکارهای امنیتی فعلی که تنها روی بررسی متن ورودی تمرکز دارند، قادر به شناسایی این نوع حمله نیستند.

خطر برای عامل های برنامه نویسی و دستیارهای سازمانی

عامل های هوش مصنوعی که به مخازن کد، ایمیل ها، سامانه های مدیریت پروژه یا ابزارهای سازمانی متصل هستند، بیشترین ریسک را در برابر این حمله دارند. اگر این عامل ها بدون بررسی کافی به داده های دریافتی اعتماد کنند، ممکن است به اشتباه کدهای مخرب اجرا کنند، اطلاعات حساس را افشا کنند یا عملیات اشتباهی را در سامانه های سازمانی انجام دهند.

راهکارهای پیشنهادی برای کاهش خطر

کارشناسان امنیت توصیه می کنند توسعه دهندگان میان «دستورها» و «داده ها» مرز مشخصی ایجاد کنند و هیچ داده خارجی را صرفا به دلیل قرار گرفتن در یک فیلد ساختاریافته، قابل اعتماد در نظر نگیرند.

همچنین پیشنهاد شده است عامل های هوش مصنوعی پیش از اجرای هرگونه دستور حساس، منبع اطلاعات را اعتبارسنجی کنند، عملیات پرریسک تنها با تایید کاربر انجام شود و سیاست های کنترل دسترسی بر اساس اصل حداقل سطح دسترسی طراحی شوند.

نسل جدید تهدیدهای هوش مصنوعی در حال شکل گیری است

کارشناسان معتقدند حمله Agent Data Injection نشان می دهد با گسترش استفاده از عامل های هوش مصنوعی، مهاجمان نیز روش های پیچیده تری برای سوءاستفاده از اعتماد این سیستم ها توسعه می دهند. در چنین شرایطی، امنیت عامل های هوش مصنوعی دیگر تنها به محافظت از ورودی های متنی محدود نمی شود و تمام داده های مورد استفاده این سیستم ها باید به عنوان نقاط بالقوه حمله در نظر گرفته شوند.