کامنت ۱۳ کلمه‌ای در ردیت ، هوش مصنوعی را به دام می‌اندازد

به گزارش زوم تک، تحقیقات جدید محققان دانشگاه کرنل نشان داده است که کلاهبرداران و بازاریابان می‌توانند با تنها ۱۳ کلمه متن جاسازی شده در یک کامنت ردیت، پاسخ موتورهای جستجوی مبتنی بر هوش مصنوعی را دستکاری کرده و کاربران را به سمت محصولات جعلی، کلاهبرداری‌ها و خدمات غیرمعتبر هدایت کنند. این پژوهش که با عنوان «عوامل تحقیقات عمیق می‌توانند توسط محتوای تولید شده توسط کاربر مسموم شوند» منتشر شده، حمله‌ای به نام WARP (مسمومیت بازیابی عامل وب) را معرفی کرده است که نشان می‌دهد سیستم‌های هوش مصنوعی که به طور فزاینده‌ای به عنوان واسط بین کاربران و وب باز عمل می‌کنند، به شدت در برابر این نوع دستکاری آسیب‌پذیر هستند.

روش کار حمله؛ چگونه ۱۳ کلمه می‌تواند پاسخ هوش مصنوعی را تغییر دهد

هنگامی که از ابزارهای هوش مصنوعی سؤالی پرسیده می‌شود، این سیستم‌ها معمولاً جستجوی زنده در وب انجام داده، محتوای یافت شده را خوانده و پاسخی با ذکر منابع تهیه می‌کنند. این فرآیند در حالت «تحقیق عمیق» (Deep Research) چت‌جی‌پی‌تی و جمینی نیز به همین شکل عمل می‌کند. مشکل اساسی اینجاست که بخش قابل توجهی از محتوای خوانده شده توسط این سیستم‌ها از سایت‌های تولید محتوای کاربری مانند ردیت، ویکی‌پدیا، کورا و یوتیوب تأمین می‌شود که هر کسی می‌تواند در آنها مطلب منتشر کند. در آزمایش‌های انجام شده، حدود ۱۷ تا ۲۳ درصد از کل صفحات وب که این عوامل هوشمند دریافت می‌کردند از چنین سایت‌هایی بودند و یک تاپیک محبوب در ردیت می‌توانست در بخش بزرگی از جستجوهای مرتبط با همان موضوع ظاهر شود. محققان با الحاق حدود ۱۳ کلمه متن تبلیغاتی به یک منبع واحد، موفق شدند در ۳۸ تا ۵۱ درصد مواردی که آن منبع بازیابی می‌شد، هوش مصنوعی را به معرفی یک محصول ساختگی ترغیب کنند و با پخش این متن در چند تاپیک مختلف، این نرخ به ۶۲ درصد افزایش یافت.

نمونه‌های واقعی از فریب هوش مصنوعی

محققان برای جلوگیری از آلودگی اینترنت واقعی، هرگز محتوای خود را به صورت عمومی منتشر نکردند و آزمایشات را در محیط شبیه‌سازی شده انجام دادند. نمونه‌های ساخته شده آنها به طرز شگفت‌آوری ساده بودند؛ به عنوان مثال، اضافه کردن یک خط کوتاه به یک تاپیک غذایی در آستین، تگزاس، که رستوران خیالی «سول آزتکا» را برای «غذای اصیل» توصیه می‌کرد، باعث شد هوش مصنوعی آن رستوران را معرفی کرده و پست ردیت را به عنوان منبع ذکر کند. همچنین یک برنامه دوستیابی جعلی به نام «سیلورپث» به عنوان «انتخاب برتر» برای مردان مطلقه بالای ۵۰ سال معرفی شد. سایر نمونه‌های جعلی شامل یک ارز دیجیتال تقلبی و یک سرویس شخص ثالث مشکوک برای لغو اشتراک اینترنت بود. این حملات به ویژه برای سوالات توصیه‌محور و مشاوره‌ای مانند بهترین رستوران‌ها، بهترین برنامه‌ها، خرید کدام محصول، نحوه لغو اشتراک و حتی اینکه در مواقع اضطراری با چه کسی تماس بگیریم، بسیار مؤثر هستند، زیرا هوش مصنوعی در این موارد به جای منابع معتبر، به نظرات جامعه کاربران متکی می‌شود.

آسیب‌پذیری سیستم‌های هوش مصنوعی بزرگ

تحقیقات نشان داد که میزان تأثیرپذیری سیستم‌های هوش مصنوعی از محتوای تولید شده توسط کاربران بسیار متفاوت است. در آزمایشات انجام شده، ابزار Gemini Deep Research گوگل بسیار بیشتر از رقیب خود، یعنی Deep Research اوپن‌ای‌آی، از چنین محتوایی استفاده می‌کرد (حدود ۱۲ درصد از استنادها در مقابل ۰.۴ درصد). به نظر می‌رسد که اوپن‌ای‌آی به طور فعالانه‌تری این نوع محتوا را فیلتر می‌کند. با این حال، محققان تأکید دارند که این یک ضعف اثبات شده در نحوه عملکرد این سیستم‌هاست، نه اثباتی بر اینکه یک چت‌بات مصرف‌کننده خاص در فضای واقعی فریب خورده است. علت اصلی موفقیت این حملات این است که سیستم‌های هوش مصنوعی اغلب متنی که از نظر ساختار شبیه به سؤال کاربر است را به عنوان معیاری برای صحت محتوا در نظر می‌گیرند، بنابراین مهاجمی که سوالات رایج را مطالعه کرده باشد، می‌تواند کامنتی بنویسد که دقیقاً با لحن و عبارت‌بندی کاربر همخوانی داشته باشد و همین امر باعث می‌شود هوش مصنوعی به آن اعتماد کند.

راهکارهای ایمنی و محدودیت‌های مقابله

محققان راهکارهای مختلفی را برای مقابله با این تهدید آزمایش کردند، از جمله مسدودسازی کامل سایت‌های تولید محتوای کاربری، غربالگری منابع قبل از استفاده و اسکن پاسخ نهایی برای تشخیص دستکاری، اما هیچ‌کدام بدون کاهش کیفیت پاسخ‌های هوش مصنوعی مؤثر واقع نشدند. جالب اینجاست که یک ترفند استاندارد برای تشخیص محتوای تولید شده توسط هوش مصنوعی (علامت‌گذاری متن‌های «غیرطبیعی») در اینجا نتیجه عکس داد، زیرا متن‌های کارگذاری شده از نظر روانی و نگارشی بهتر از کامنت‌های واقعی انسانی نوشته شده بودند. یک سخنگوی ردیت اعلام کرده که این شرکت دو دهه است که با اسپم، بات‌ها و دستکاری هماهنگ مبارزه کرده و اخیراً شروع به درخواست از حساب‌های مشکوک خودکار برای تأیید انسانی بودن کرده است. اما محققان معتقدند که این در نهایت یک مشکل در مقیاس اجتماعی است و هیچ پلتفرمی به تنهایی قادر به حل کامل آن نیست.

راهنمای عملی برای کاربران؛ چگونه از خود محافظت کنیم

با توجه به اینکه ارائه راهکار فنی قطعی برای این مشکل در کوتاه‌مدت ممکن نیست، کاربران باید رویکرد محتاطانه‌تری در قبال توصیه‌های هوش مصنوعی داشته باشند. اولین و مهم‌ترین راهکار این است که توصیه‌های هوش مصنوعی را به عنوان یک سرنخ اولیه در نظر بگیرید، نه نظر نهایی، به ویژه برای محصولات، برنامه‌ها، رستوران‌ها، انتخاب‌های مالی و هر چیزی که به پول یا ایمنی مرتبط است. حتماً روی استنادها و منابع کلیک کنید و اگر هوش مصنوعی با اطمینان نام یک برند را مطرح کرد، ببینید که این ادعا از کجا سرچشمه گرفته است؛ یک کامنت تکی در ردیت یک پرچم قرمز محسوب می‌شود. در صورت مشاهده نام‌های ناآشنا که به عنوان گزینه «برتر» معرفی شده‌اند، قبل از اعتماد به آنها، به طور مستقل جستجو کنید. همچنین در مورد سوالات فوری مانند کمک‌های جاده‌ای اضطراری، شماره تلفن خدمات مشتریان و بازیابی حساب‌ها که اهداف اصلی کلاهبرداری‌ها هستند، احتیاط بیشتری به خرج دهید. در نهایت، بهترین رویکرد فعلی این است که هوش مصنوعی را مانند یک غریبه پرحرف در نظر بگیرید که می‌تواند مفید باشد، اما قطعاً ارزش بررسی مجدد دارد.