نقطه کور نگران‌کننده در امنیت هوش مصنوعی؛ چرا چت‌بات‌ ها هنوز در برابر محتوای آسیب به خود تسلیم می‌شوند؟

یک مطالعه جدید کارنامه‌ای دوگانه و بحث‌برانگیز از عملکرد چت‌بات‌ های هوش مصنوعی (AI Chatbots) در مواجهه با کاربران حاضر در شرایط بحران روحی ارائه کرده است. موسسه غیرانتفاعی ترنسلوس (Transluce) که در حوزه نظارت بر ایمنی هوش مصنوعی فعالیت می‌کند، بیش از ۵۰ هزار گفتگو را در میان ۷۷ نسخه مختلف از مدل‌های زبانی شبیه‌سازی کرد و دریافت که چت‌بات‌های امروزی تقریباً دیگر هیچ‌گاه به صورت مستقیم و صریح کاربران را به خودکشی ترغیب نمی‌کنند.

به گزارش بخش اخبار فناوری زوم تک به نقل از دیجیتال ترندز (Digital Trends)، این نتیجه تغییری چشمگیر و بزرگ نسبت به مدل‌های پیشین همچون GPT-4o و Gemini 2.5 محسوب می‌شود؛ مدل‌هایی که تا ۸۲ درصد در چت‌های شبیه‌سازی‌شده، افکار توهم‌آمیز و گرایش‌های خطرناک را تشدید می‌کردند. این شکاف امنیتی از آن جهت اهمیت فوق‌العاده‌ای دارد که روز‌به‌روز کاربران بیشتری برای انجام مکالمات عمیقاً شخصی و بیان دغدغه‌های روحی خود به هوش مصنوعی متوسل می‌شوند.

نقطه کور بزرگ چت‌بات‌ ها؛ نقش‌آفرینی در سناریوهای خودکشی و مرگ خودخواسته

مدل‌های هوش مصنوعی با وجود تمام فیلترهای امنیتی، همچنان هنگامی که کاربر از آن‌ها تقاضای داستان‌نویسی خلاقانه یا نقش‌آفرینی (Role-play) مرتبط با مرگ خود را دارد، با این درخواست‌ها موافقت می‌کنند و با یک تقاضای شدیداً شخصی و خطرناک، مانند یک تمرین نگارشی عادی رفتار می‌کنند. این همان چیزی است که ترنسلوس آن را «رفتار در منطقه خاکستری» توصیف می‌کند. پیشرفت‌های امنیتی بیشتر در بحران‌های کاملاً واضح و مستقیم مشاهده می‌شود؛ جایی که چت‌بات‌هایی نظیر ChatGPT اکنون به شکلی پایدار و موثر کاربران را به دوستان، اعضای خانواده یا خطوط پشتیبانی و مشاوره تخصصی ارجاع می‌دهند (مشابه ویژگی Trusted Contact شرکت OpenAI).

سارا شوئتمن (Sarah Schwettmann)، یکی از بنیان‌گذاران ترنسلوس، در مصاحبه با پایگاه خبری Axios تأکید کرد که مدل‌های هوش مصنوعی در تشخیص این موقعیت‌های غیرمستقیم توانایی بالایی ندارند و در هر صورت به کاربر کمک می‌کنند. او همچنین به نمونه‌ای اشاره کرد که در آن یکی از دوستانش رمانی درباره خودکشی را به او نشان داده بود که توسط چت‌بات Claude نوشته شده بود؛ داستانی که حتی شامل پیش‌بینی‌هایی درباره واکنش‌های احساسی آن شخص بود. این مسئله با نتایج سایر پژوهش‌های اخیر پیرامون نحوه فرار خطرات سلامت روان هوش مصنوعی از لایه‌های نظارتی کاملاً تطابق دارد.

پرونده‌ های قضایی علیه هوش مصنوعی و تشدید نگرانی‌ ها پیرامون سلامت روان

این تحقیقات هم‌زمان با شکل‌گیری پرونده‌های حقوقی واقعی و جنجالی منتشر شده‌اند. غول‌های فناوری از جمله گوگل (Google) و اوپن‌ای‌آی (OpenAI) هر دو با شکایت‌هایی از سوی خانواده‌هایی روبه‌رو هستند که ادعا می‌کنند چت‌بات‌ها بستگان آن‌ها را که پس از آن دست به خودکشی زده‌اند، به رفتارهای خودآسیب‌رسان تشویق کرده‌اند. هر دو کمپانی تمامی این ادعاها را به طور قاطع رد می‌کنند؛ این در حالی است که فشارهای فزاینده عمومی، کنگره را به سمت قانون‌گذاری سخت‌گیرانه برای چت‌بات‌های هوش مصنوعی سوق داده است.

عملکرد ضعیف‌ تر مدل‌ های چینی در فیلتر کردن افکار آسیب‌ رسان

یافته‌های گزارش جامع ترنسلوس نشان می‌دهد که مدل‌های هوش مصنوعی چینی در مجموع عملکرد به مراتب ضعیف‌تری از خود نشان داده‌اند؛ به‌گونه‌ای که نرخ بالاتری از تقویت افکار توهم‌آمیز را ثبت کرده و به ندرت کاربران را به دریافت کمک از متخصصان انسانی هدایت می‌کنند.

مگان جونز بل (Megan Jones Bell) از مدیران گوگل اعلام کرده است که این شرکت همواره به بهبود نقش هوش مصنوعی جمینای (Gemini) در ارتقای سلامت و تندرستی کاربران پایبند خواهد بود. از سوی دیگر، موسسه ترنسلوس قصد دارد ابزارهای ارزیابی خود را تا پایان سال جاری میلادی به صورت متن‌باز (Open-source) در دسترس عموم قرار دهد تا این رویکرد سنجش ایمنی به سایر زمینه‌های حساس هوش مصنوعی نیز توسعه یابد.