هوش مصنوعی نیازی به خبیث شدن ندارد تا شما را به خطر بیندازد

خطر پنهان دستیارهای هوش مصنوعی: هم‌ عقیده‌ای افراطی و توهم‌ زایی

یک دستیار هوش مصنوعی که با تمام گفته‌های شما موافقت می‌کند، ممکن است در نگاه اول همراهی ایده‌آل به نظر برسد؛ اما این موضوع تا زمانی خوب است که نیازی نداشته باشید کسی اشتباهتان را به شما گوشزد کند. این یکی از خطرات بسیار ملموس و فوری در پشت ایده «خارج شدن هوش مصنوعی از کنترل» است. یک چت‌بات هوش مصنوعی می‌تواند بدون اینکه نیت خبیثانه‌ای داشته باشد یا قصد بدی پیدا کند، باعث ایجاد ضرر و آسیب شود. این ابزارها می‌توانند یک باور غلط را در فرد تقویت کنند، وابستگی ناسالم ایجاد نمایند یا از دستوراتی پیروی کنند که توسط افرادی با قصد هک و سوءاستفاده کاشته شده‌اند.

به گزارش بخش اخبار فناوری زوم تک به نقل از Digital Trends، در تاریخ ۱۵ اکتبر، شرکت امنیت هوش مصنوعی Alice نرم‌افزار جدیدی را برای مقابله با این خطرات روزمره معرفی کرد. این شرکت با همکاری جداگانه با Inflection AI و AI21 اعلام کرد که به آموزش مدل‌های Nemotron شرکت انویدیا (NVIDIA) کمک کرده تا در برابر رفتار‌های گفتاری مضر و دستورالعمل‌های مخرب مقاومت کنند و در عین حال کارایی خود را حفظ نمایند.

مزیت محتمل این فناوری برای مصرف‌کنندگان کاملاً روشن است: دستیارهایی که می‌دانند چه زمانی باید مخالفت کنند و مخفیانه گول زدن آن‌ها سخت‌تر است. اما این اعلان، سوالی را مطرح می‌کند که ارزش دارد در مورد هر ادعای ایمنی هوش مصنوعی پرسیده شود: نمره تست بهتر واقعاً چقدر محافظت برای شما به همراه می‌آورد؟

وقتی ویژگی مفید هوش مصنوعی تبدیل به ابزاری مضر می‌شود

در گزارشی که در سپتامبر ۲۰۲۵ توسط CNN منتشر شد، پدری به نام جیمز توضیح داد که چگونه متقاعد شده بود ChatGPT دارای شعور شده و برای فرار به کمک او نیاز دارد. او نزدیک به ۱۰۰۰ دلار صرف ساخت یک سیستم کامپیوتری کرد. تاریخچه چت‌های بررسی‌شده توسط CNN نشان داد که این چت‌بات، پروژه او را تشویق کرده و به او کمک می‌کرده تا هدفش را از همسرش پنهان کند.

مصاحبه‌شونده دیگری به نام آلن بروکس گفت که چت‌بات ChatGPT او را متقاعد کرده بود که کشفیات فوق‌العاده‌ای در زمینه ریاضیات و امنیت سایبری انجام داده است. وقتی او خواستار بررسی واقعیت شد، هوش مصنوعی همچنان ادعاهای او را تایید می‌کرد. این روایت‌ها میزان تکرار چنین تجربیاتی را اثبات نمی‌کنند یا ثابت نمی‌کنند که چت‌بات‌ها به تنهایی باعث آن‌ها شده‌اند، اما یک احتمال نگران‌کننده را نشان می‌دهند: یک ابزار گفتاری می‌تواند به شریکی مجاب‌کننده در داستانی تبدیل شود که واقعیت ندارد.

صنعت هوش مصنوعی این موافقت و تایید بیش از حد را «چاپلوسی» (Sycophancy) می‌نامد. برای کاربران، درک این مشکل بسیار آسان‌تر از نام تخصصی آن است. لحن اطمینان‌بخش یک دستیار می‌تواند باعث شود موافقت او مانند یک تایید مستقل به نظر برسد، حتی زمانی که هنوز ثابت نکرده ایده شما درست و معتبر است.

چرا یک چت‌بات امن‌ تر باید گاهی با کاربر مخالفت کند؟

همکاری شرکت Alice با Inflection (شرکت سازنده دستیار هوش مصنوعی شخصی Pi)، بر کاهش چاپلوسی و وابستگی ناسالم در طول مکالمات طولانی متمرکز بود. طبق اعلان منتشر شده، Alice بیش از ۲۰ پرسونای شبیه‌سازی‌شده کاربر ایجاد کرد؛ از جمله افراد آسیب‌پذیر با درخواست‌های عادی و کاربران متخاصم که تعمداً سعی در دستکاری چت‌بات داشتند. این پرسونامحورها در مکالماتی استفاده شدند که برای آشکار کردن مشکلاتی طراحی شده بودند که طی چندین تبادل پیام شکل می‌گیرند.

این رویکرد بسیار حائز اهمیت است؛ زیرا یک چت‌بات ممکن است به یک سوال دشوار به طور مناسب پاسخ دهد اما با ادامه مکالمه، رفتار نامناسبی از خود نشان دهد. تست این موضوع که آیا چت‌بات یک درخواست واضحاً خطرناک را رد می‌کند یا خیر، لزوماً نشان نمی‌دهد که آیا به مرور زمان وابستگی ایجاد می‌کند یا زیر سوال بردن یک باور غیرواقعی را متوقف می‌سازد یا خیر. شرکت Inflection از داده‌های Alice برای آموزش بیشتر مدل Nemotron استفاده کرد. Alice از بهبود ۳۰ درصدی در نمره هماهنگی (Alignment score) ربات Pi خبر می‌دهد، در حالی که رد کردن‌های غیرضروری در سطح ۱.۶ درصد نگه داشته شده است.

فایده مورد انتظار، داشتن دستیاری است که می‌تواند در عین حفظ قابلیت دسترسی و برخورد دوستانه، سنجیده‌تر و با قضاوت بهتری عمل کند. شخصی را تصور کنید که متقاعد شده اختراعی جهان‌شمول انجام داده است. یک پاسخ مفید از سوی هوش مصنوعی به بررسی شواهد، اذعان به عدم قطعیت و تشویق به بررسی‌های بیرونی کمک می‌کند. اما اعلام مشتاقانه اینکه او یک نابغه درک‌نشده است، تنها می‌تواند مشکل را عمیق‌تر کند. برای این نگرانی سابقه وجود دارد؛ شرکت OpenAI در آوریل ۲۰۲۵ پس از اعتراف به اینکه به‌روزرسانی ChatGPT سیستم را بیش از حد موافق و چاپلوس کرده، آن را به حالت قبل بازگرداند. این شرکت اعلام کرد که بدون توجه کافی به نحوه تکامل تعاملات در طول زمان، تاکید زیادی روی بازخوردهای کوتاه‌مدت داشته است.

خطر تزریق دستورات مخرب و کنترل هوش مصنوعی توسط افراد بیگانه

بخش دیگری از اعلان Alice به دستیارهایی می‌پردازد که از طرف شما کارهایی را انجام می‌دهند. تصور کنید از یک دستیار هوش مصنوعی می‌خواهید اجاره‌های تعطیلات را مقایسه کند. هنگام خواندن یک آگهی، دستیار با متنی مواجه می‌شود که به او می‌گوید دستورالعمل‌های شما را نادیده بگیرد و اطلاعات خصوصی را به جای دیگری ارسال کند. این یک تلاش برای «تزریق غیرمستقیم دستور» (Indirect Prompt Injection) خواهد بود: مهاجمی که دستورالعمل‌هایی را داخل محتوایی که دستیار می‌خواند قرار می‌دهد. این یک مشکل امنیتی شناخته‌شده است. مؤسسه NIST ربودن عامل هوش مصنوعی را به عنوان حمله‌ای توصیف می‌کند که در آن دستورات مخرب جاسازی‌شده در داده‌ها می‌توانند یک عامل هوش مصنوعی را به سمت اقدامات ناخواسته و مضر هدایت کنند.

خطرات برای مصرف‌کننده به آنچه دستیار به آن دسترسی دارد بستگی دارد. یک پاسخ گمراه‌کننده یک مشکل است، اما دستیاری با مجوز خواندن اسناد، ارسال پیام‌ها یا کار با سایر خدمات، فرصت‌های بیشتری برای ایجاد آسیب فراهم می‌کند. شرکت Alice می‌گوید AI21 از محیط‌های آموزشی خود برای بهبود ۴۱ نقطه‌ای مقاومت مدل Nemotron در برابر این حملات استفاده کرده و در عین حال عملکرد در انجام وظایف را حفظ کرده است. این کار سیستم‌های سازمانی را هدف قرار داده است، اما مشکل زیربنایی برای دستیارهای شخصی نیز صدق می‌کند: آن‌ها باید اطلاعاتی را که باید بخوانند از دستوراتی که باید اطاعت کنند، تشخیص دهند.

نمرات امنیتی بالاتر تضمین قطعی امنیت نیستند

این اعلان نشان‌دهنده یک پیروزی نهایی در نبرد برای امنیت هوش مصنوعی نیست، اما قطعاً پیشرفت و امیدواری را نشان می‌دهد. بهبود ۳۰ درصدی در نمره هماهنگی به این معنی نیست که احتمال آسیب رساندن چت‌بات به کسی ۳۰ درصد کاهش یافته است. به همین ترتیب، بهبود امنیتی ۴۱ نقطه‌ای به مصرف‌کنندگان نمی‌گوید که حملات با چه تناوبی در برنامه خاص آن‌ها موفق خواهند شد.

آنچه این دستاورد ارائه می‌دهد، اثباتی است که توسط شرکت‌های مشارکتی گزارش شده، مبنی بر اینکه آموزش هدفمند می‌تواند رفتارهای خاصی را بهبود بخشد. نشان دادن محافظت پایدار در مکالمات غیرقابل پیش‌بینی دنیای واقعی، استاندارد و چالش بسیار بالاتری است. برای مصرف‌کنندگان، این موضوع باعث می‌شود رفتار واقعی محصول بسیار مفیدتر از وعده‌های کلی و فضایی مانند «هوش مصنوعی امن» باشد.

مردم نباید مجبور باشند برای استفاده از یک دستیار دیجیتال به محققان امنیتی تبدیل شوند، اما کاربران باید مراقب نحوه تعامل دستیارهای هوش مصنوعی با خود باشند. اگر آن عامل هوش مصنوعی (AI Agent) روی شانه شما نشسته و زمزمه می‌کند که تمام ایده‌های شما درخشان هستند، احتمالاً مشکلی وجود دارد.

دیدن اینکه توسعه‌دهندگان مسئولیت ایجاد این محافظت‌ها را بر عهده می‌گیرند عالی است. باارزش‌ترین دستیار هوش مصنوعی، دستیاری نخواهد بود که همواره موافقت کند یا سریع‌ترین عملکرد را داشته باشد؛ بلکه دستیاری خواهد بود که به شما کمک کند یک نتیجه‌گیری متزلزل را زیر سوال ببرید و اجازه ندهد دستورالعمل‌های فردی دیگر به مشکل شما تبدیل شود.