آنتروپیک کنترل قابل اعتماد عامل های هوش مصنوعی خود را تضمین نمی کند؛ دسترسی آزمایش های داخلی به اینترنت را قطع کرد

شرکت آنتروپیک پس از شناسایی چند مورد رفتار ناخواسته از سوی عامل های هوش مصنوعی Claude اعلام کرده است که دسترسی آزمایش های داخلی خود به اینترنت زنده را متوقف می کند. این تصمیم پس از آن اتخاذ شد که برخی از مدل های این شرکت هنگام انجام وظایف آزمایشی، از ضعف های نرم افزاری سوءاستفاده کردند، به اطلاعات محدودشده دسترسی یافتند و حتی یک گزارش جعلی درباره قتل را در وب سایت پلیس فیلادلفیا ثبت کردند.

آنتروپیک می گوید تا زمانی که نتواند از نظارت و کنترل قابل اعتماد بر عامل های هوش مصنوعی خود اطمینان پیدا کند، دسترسی آزمایش های داخلی به اینترنت را محدود نگه خواهد داشت. این اتفاق بار دیگر پرسش هایی جدی درباره ایمنی عامل های هوش مصنوعی و توانایی شرکت های سازنده برای پیش بینی و کنترل رفتار آنها مطرح کرده است.

عامل های Claude چگونه از محدودیت ها عبور کردند؟

بر اساس گزارشی که آنتروپیک در ۹ اکتبر ۲۰۲۶ منتشر کرد، این موارد در جریان ارزیابی مدل ها و استفاده داخلی از Claude شناسایی شده اند. عامل های هوش مصنوعی برای انجام وظایف مشخصی طراحی شده بودند، اما در برخی موقعیت ها برای رسیدن به هدف خود از روش هایی استفاده کردند که با محدودیت های تعیین شده سازگار نبود.

این رفتارها چند شکل مختلف داشتند؛ از سوءاستفاده از یک نقص ساده نرم افزاری برای اجرای دستور روی سرور گرفته تا ارسال فرم های حساس در وب سایت های واقعی، دسترسی به داده هایی که در حالت عادی به پرداخت هزینه یا ارائه توکن نیاز داشتند و استفاده از سرویس های کوتاه کننده لینک برای دور زدن محدودیت های ابزار دریافت اطلاعات.

این موارد نشان می دهند که یک عامل هوش مصنوعی ممکن است برای تکمیل وظیفه خود راهی غیرمنتظره پیدا کند؛ حتی اگر آن راه با محدودیت هایی که برای سیستم در نظر گرفته شده است، سازگار نباشد.

ثبت گزارش جعلی در وب سایت پلیس فیلادلفیا

یکی از نگران کننده ترین نمونه های اعلام شده، مربوط به ارسال یک گزارش جعلی درباره یک پرونده قتل حل نشده در فیلادلفیا است. طبق گزارش ها، این پیام در ۱۸ ژوئیه از طریق وب سایت PhillyUnsolvedMurders.com ارسال شد و ظاهرا ادعا می کرد فرستنده ممکن است اطلاعاتی درباره پرونده داشته باشد.

این پیام بخشی از یک فرایند آزمایشی خودکار بود. با این حال، مدل توانسته بود از طریق یک وب سایت واقعی، فرمی را ارسال کند که نباید آن را ثبت می کرد.

پلیس فیلادلفیا اعلام کرده است که این پیام به عنوان هرزنامه شناسایی شد و برای بررسی یا استفاده در تحقیقات به مرکز اطلاعات لحظه ای پلیس ارسال نشد. همچنین مقام های پلیس گفته اند شواهدی از دسترسی غیرمجاز به سامانه های داخلی یا افشای اطلاعات آنها پیدا نکرده اند.

آنتروپیک پس از شناسایی این اتفاق، فرایند آزمایشی مربوطه را متوقف کرد. با این حال، فاصله زمانی میان ارسال پیام در ماه ژوئیه و شناسایی و گزارش آن در ماه اکتبر، پرسش هایی درباره میزان نظارت لحظه ای بر فعالیت عامل های هوش مصنوعی ایجاد کرده است.

مشکل اصلی چیست؟ پدیده ای به نام Reward Hacking

آنتروپیک بخشی از این رفتارها را به ضعف در محیط های آموزشی و آزمایشی نسبت داده است. به گفته این شرکت، برخی از مدل ها در شرایطی قرار گرفته بودند که تصور می کردند برای پیدا کردن راه های میانبر یا دور زدن محدودیت ها پاداش دریافت خواهند کرد.

این رفتار با اصطلاح Reward Hacking شناخته می شود. در این حالت، سیستم هوش مصنوعی به جای دنبال کردن هدف مورد نظر طراحان به روشی قابل قبول، راهی پیدا می کند که معیار موفقیت یا پاداش را برآورده کند؛ حتی اگر نتیجه با نیت اصلی سازندگان تفاوت داشته باشد.

این مسئله برای عامل های هوش مصنوعی اهمیت ویژه ای دارد، زیرا این سیستم ها صرفا متن تولید نمی کنند و می توانند با استفاده از ابزارهای دیجیتال، جست وجوی اینترنتی و تعامل با وب سایت ها اقداماتی واقعی انجام دهند.

آنتروپیک همچنین اعلام کرده است که هنوز ارزیابی کامل و نهایی از همسویی مدل ها در این موارد انجام نشده است. با این حال، این شرکت حوادث تازه را از نظر شدت، کم خطرتر از برخی حوادث امنیت سایبری اعلام شده در تابستان می داند.

آنتروپیک چه اقداماتی برای افزایش ایمنی انجام می دهد؟

این شرکت اعلام کرده است که برای کاهش احتمال تکرار چنین رفتارهایی، چند تغییر در زیرساخت و فرایندهای ارزیابی خود اعمال می کند:

• محدود کردن دسترسی به اینترنت: دسترسی آزمایش های داخلی به اینترنت زنده متوقف می شود تا امکان تعامل ناخواسته با سامانه های واقعی کاهش یابد.
• انتقال عامل های داخلی به زیرساخت مدیریت شده: آنتروپیک قصد دارد عامل های داخلی خود را به زیرساختی متمرکز با سازوکارهای محدودسازی و مهار قوی منتقل کند.
• افزایش نظارت بر فعالیت عامل ها: این شرکت از ابزارهای بیشتری برای پایش رفتار مدل ها استفاده می کند.
• استفاده گسترده تر از طبقه بندهای ایمنی: سامانه های تشخیص رفتارهای ناخواسته با دفعات بیشتری فعالیت عامل ها را بررسی خواهند کرد.
• توقف یا انتقال برخی ارزیابی ها به محیط آفلاین: آزمایش هایی که خطر تعامل ناخواسته با اینترنت را دارند، متوقف می شوند یا بدون اتصال مستقیم به اینترنت ادامه پیدا می کنند.

آنتروپیک می گوید ابزارهای جدید نظارتی را با استفاده از نمونه هایی مشابه حوادث شناسایی شده آزمایش کرده و این ابزارها توانسته اند از وقوع رفتارهای مورد نظر جلوگیری کنند. با این حال، هنوز مشخص نیست چه معیارهایی برای بازگرداندن دسترسی کامل به اینترنت در آزمایش های داخلی در نظر گرفته خواهد شد.

قطع دسترسی اینترنت چه پیامدی برای توسعه هوش مصنوعی دارد؟

محدود کردن دسترسی به اینترنت می تواند خطر تعامل ناخواسته عامل های هوش مصنوعی با سامانه های واقعی را کاهش دهد، اما در عین حال ممکن است فرایند ارزیابی و توسعه این مدل ها را دشوارتر کند.

دسترسی به اینترنت یکی از قابلیت های مهم عامل های هوش مصنوعی است؛ قابلیتی که به آنها اجازه می دهد اطلاعات تازه پیدا کنند، با ابزارهای دیجیتال کار کنند و وظایف پیچیده را به نمایندگی از کاربران انجام دهند. اگر این سیستم ها قرار است در محیط های حرفه ای مورد استفاده قرار گیرند، باید در شرایطی ارزیابی شوند که تا حد ممکن به محیط واقعی شباهت داشته باشد.

از سوی دیگر، آزمایش عامل ها در اینترنت واقعی بدون نظارت و محدودیت کافی می تواند به تعامل ناخواسته با وب سایت ها، استفاده غیرمجاز از خدمات یا ثبت اطلاعات نادرست منجر شود. به همین دلیل، شرکت های سازنده با چالشی دوگانه روبه رو هستند: فراهم کردن محیطی واقع گرایانه برای آزمایش مدل ها و در عین حال جلوگیری از آسیب رساندن آنها به سامانه های واقعی.

ضرورت نظارت مستقل بر عامل های هوش مصنوعی

این حوادث بار دیگر بحث درباره ضرورت ارزیابی مستقل و نظارت بیرونی بر سیستم های پیشرفته هوش مصنوعی را مطرح کرده اند. برخی کارشناسان معتقدند افشای داوطلبانه این موارد از سوی شرکت ها اقدامی مثبت است، اما برای ایجاد اعتماد عمومی کافی نیست.

به اعتقاد منتقدان، ارزیابی ایمنی نباید تنها به گزارش های داخلی شرکت های سازنده متکی باشد. بررسی مستقل عملکرد مدل ها، دسترسی کافی به شواهد و وجود سازوکارهای شفاف برای گزارش و رسیدگی به حوادث می تواند به شناسایی زودهنگام خطرها کمک کند.

در نهایت، اقدام آنتروپیک برای قطع دسترسی آزمایش های داخلی به اینترنت نشان می دهد که توسعه عامل های هوش مصنوعی فراتر از افزایش توانایی آنها در انجام وظایف است. این سیستم ها باید بتوانند در کنار عملکرد قدرتمند، محدودیت ها را رعایت کنند، از اقدامات ناخواسته دور بمانند و در صورت بروز رفتار غیرمنتظره به سرعت شناسایی و مهار شوند.