چگونه یک استارت‌آپ کوچک اسرائیلی باعث نفوذ و هک خودسرانه هوش مصنوعی در اپن‌ای‌آی، آنتروپیک و متا شد؟

طی دو هفته گذشته، غول‌های فناوری شامل اپن‌ای‌آی (OpenAI)، آنتروپیک (Anthropic) و متا (Meta) افشا کردند که مدل‌های هوش مصنوعی آن‌ها در طول آزمایش‌های امنیتی روتین، رفتارهای خودسرانه و مشابه هک ارائه داده‌اند. تمام این شرکت‌ها در توضیح علت وقوع این حادثه، به نام یک استارت‌آپ کوچک اسرائیلی به نام ایرگولار (Irregular) اشاره کرده‌اند.

به گزارش بخش اخبار فناوری زوم تک به نقل از سی‌ان‌بی‌سی (CNBC)، استارت‌آپ ایرگولار (Irregular) که سه سال پیش تأسیس شده و در تل‌آویو مستقر است، یکی از بازیگران تخصصی حوزه امنیت هوش مصنوعی به شمار می‌رود. این شرکت با جذب ۸۰ میلیون دلار سرمایه از شرکت‌های سکویا (Sequoia) و ردپوینت ونچرز (Redpoint Ventures)، سال گذشته ۴۵۰ میلیون دلار ارزش‌گذاری شد. فناوری این استارت‌آپ به عنوان یک محیط آزمایش امنیت سایبری برای مدل‌های هوش مصنوعی عمل می‌کند.

نقش محیط آزمایشی ایرگولار در رفتارهای هکری هوش مصنوعی

با قدرتمندتر شدن مدل‌های پیشرو هوش مصنوعی، توانایی آن‌ها در انجام اقدامات مخرب به یک تهدید بزرگ برای شرکت‌ها و دولت‌ها تبدیل شده است؛ به‌ویژه زمانی که این خطر شامل نفوذ و هک به سیستم‌ها و زیرساخت‌های حیاتی رایانه‌ای باشد. رفتارهای غیرمنتظره اخیر در اپن‌ای‌آی، آنتروپیک و متا همگی شامل دسترسی مدل‌های هوش مصنوعی آن‌ها به وب‌سایت‌هایی بوده که در طول آزمایش‌های امنیت سایبری باید خارج از دسترس می‌بودند.

نام استارت‌آپ ایرگولار به این دلیل مطرح شد که به عنوان میزبان این محیط ارزیابی امنیتی (Testbed) شناسایی شده است. اپن‌ای‌آی در پست وبلاگی خود در تاریخ ۴ اوت اعلام کرد که بستر آزمایشی ایرگولار دارای یک «پیکربندی نادرست» نامشخص بوده که «به مدل‌ها اجازه داده به اینترنت عمومی دسترسی پیدا کنند». آنتروپیک نیز هفته قبل از آن در پستی اعلام کرد تنها چند روز پس از شروع تحلیل داده‌ها به ایرگولار اطلاع داده که مدل کلود (Claude) ممکن است «به اینترنت دسترسی پیدا کرده باشد».

در این میان، متا که در رقابت برای توسعه هوش مصنوعی پیشرفته عقب‌تر از دو شرکت دیگر قرار دارد، آخرین کمپانی بود که افشا کرد مدل هوش مصنوعی آن با دسترسی به اینترنت به یک سیستم شخص ثالث نفوذ کرده است. سخنگوی متا در بیانیه‌ای اعلام کرد که این شرکت از طریق ایرگولار از این موضوع مطلع شده و در حال بررسی آن است. سخنگوی متا افزود که این شرکت «پس از مشخص شدن تمام حقایق، یک گزارش بازنگری کامل منتشر خواهد کرد».

شرکت ایرگولار در بیانیه‌ای به CNBC اعلام کرد که تمام این حوادث ناشی از «یک مشکل یکسان در محیط ارزیابی» بوده که اولین بار توسط آنتروپیک افشا شد. این شرکت افزود که در حال نگارش یک مقاله سفید (White Paper) است تا «بهترین روش‌ها را برای ایزوله‌سازی و اجرای ایمن ارزیابی‌های سایبری به اشتراک بگذارد». این استارت‌آپ تأکید کرد که شرایط پیش‌آمده «شامل فرار از محیط ایزوله (Sandbox Escape) یا یک اقدام سایبری پیچیده نبوده است» و در حال حاضر هیچ مشکل حل‌نشده‌ای وجود ندارد.

چرا غول‌ های فناوری به شرکت‌ های ارزیابی امنیت هوش مصنوعی نیازمندند؟

این حوادث امنیتی نشان‌دهنده ماهیت به شدت در حال تحول هوش مصنوعی و فشاری است که بر توسعه‌دهندگان مدل‌ها وجود دارد تا با کمک تعداد محدودی از شرکت‌های تخصصی، نرده‌های محافظ (Guardrails) و ایمنی را پیرامون فناوری‌های قدرتمند خود ایجاد کنند. ساندیپ بیمیردی (Sundeep Bhimireddy)، مدیر بخش هوش مصنوعی در استارت‌آپ Von، می‌گوید این بازیگران شامل متخصصان آموزش و برچسب‌گذاری داده‌ها، ارزیابی توانمندی‌های مدل و اجرای تست‌های امنیتی برای یافتن نقاط ضعفی هستند که بازیگران مخرب می‌توانند از آن‌ها سوءاستفاده کنند.

بیمیردی اشاره کرد که ایرگولار یکی از معدود مجموعه‌هایی است که مهارت‌های فنی لازم برای کمک به سازندگان مدل‌های پایه هوش مصنوعی جهت انجام تست‌های امنیتی پیشرفته را دارد. او از مجموعه‌های دیگری مانند سازمان غیرانتفاعی METR و شرکت عام‌المنفعه Apollo Research نیز نام برد. او گفت: «وقتی این شرکت‌ها مدل‌های خود را آزمایش می‌کنند، نمی‌خواهند خودشان به برگه امتحانی خود نمره بدهند؛ آن‌ها خواهان ارزیابی مستقل توسط پیمانکاران و شرکت‌های ثالث هستند.»

استارت‌آپ ایرگولار (Irregular) چیست و چه فعالیت‌ هایی دارد؟

استارت‌آپ ایرگولار (که قبلاً با نام Pattern Labs شناخته می‌شد) در سال ۲۰۲۳ توسط دان لاهاو (Dan Lahav)، پژوهشگر سابق هوش مصنوعی در IBM، و اوومر نِوو (Omer Nevo)، مدیر فنی سابق گوگل، تأسیس شد. طبق داده‌های پلتفرم PitchBook، این استارت‌آپ حدود ۳۵ کارمند دارد.

هنگامی که ایرگولار در سپتامبر خبر جذب سرمایه ۸۰ میلیون دلاری خود را اعلام کرد، شرکای موسسه Sequoia یعنی شان مگوایر و دین میر در پستی نوشتند که تیم تحت مدیریت لاهاو و نِوو «قادر است زوایایی را ببیند که دیگران قادر به دیدنش نیستند؛ آن‌ها ارزیابی‌های تهاجمی سایبری را روی مدل‌های پیشرفته اجرا می‌کنند و قبل از انتشار مدل‌ها، ابزارهای دفاعی را توسعه می‌دهند.»

اگرچه حوادث اخیر با حضور اپن‌ای‌آی، آنتروپیک و متا به شدت زیر ذره‌بین قرار گرفته است، اما یک برداشت از این وضعیت این است که اتفاق رخ‌داده دقیقاً همان چیزی است که باید در تست‌های امنیتی انجام شود. بیمیردی معتقد است که موضوع کمی بیش از حد بزرگ شده است، زیرا مدل هوش مصنوعی هدایت شده بود تا رخنه‌های امنیتی را در یک محیط آزمایشی شبیه‌سازی‌شده کشف و باز کند و باگ‌های نرم‌افزاری و پیکربندی‌های نادرستی را که می‌تواند منجر به دسترسی ناخواسته به اینترنت شود، پیدا کند.

با این حال، بیمیردی گفت که اگر قرار نبوده مدل هوش مصنوعی واقعاً به یک سایت متصل به اینترنت نفوذ کند، آزمایشگاه‌های هوش مصنوعی می‌توانستند به راحتی ترافیک خروجی را نظارت کرده و آزمایش را بلافاصله متوقف کنند.

تجربه‌آموزی از رفتار غیرقابل پیش‌ بینی مدل‌ های پایه هوش مصنوعی

گوردون ریوس (Gordon Rios)، دانشمند ارشد شرکت امنیتی Magnitude، روند کل این فرآیند را به «طراحی آزمایشی در علم» تشبیه کرد. وی گفت توانمندی‌ها و ماهیت غیرقابل پیش‌بینی مدل‌های پایه به این معنی است که روش‌های سنتی تست نرم‌افزار ممکن است روی آن‌ها پاسخگو نباشد. از آنجا که مدل‌ها مداوماً در حال یادگیری ترفندهای جدید هستند، تعجب‌آور نیست که آن‌ها نقاط ضعف نرم‌افزاری نادیده‌گرفته‌شده در محیط‌های آزمایشی و IT را کشف کنند.

به عنوان مثال، مدل میثوس (Mythos) متعلق به آنتروپیک، هویت‌های آنلاین جعلی ایجاد کرد تا انسان‌ها را تحت فشار قرار دهد تا به‌روزرسانی‌های کد مخرب یک پروژه متن‌باز را تأیید کنند. ریوس گفت مدل Mythos «دقیقاً در حال ابداع روش‌های نفوذی بود که انسان‌ها قبلاً هرگز ندیده بودند». او افزود: «ما اکنون در طول چند هفته کوتاه در حال یادگیری نکات بسیار زیادی هستیم.»

ورود قانون‌گذاران واشنگتن و لایحه کلید قطع اضطراری هوش مصنوعی

این موضوع به سرعت در حال تبدیل شدن به یک بحث اصلی در واشنگتن است. ماه گذشته، قانون‌گذاران آمریکایی از هر دو حزب، لایحه کلید قطع اضطراری هوش مصنوعی (AI Kill Switch Act) را ارائه کردند که آزمایشگاه‌های هوش مصنوعی را ملزم می‌سازد توانایی خاموش کردن، محدود کردن یا معلق‌سازی مدل‌های خود را حفظ کنند. متن این لایحه به حادثه امنیتی دیگری در رابطه با اپن‌ای‌آی و استارت‌آپ HuggingFace نیز اشاره دارد.

تد لیو (Ted Lieu)، نماینده دموکرات کالیفرنیا و یکی از نویسندگان این لایحه، این هفته به CNBC گفت: «اکنون که شاهد هک‌های غیرمجاز توسط مدل‌ها در شرکت‌های دیگر هستیم، باید این لایحه را امسال به تصویب نهایی برسانیم.»

تروور کوورکو (Trevor Koverko)، هم‌بنیان‌گذار استارت‌آپ داده‌کاوی Sapien، گفت شرکت‌های توسعه‌دهنده مدل‌های پایه انگیزه دارند برخی از یافته‌های خود را افشا کنند — اگرچه در حال حاضر الزامی قانونی برای آن وجود ندارد — تا بتوانند از قانون‌گذاران و نهادهای نظارتی پیشی بگیرند. او گفت: «ترس زیادی وجود دارد و سیاستمداران اکنون در حال تهدید یا تنظیم مقررات برای هوش مصنوعی هستند. اهالی صنعت ترجیح می‌دهند خودشان مقررات را تنظیم کنند تا اینکه یک نهاد فدرال جدید بیاید و این کار را برای آن‌ها انجام دهد.»

شرکت‌های آنتروپیک و اپن‌ای‌آی در بیانیه‌های عمومی خود اعلام کردند که به همکاری خود با ایرگولار ادامه می‌دهند و از بررسی‌ها و بازنگری‌های بعدی پشتیبانی می‌کنند.