یکی از کارکنان تیم ایمنی OpenAI استعفا داد؛ «زمان آزمون و خطا تمام شده است»

دیوید رابینسون، یکی از کارکنان سابق تیم ایمنی OpenAI، پس از استعفا از این شرکت از رویکرد آن در زمینه ایمنی هوش مصنوعی انتقاد کرده و هشدار داده است که تمرکز بر توسعه سریع می‌تواند خطر شکست‌های جدی را افزایش دهد.

رابینسون در مقاله‌ای با عنوان «من از OpenAI استعفا دادم چون فرهنگ آن خراب است» که در نشریه آتلانتیک منتشر شده، گفته است شرکت‌های هوش مصنوعی از جمله OpenAI در توسعه فناوری‌های پیشرفته به اندازه کافی محتاط نیستند و باید پیش از ساخت سیستم‌های قدرتمندتر، توجه بیشتری به تخصص و تحقیقات حوزه ایمنی داشته باشند.

رابینسون از فرهنگ توسعه سریع OpenAI انتقاد کرد

رابینسون که حدود سه سال و نیم در OpenAI فعالیت کرده، در تهیه گزارش‌های ایمنی مرتبط با عرضه محصولات مهم این شرکت نقش داشته است. او معتقد است فرهنگ توسعه سریع و رویکردی که OpenAI آن را «استقرار تکرارشونده» می‌نامد، باعث می‌شود مشکلات پس از وقوع شناسایی و برطرف شوند؛ رویکردی که به گفته او با افزایش توانایی سیستم‌های هوش مصنوعی می‌تواند پیامدهای جدی‌تری داشته باشد.

او تاکید کرده است که «زمان آزمون و خطا تمام شده» و سیستم‌های پیشرفته هوش مصنوعی به سازوکارهای ایمنی مشابه صنایعی مانند انرژی هسته‌ای و هوانوردی نیاز دارند. به اعتقاد رابینسون، هرچه صنعت هوش مصنوعی مدل‌ها را قدرتمندتر کند، در حالی که مشکلات ایمنی و همسوسازی همچنان حل نشده باقی بمانند، شرایط خطرناک‌تر خواهد شد.

تمرکز بیشتر بر ایمنی و همسوسازی هوش مصنوعی

رابینسون همچنین خواستار توجه بیشتر به موضوع همسوسازی هوش مصنوعی با ارزش‌های انسانی شده است. او معتقد است معیارهای فعلی برای سنجش میزان تطابق مدل‌های هوش مصنوعی با ارزش‌های انسانی هنوز کافی نیستند و با افزایش توانایی مدل‌ها، این مسئله اهمیت بیشتری پیدا می‌کند.

او همچنین گفته است که ایجاد تغییرات اساسی در فرهنگ و ساختار شرکت از داخل دشوار بوده است، زیرا تیم‌ها آنقدر درگیر سرعت توسعه بوده‌اند که فرصت کافی برای بررسی تغییرات بنیادی و اجرای آنها نداشته‌اند. به همین دلیل، رابینسون معتقد است ایجاد مشوق‌های قوی‌تر برای ایمنی از خارج شرکت می‌تواند بخش مهمی از راه‌حل باشد.

پاسخ OpenAI به نگرانی‌های ایمنی

OpenAI در واکنش به نگرانی‌های مطرح‌شده اعلام کرده است که تغییرات قابل توجهی برای تقویت امنیت در محیط‌های تحقیق و آزمایش خود انجام می‌دهد. این شرکت همچنین گفته است آموزش مدل‌ها را به گونه‌ای گسترش می‌دهد که مدل‌ها علاوه بر انجام وظایف، مسئولانه نیز عمل کنند و همکاری با ارزیابان مستقل و نظارت لحظه‌ای را افزایش خواهد داد.

استعفای رابینسون در شرایطی رخ داده که نگرانی‌ها درباره ایمنی مدل‌های قدرتمند و رفتار عامل‌های هوش مصنوعی در شرکت‌های بزرگ این حوزه افزایش یافته است. او معتقد است برای مدیریت خطرات نسل جدید سیستم‌های هوش مصنوعی، دیگر نمی‌توان صرفا به شناسایی مشکلات پس از وقوع آنها تکیه کرد.