به گزارش بخش اخبار فناوری زوم تک به نقل از دیجیتال ترندز، شرکت OpenAI در حال گسترش تلاشهای خود برای مبارزه با سوءاستفاده جنسی آنلاین از کودکان با استفاده از مجموعهای جدید از ابزارهای تشخیص مبتنی بر هوش مصنوعی، مداخلات سختگیرانهتر در ChatGPT و پشتیبانی اضافی برای توسعهدهندگان و آژانسهای مجری قانون است. این اعلامیه که در تاریخ ۱۶ نوامبر منتشر شد، شامل یک طبقهبندیکننده تصویر است که برای شناسایی مطالب بالقوه سوءاستفاده جنسی از کودکان (CSAM)، از جمله تصاویر تولید شده توسط هوش مصنوعی، طراحی شده است؛ این ابزار همچنین اقداماتی را برای متوقف کردن رفتارهای مضر پیش از تشدید آنها در نظر گرفته است.
این اقدام در شرایطی انجام میشود که هوش مصنوعی مولد، تولید محتوای مصنوعی را آسانتر کرده و چالشهای تازهای را برای پلتفرمها و سازمانهای مسئولِ حفاظت از کودکان در فضای آنلاین ایجاد نموده است. شرکت OpenAI میگوید تلاشهای اخیرش بر اساس «نقشه راه امنیت کودکان» (Child Safety Blueprint) موجود شکل گرفته و هدف آن کمک به سازمانها در زمینه تشخیص سوءاستفاده، پاسخگویی به گزارشها و پشتیبانی از تحقیقات است. این شرکت همچنین بهجای اینکه مشکل را مسئلهای بداند که پلتفرمهای فناوری به تنهایی قادر به حل آن هستند، با سازمانهای حامی امنیت کودکان و نهادهای قانونی همکاری میکند.
ارائه ابزار تشخیص CSAM توسط OpenAI به سازمان های تأیید شده
طبقه بندیکننده تصویر جدید به دنبال شاخصهای بصریِ سوءاستفاده احتمالی، از جمله مطالبی که ممکن است توسط هوش مصنوعی تولید شده باشند، میگردد. این ابزار به تصاویر امتیاز میدهد تا به تیمهای ایمنی کمک کند اولویتبندی کنند که کدام موارد نیازمند بررسی توسط انسان است. شرکت OpenAI اعلام کرده است که دسترسی به این ابزار را از طریق رابط برنامهنویسی کاربردی (API) خود بهصورت رایگان در اختیار سازمانهای تأییدشده از جمله گروههای ایمنی کودکان و سایر شرکتهای فناوری قرار میدهد.
ارزیابیهای اولیه نشان میدهند که این طبقهبندیکننده میتواند تعداد تصاویری را که نیاز به بررسی دارند تا ۴۸ درصد کاهش دهد، در حالی که تقریباً همان تعداد تصویر سوءاستفادهگر را مانند ابزار قبلی OpenAI شناسایی میکند. تصاویری که توسط سیستم جدید علامتگذاری شدهاند نیز تقریباً دو برابر بیشتر احتمال دارد که حاوی محتوای سوءاستفاده باشند.

شرکای خارجی نتایج دلگرمکنندهای را در آزمایشهای خود گزارش کردهاند. شرکت Fal اعلام کرد که بازبینیکنندگان انسانی ۷۲ درصد از پرچمهای با اطمینان بالای این شرکت را به عنوان محتوای جدید CSAM تأیید کردند، در حالی که invideo AI گزارش داد که از هر چهار مورد علامتگذاری شده، یک مورد منجر به مسدودسازی شده است. پلتفرم SafetyKit نیز اعلام کرد ارزیابیاش ۹۰ درصد از مواردی را که شامل نقاشیها یا انیمیشنهای دارای محتوای جنسی برای کودکان بوده، تشخیص داده است.
شرکت OpenAI میگوید این ابزار با کمک مرکز ملی کودکان گمشده و استثمارشده (NCMEC) توسعه یافته است. این شرکت همچنین با سازمانهایی از جمله ائتلاف فناوری (Tech Coalition) و ROOST برای بهبود اشتراکگذاری اطلاعات در میان پلتفرمها همکاری میکند.
قطع درخواست های مضر در ChatGPT و ارائه ابزارهای جدید به محققان
شرکت OpenAI همچنین هشدارهای جدیدی را در ChatGPT معرفی میکند هنگامی که کاربران تلاش میکنند به مطالب نامناسب دسترسی پیدا کنند. این هشدارها آسیبهای مرتبط را توضیح داده و افراد را به سمت پشتیبانی تخصصی هدایت میکنند. گفتگوی علامتگذاریشده حذف خواهد شد و دسترسی به ChatGPT به مدت ۲۴ ساعت به حالت تعلیق درخواهد آمد. تخلفات مکرر میتواند منجر به محدودیتهای طولانیتر، بستن حساب کاربری یا گزارش به مراجع قانونی شود.

این شرکت همچنین راهنماییهای ایمنی عملی را برای توسعهدهندگان منتشر کرده است که تشخیص محتوا، گزارشدهی کاربر، تعدیل محتوا و رویههای ارجاع را پوشش میدهد. بهطور جداگانه، محققان مجازِ امنیت کودکان، ابزارهای هوش مصنوعی را برای بررسی گزارشهای طولانی گفتگو و سوابق قانونی، شناسایی ارتباطات احتمالی و ساخت جدول زمانی مرتبط با مطالب منبع دریافت خواهند کرد.
تلاش گستردهتر بسیار حائز اهمیت است زیرا تشخیص محتوای آسیبرسان تنها بخشی از محافظت از کودکان محسوب میشود. پلتفرمها همچنین باید از سوءاستفاده جلوگیری کنند، از قربانیان حمایت نمایند و به محققان کمک کنند تا بر اساس شواهد اقدام کنند. OpenAI میگوید به بهینهسازی این ابزارها و همکاری با سازمانهای خارجی ادامه خواهد داد. اثربخشی آنها به میزان پایداری عملکردشان در دنیای واقعی و گستردگی استفاده توسط گروههای تأییدشدهی امنیت کودکان بستگی خواهد داشت.




نظرات در مورد : اقدام سختگیرانه OpenAI برای جلوگیری از سوءاستفاده از هوش مصنوعی و محافظت از کودکان