سامسونگ از TRUEBench برای سنجش هوش مصنوعی در دنیای واقعی رونمایی کرد

به گزارش بخش اخبار فناوری زوم تک، سامسونگ کمپانی مطرح فناوری است که هر ساله با محصولات متنوع خود موردتوجه همگان قرار می گیرد.

سامسونگ TRUEBench را معرفی کرده است، یک معیار جدید که برای نشان دادن عملکرد هوش مصنوعی در محیط‌های کاری واقعی طراحی شده است. TRUEBench به جای تمرکز بر وظایف دانشگاهی محدود، سیستم‌های هوش مصنوعی را از طریق مشاغل روزمره‌ای که مردم واقعاً از آنها استفاده می‌کنند، اجرا می‌کند. این معیار ۲۴۸۵ سناریو را در ده دسته، ۴۶ زیردسته و دوازده زبان پوشش می‌دهد. وظایف از درخواست‌های سریع تا پردازش اسناد طولانی با بیش از ۲۰۰۰۰ کاراکتر متغیر است.

برخلاف بسیاری از معیارهای هوش مصنوعی که عملکرد پرسش و پاسخ ساده را به زبان انگلیسی آزمایش می‌کنند، TRUEBench به وظایف عملی اداری نگاه می‌کند. این شامل ترجمه، خلاصه‌سازی اسناد، تجزیه و تحلیل داده‌ها و دستورالعمل‌های چند مرحله‌ای است که در آن هوش مصنوعی باید زمینه را به خاطر بسپارد. ایده این است که انواع فعالیت‌هایی را که کاربران در کار روزانه به آنها وابسته هستند، از دستورات کوتاه گرفته تا گزارش‌های کامل تجاری، ثبت کند.

قبولی در آزمون TRUEBench آسان نیست. برای هر وظیفه، مدل باید هر شرایطی را برآورده کند، از جمله انتظارات ناگفته‌ای که یک کاربر منطقی خواهد داشت. اگر هر بخشی از دست رفته باشد، نتیجه به عنوان یک شکست محسوب می‌شود. این امتیازدهی «همه یا هیچ»، معیار را سخت‌تر می‌کند، اما همچنین به نحوه قضاوت افراد در مورد مفید بودن یک پاسخ هوش مصنوعی نزدیک‌تر می‌شود.

سامسونگ قوانین را از طریق ترکیبی از ورودی‌های انسانی و هوش مصنوعی ایجاد کرد. حاشیه‌نویسان شرایط را نوشتند، هوش مصنوعی تداخل‌ها را علامت‌گذاری کرد و انسان‌ها قبل از نهایی کردن چارچوب، آنها را اصلاح کردند. پس از تنظیم، آزمایش‌ها می‌توانند از طریق امتیازدهی خودکار هوش مصنوعی در مقیاس بزرگ اجرا شوند.

سامسونگ برای ایجاد اعتماد، مجموعه داده‌ها، جدول امتیازات و آمار خروجی Hugging Face را منتشر کرده است. آنها به کاربران این امکان را داده‌اند که تا پنج مدل را با هم مقایسه کرده و آنها را در کنار هم قضاوت کنند. با انتشار داده‌ها، محققان و توسعه‌دهندگان می‌توانند خودشان معیار را قضاوت کنند.

TRUEBench یک آزمون هوش مصنوعی جدید و جسورانه است، اما خالی از نقاط ضعف نیست. گاهی اوقات، پاسخی که ممکن است به کاربر کمک کند، هنوز توسط کد آن اشتباه علامت‌گذاری می‌شود. این ابزار با دوازده زبان کار می‌کند که یک گام به جلو است. با این حال، در زبان‌هایی با داده‌های آموزشی کمتر، نقاط پایانی می‌توانند تغییر کنند و پایه محکمی را از دست بدهند.

همچنین بیشتر به سمت وظایف مرتبط با استفاده تجاری متمایل می‌شود. ممکن است زمینه‌هایی مانند حقوق، سلامت یا علوم عمیق در این آزمون به طور کامل نمایان نشوند. بنابراین، اگرچه TRUEBench گامی تازه است، اما هم امیدها و هم کاستی‌های روش‌های جدید برای سنجش هوش مصنوعی را نشان می‌دهد.

پاول (کیونگ‌ووون) چئون، مدیر ارشد فناوری گروه DX سامسونگ و رئیس تحقیقات سامسونگ، گفت که این شرکت TRUEBench را به عنوان پایه جدیدی برای آزمایش‌های هوش مصنوعی می‌بیند. وی افزود که این ابزار، استاندارد سنجش مهارت هوش مصنوعی را افزایش می‌دهد و به تقویت جایگاه سامسونگ در این حوزه کمک خواهد کرد. سامسونگ با تکیه بر مراحل روشن و موارد استفاده واقعی، می‌خواهد TRUEBench راهی سخت اما منصفانه برای ردیابی آنچه هوش مصنوعی می‌تواند انجام دهد، در واقع آنچه اکنون انجام می‌دهد، باشد.

منبع: gizchina