راهکارهای ریاضی OpenAI هنوز نتوانسته‌اند استانداردهای علمی این حوزه را برآورده کنند

چالش‌ های اثبات مسائل ریاضی با هوش مصنوعی OpenAI

زمانی که OpenAI در این هفته صدها راهکار ادعایی برای برخی از سخت‌ترین مسائل ریاضی جهان منتشر کرد، این آزمایشگاه پیشرو هوش مصنوعی اعلام نمود که با یک گروه مشورتی از ریاضی‌دانان برجسته مشورت کرده است تا از حواشی و جنجال‌های گذشته در مورد حل مسائل دیرینه این حوزه جلوگیری کند.

به گزارش بخش اخبار فناوری زوم تک به نقل از تک‌کرانچ، اما OpenAI نتوانست این استانداردها را به طور کامل برآورده کند؛ به‌ویژه در بخش‌هایی که ریاضی‌دانان بر ضرورت درک انسانی از نتایج ریاضی تاکید داشتند. این موضوع زمانی نگران‌کننده‌تر شد که یک مقاله جدید، شکاف‌های موجود میان توضیحات زبان طبیعی و راهکارهای رسمی ارائه شده برای یک مسئله یک میلیون دلاری که ظاهراً توسط مدل‌های OpenAI حل شده است را برجسته کرد.

توصیه‌ های گروه مشورتی ریاضیات و هوش مصنوعی (AGMAI)

گروه مشورتی ریاضیات و هوش مصنوعی (AGMAI) که توسط موسسه مطالعات پیشرفته دانشگاه پرینستون میزبانی می‌شود، از ۹ محقق برجسته در موسسات معتبر سراسر جهان تشکیل شده است.

این سازمان در اواخر ماه سپتامبر دستورالعمل‌هایی را برای آزمایشگاه‌های پیشرو در زمینه حل مسائل ریاضی منتشر کرد. سازمان AGMAI در بیانیه‌ای درباره آخرین مجموعه از اثبات‌های ارائه شده اعلام کرد: «در نهایت این جامعه ریاضی‌دانان است که باید ارزیابی کند سفارش‌های ما تا چه حد با موفقیت دنبال شده‌اند.»

با این حال، نخستین درخواست این سازمان «توقف آزمایش مسائل پیشرفته ریاضی روی مدل‌های اختصاصی (Proprietary Models)» بود. این در حالی است که OpenAI صراحتاً اعلام کرده از مدل‌های اختصاصی خود برای ارزیابی مسائل باز پژوهشی در ریاضیات استفاده می‌کند.

عدم شفافیت در زنجیره تفکر مدل‌ ها و روند رسمیت‌ بخشی

این گروه مشورتی در پاسخ به درخواست رسانه تک‌کرانچ (TechCrunch) برای ارزیابی دقیق‌تر آخرین اثبات‌های منتشرشده توسط OpenAI پاسخی نداد. اگرچه این آزمایشگاه به روشنی برخی از اصول آن‌ها مانند انتشار سریع نتایج و ارائه اطلاعات درباره نحوه رسیدن مدل‌ها به نتیجه را رعایت کرده، اما این موضوع شامل همه موارد نمی‌شود؛ چرا که تنها ۱۰ مورد از ۷۱۹ نسخه خطی منتشرشده، شامل زنجیره تفکر (Chain of Thought) مدل بوده‌اند.

برای مقالاتی که انسان‌ها قادر به درک آن‌ها نیستند، ریاضی‌دانان پیشنهاد کردند که اثبات‌ها باید به صورت رسمی‌سازی (Formalization) درآیند؛ اما تنها ۴۲ درصد از اثبات‌های منتشرشده توسط OpenAI این فرآیند را طی نکرده بودند.

انتقاد تِرِنس تائو و مسئله عدم درک انسانی

در نهایت، هنوز مشخص نیست که آیا OpenAI طبق اصول AGMAI مسئولیت «تضمین درک انسانی در ادامه فرآیند» را بر عهده می‌گیرد یا خیر. AGMAI پیشنهاد کرده است که OpenAI باید به تامین مالی فعالیت ریاضی‌دانان انسانی کمک کند؛ زیرا حضور آن‌ها برای کاربردی و معنا‌دار کردن راهکارهای این آزمایشگاه در دنیای واقعی ضروری است.

ترنس تائو (Terence Tao)، ریاضی‌دان برجسته‌ای که از رویکرد OpenAI انتقاد کرده است، پس از انتشار این گزارش در شبکه اجتماعی خود نوشت: «مسائل به صورت خودکار توسط پرامپترهای هوش مصنوعی حل می‌شوند؛ افرادی که پس از “حل شدن” هدف اولیه، هیچ علاقه‌ای به کل این حوزه ندارند و خروجی هوش مصنوعی را در حدی درک نمی‌کنند که بتوانند به سوالات پاسخ دهند، سخنرانی کنند یا با سایر فعالان این حوزه تعامل داشته باشند.»

تناقضات میان زبان طبیعی و زبان برنامه‌ نویسی Lean

این مشکل به خوبی در مقاله‌ای که این هفته توسط ریاضی‌دانان دانشگاه کمبریج و کینگز کالج لندن منتشر شد و رویکرد آزمایشگاه‌های پیشرو به این چالش‌ها را زیر سوال برد، نشان داده شده است.

زمانی که مدل‌های هوش مصنوعی مسائل ریاضی را حل می‌کنند، ابتدا یک توضیح به زبان طبیعی (Natural Language) ایجاد می‌کنند و سپس سعی می‌کنند آن نتیجه را در Lean (یک زبان برنامه‌نویسی که تئوری صحت اثبات را از طریق کامپایل کد تایید می‌کند) بازنویسی نمایند.

با این حال، ممکن است مشکلاتی در نحوه ترجمه اثبات‌های زبان طبیعی به کد وجود داشته باشد؛ این مقاله دست‌کم دو مغایرت میان اثبات زبان طبیعی و کد Lean پشت راهکار ارائه شده توسط OpenAI برای مسئله مشتق‌شده از معادلات ناویر-استوکس (Navier-Stokes) که رفتار پیچیده سیالات را توصیف می‌کند، ثبت کرده است.

ضرورت ارزیابی همتایان و مشارکت جامعه علمی

این ناهماهنگی‌ها لزوماً هیچ‌یک از راهکارها را رد نمی‌کنند، اما این سوال را مطرح می‌سازند که آیا می‌توان بدون دخالت انسان صرفاً به مدل‌ها برای رسمی‌سازی راهکارهای خود تکیه کرد یا خیر. این یکی از دلایلی است که AGMAI از OpenAI خواسته تا «متادیتای قابل خواندن توسط ماشین برای همبستگی میان زبان طبیعی و ساختارهای رسمی» ارائه دهد؛ کاری که این آزمایشگاه پیشرو انجام نداده است.

نویسندگان مقاله «گم‌شده در ترجمه» نتیجه‌گیری می‌کنند: «به دلیل پدیده ترجمه اشتباه (Mistranslation) – همان‌طور که در این مقاله برجسته شده – اثبات‌های زبان طبیعی ارائه شده توسط OpenAI و سایر اثبات‌های خودکار در زبان Lean نباید بدون طی کردن همان فرآیند ارزیابی همتایان (Peer Review) و بررسی‌های دقیقی که سایر اثبات‌ها تحت آن قرار می‌گیرند، مورد اعتماد قرار گیرند.»

ریاضی‌دانان تاکید می‌کنند هنگامی که نتایج جدید توسط انسان‌ها کشف می‌شود، آن‌ها مسئولیت آن را بر عهده می‌گیرند و از طریق مقالات، سخنرانی‌ها و سمینارها با جامعه علمی تعامل برقرار می‌کنند. این فرآیند باعث افزایش درک راهکارها، یافتن استراتژی‌هایی برای حل سایر مسائل و کاربردی شدن دانش جدید در حوزه‌های عملی می‌شود.

ملانی وود (Melanie Wood)، استاد ریاضیات دانشگاه هاروارد، در گفتگو با رسانه تک‌کرانچ گفت: «وقتی به یک مدل پرامپت داده می‌شود تا یک مسئله سخت را حل کند و مدلی یک راهکار بیرون می‌دهد، در زمان انتشار هیچ درک انسانی از آن وجود ندارد و تازه کار اصلی از همین نقطه آغاز می‌شود.»