اجرای مدل هوش مصنوعی ۹ میلیاردی روی پلی استیشن ۴؛ دستیابی به سرعت ۳۹ توکن در ثانیه با پردازنده گرافیکی GCN

به گزارش بخش اخبار فناوری زوم تک به نقل از videocardz ، یک توسعه‌دهنده توانسته است با استفاده از کرنل‌های سفارشی پردازنده گرافیکی و تکنیک‌های پیشرفته فشرده‌سازی، مدل هوش مصنوعی قدرتمندی را روی کنسول نسل هشتمی پلی استیشن ۴ اجرا کند.

کنسول محبوب پلی استیشن ۴ (PlayStation 4) سونی که هرگز برای اجرای مدل‌های زبانی بزرگ یا پردازش‌های هوش مصنوعی طراحی نشده بود، اکنون بهری از یک دستاورد فنی شگفت‌انگیز قادر است یک مدل هوش مصنوعی ۹ میلیاردی (9B AI Model) را روی پردازنده گرافیکی GCN خود با سرعتی تا ۳۹ توکن در ثانیه اجرا کند. این پروژه جذاب که با نام Garlic LLM شناخته می‌شود، با بهره‌گیری از کرنل‌های سفارشی GPU و کوانتیزاسیون ۳ و ۴ بیتی، مرزهای استفاده از سخت‌افزارهای قدیمی را جابه‌جا کرده است.

چالش‌ های فنی و دور زدن محدودیت‌ های سخت‌افزاری پلی استیشن ۴

محیط هوم‌برو (Homebrew) پلی استیشن ۴ فاقد هرگونه API پردازشی اختصاصی برای محاسبات گرافیکی مدرن یا کتابخانه‌های یادگیری ماشین است. برای غلبه بر این محدودیت‌ها، توسعه‌دهنده با نام مستعمره Alegría اقدام به توسعه کرنل‌های سفارشی با استفاده از زبان OpenCL C کرد و آن‌ها را برای معماری GCN شرکت AMD کامپایل نمود. این اپلیکیشن به جای تکیه بر درایورهای گرافیکی مرسوم، از طریق بافرهای فرمان دست‌نویس PM4 مستقیماً با پردازنده گرافیکی ارتباط برقرار می‌کند.

ظرفیت حافظه رم یکی دیگر از موانع بزرگ در این مسیر بود. کنسول PS4 دارای ۸ گیگابایت حافظه اشتراکی GDDR5 است، به همین دلیل Garlic LLM با استفاده از کوانتیزاسیون سفارشی توانست مدل Qwen3.5-9B را در فضایی حدود ۴.۵ گیگابایت جای دهد. بیشتر وزن‌های مدل و حافظه پنهان KV از دقت ۴ بیت استفاده می‌کنند، در حالی که ماتریس‌های بزرگ‌تر MLP gate و up projection با دقت ۳ بیت فشرده شده‌اند. این بهینه‌سازی‌ها باعث شد تا برنامه از یک پنجره متنی ۱۶ هزار توکنی پشتیبانی کند.

افزایش سرعت پردازش با دیکدینگ پیش‌بینی‌کننده

این توسعه‌دهنده همچنین با استفاده از قابلیت پیش‌بینی چندتوکنی (MTP) تعبیه‌شده در مدل Qwen3.5، سیستم دیکدینگ پیش‌بینی‌کننده (Speculative Decoding) را پیاده‌سازی کرد. این تکنیک به مدل اجازه می‌دهد تا حداکثر دو توکن را از قبل پیش‌بینی کرده و آن‌ها را در یک پاس واحد تأیید نماید. طبق اطلاعات منتشرشده، این روش عملکرد تولید توکن را از حدود ۲۲ توکن به ۳۱ الی ۳۹ توکن در ثانیه افزایش داده و هنگام تولید کد برنامه حتی به ۴۳ توکن در ثانیه نیز می‌رسد.