استارتاپ فرانسوی Kog با بهینه‌سازی عمیق نرم‌افزاری، استنتاج هوش مصنوعی در کارت‌ های گرافیک را متحول می‌کند

رقابت بر سر دستیابی به استنتاج سریع‌ تر هوش مصنوعی (AI Inference) با شتاب بالایی در جریان است و بازارهای مالی در جریان عرضه اولیه عمومی (IPO) در ماه مه، استقبال بسیار گرمی از شرکت سربراس (Cerebras) و تراشه‌های اختصاصی آن به عمل آوردند. با این حال، استارتاپ فرانسوی Kog رویکرد متفاوتی در پیش گرفته و معتقد است هنوز توان پردازشی استخراج‌نشده بسیار زیادی درون پردازنده‌های گرافیکی معمولی (GPUs) نهفته است.

به گزارش بخش اخبار فناوری زوم تک به نقل از تک‌کرانچ (TechCrunch)، این استارتاپ در ماه مه با انتشار یک پیش‌نمایش فنی با هدف اثبات اینکه «دیکودینگ و رمزگشایی فوق‌سریع تک‌درخواستی روی پردازنده‌های گرافیکی استاندارد دیتاسنتری که شرکت‌ها در حال حاضر مالک آن‌ها هستند امکان‌پذیر است»، به صفحه اول وب‌سایت هکر نیوز (Hacker News) راه یافت؛ آزمایش‌هایی که بر روی تراشه‌های قدرتمند AMD MI300X و Nvidia H200 به نمایش گذاشته شدند.

رفع گلوگاه سرعت و هزینه استنتاج هوش مصنوعی با بهینه‌ سازی نرم‌افزاری

اگرچه برخی کاربران از اینکه این قابلیت شامل پردازنده‌های گرافیکی لپ‌تاپ‌ها نمی‌شود ابراز ناامیدی کردند، اما کارشناسان دیگر پتانسیل عظیم نهفته در این فناوری را به خوبی درک نمودند. در شرایطی که سرعت استنتاج هوش مصنوعی و هزینه‌های گزاف آن به یک گلوگاه و چالش بحرانی در صنعت تبدیل شده است، وعده Kog برای آزادسازی قابلیت‌های نوین بر روی سخت‌افزارهای موجود صرفاً از طریق بهینه‌سازی نرم‌افزاری، مشتریان تجاری بسیاری را جذب کرد. گائل دلالو (Gaël Delalleau)، مدیرعامل این شرکت، اعلام کرد: «ما موفق به جذب ۲۰۰ فرصت تجاری ملموس و مستقیم شدیم.»

بر اساس بازخوردهای اولیه، این بنیان‌گذار انتظار دارد که مهندسی نرم‌افزار نخستین کاربرد واقعی این فناوری باشد. کاربران حرفه‌ای ابزار کدنویسی Claude Code به خوبی می‌دانند که گاهی اوقات برای دریافت نتایج باید ساعت‌ها منتظر بمانند. خود شرکت انتروپیک (Anthropic) نیز می‌داند که سرعت پردازش ارزش مالی بالایی دارد و به همین دلیل برای حالت سریع (Fast Mode) مدل کلود مبالغ بسیار بالاتری دریافت می‌کند.

استارتاپ Kog امیدوار است مشتریانی را هدف قرار دهد که از این تأخیرهای طولانی به ستوه آمده‌اند؛ به‌ویژه کسانی که برای وظایف حرفه‌ای خود به جریان‌های کاری هوش مصنوعی وابسته هستند. دلالو اشاره می‌کند که این استارتاپ شرکای طراحی و توسعه‌ای دارد که به کاربران امکان می‌دهند بازی‌ها و برنامه‌ها را تنها با یک دستور متنی (پرامپت) تولید کنند؛ بنابراین، خروجی سریع‌تر به لطف موتور استنتاج Kog (KIE) مستقیماً به معنای درآمدزایی بیشتر برای آن‌ها خواهد بود.

موتور استنتاج KIE؛ نویدبخش افزایش ۳۰ برابری سرعت در مدل‌ های زبانی بزرگ (LLM)

مدیران این شرکت به خوبی می‌دانند که این بازار هنوز به بلوغ کامل نرسیده است. استارتاپ Kog با ارزیابی دقیق تقاضای بازار دریافت که مشتریان بالقوه تمایلی به فاین‌تیون و بهینه‌سازی مدل‌های کوچک ندارند. دلالو در این رابطه می‌گوید: «دقیقاً به همین دلیل است که از زمان راه‌اندازی، تمام تمرکز خود را بر روی تسریع توسعه مدل‌های زبانی بزرگ (LLMs) گذاشته‌ایم تا بتوانیم پاسخگوی تقاضای موجود باشیم.»

این رویکرد مستلزم جهش بزرگی برای تحقق وعده «افزایش ۳۰ برابری سرعت استنتاج در مدل‌های زبانی بزرگ» است. دموی آزمایشی این شرکت سرعت خیره‌کننده ۳۰۰۰ توکن بر ثانیه (TPS) را به ازای هر درخواست ثبت کرد؛ البته این آزمایش بر روی یک مدل اختصاصی و کوچک با حدود ۲ میلیارد پارامتر با نام Laneformer 2B انجام شد که اکنون به صورت متن‌باز منتشر شده است.

دیدگاه مدیرعامل Kog: معماری GPU آینده‌ای درخشان در پردازش هوش مصنوعی دارد

برخلاف نظر منتقدان و بدبینان، دلالو اطمینان دارد که همین رویکرد نرم‌افزاری می‌تواند بر روی مدل‌های زبانی بسیار بزرگ که ابعاد آن‌ها چالشی اساسی برای تراشه‌های استنتاج است، با همان کیفیت کار کند. او معتقد است: «پردازنده‌های گرافیکی آینده‌ای درخشان دارند.» به باور مدیرعامل Kog، این تصور که کارت‌های گرافیک برای دیکودینگ و رمزگشایی مناسب نیستند، به یک باور غلط تبدیل شده است؛ چرا که نسل‌های جدید پردازنده‌های گرافیکی به پهنای باند حافظه فوق‌العاده بالایی مجهز هستند که تنها نیازمند آزادسازی ظرفیت واقعی خود هستند.

استارتاپ Kog تنها مجموعه‌ای نیست که معتقد است بهینه‌سازی نرم‌افزاری می‌تواند عملکردی فراتر از مشخصات اسمی کارت‌های گرافیک ارائه دهد. استارتاپ فرانسوی دیگری به نام ZML نیز نرم‌افزاری مستقل از سخت‌افزار عرضه کرده که با دور زدن فناوری CUDA انویدیا، از استنتاج سریع روی تراشه‌های رقیب پشتیبانی می‌کند. با این حال، دلالو بیان می‌کند که رویکرد Kog بیشتر به آزمایشگاه Hazy Research در دانشگاه استنفورد شباهت دارد و تمرکز عمیق‌تری را بر روی شتاب‌دهی سطح پایین کارت‌های گرافیک معطوف کرده است.

از فیزیک حالت جامد و هک کلاه سفید تا مهندسی معکوس کدهای باینری

دلالو خود را یک محقق دانشگاهی صرف نمی‌داند و استارتاپ قبلی او (Stribe که در سال ۲۰۰۹ معرفی شد) ارتباط مستقیمی با پروژه جدیدش ندارد؛ به جز همراهی هم‌بنیان‌گذار سابقش، کامل زروال (Kamel Zeroual)، که شرکت سرمایه‌گذاری خطرپذیر او با نام Varsity VC رهبری دور اولیه جذب سرمایه Kog را بر عهده داشته است. در واقع، رویکرد بسیار عمیق این استارتاپ ریشه در پیشینه تحصیلی و شغلی منحصربه‌فرد دلالو دارد.

او پس از تحصیل در رشته فیزیک حالت جامد در دانشگاه پلی‌تکنیک فرانسه (École Polytechnique)، وارد حوزه امنیت سایبری تهاجمی یا همان هک کلاه سفید شد. به گفته دلالو، این مسیر فکری همان دیدگاهی است که اکنون تیم خود را به پذیرش آن تشویق می‌کند: «در بخش علمی، نگرش درک قوانین فیزیک و تسلط بر قواعد پردازنده‌های گرافیکی وجود دارد تا بتوان بیشترین بهره را از آن‌ها برد.»

از سوی دیگر، این متخصص که چهار بار به فینال مسابقات فتح پرچم (CTF) در رویداد دف‌کان (DEFCON) راه یافته است، می‌گوید هک به او آموخته که «چگونه سیستم‌ها را در پایین‌ترین سطح ساختاری – تا سطح زبان اسمبلی و کدهای باینری – مهندسی معکوس کند تا عملکرد آن‌ها را بشناسد و از سخت‌افزار برای دستیابی به هدفی استفاده کند که لزوماً برای آن طراحی نشده است.»

چالش‌ های مهندسی معکوس کارت‌ های گرافیک و برنامه‌ های جذب سرمایه سری A

تنها جنبه منفی این رویکرد، زمان‌بر بودن شدید و نیاز به کار عملی عمیق است. دلالو توضیح می‌دهد: «ما برای هر پردازنده گرافیکی جدید، چندین هفته یا حتی چند ماه زمان اختصاص می‌دهیم تا جزئیات را به طور کامل تحلیل کرده و تحقیقات مهندسی اختصاصی را روی آن سخت‌افزار پیاده کنیم.» با داشتن یک تیم ۱۱ نفره، این موضوع حداقل در آینده نزدیک، تعداد تراشه‌های تحت پشتیبانی Kog را محدود می‌کند.

در بلندمدت، Kog امیدوار است متدولوژی اختصاصی خود را به پایپ‌لاین‌های مبتنی بر عامل‌های هوش مصنوعی (AI Agents) متصل کند تا امکان پشتیبانی همزمان از تراشه‌ها و مدل‌های بیشتری فراهم شود. از آنجا که اروپا در پی تقویت حاکمیت مستقل فناوری خود در این دو حوزه است، این مسئله می‌تواند شرایط بسیار مساعدی را برای رشد این استارتاپ مهیا کند؛ مجموعه‌ای که در حال حاضر از سوی سرویس ابری Scaleway، بانک سرمایه‌گذاری دولتی فرانسه (Bpifrance) و برنامه French Tech 2030 حمایت می‌شود.

با این حال در حال حاضر، استارتاپ Kog باید به جهان ثابت کند که متدولوژی آن بر روی مدل‌های زبانی بزرگ نیز با موفقیت عمل می‌کند؛ امری که کلید اصلی جذب سرمایه‌های جدید خواهد بود. دلالو تأکید کرد: «به محض اینکه نخستین مدل بزرگ خود را با افزایش سرعت ۱۰ برابری اجرا کنیم – که به نظرم در ماه سپتامبر محقق خواهد شد – می‌توانیم بازخورد و تمایل قطعی مشتریان را به نمایش بگذاریم و بر این اساس، دور جذب سرمایه سری A (Series A) خود را آغاز کنیم.»