تحلیل ویدیوهای طولانی: شاهکار جدید اپل با یک مدل زبانی بزرگ

شرکت اپل یک مدل زبانی بزرگ (LLM) را توسعه داده که به طور شگفت انگیزی می تواند ویدیوهای طولانی را به طور کارامد درک و تحلیل کند. این مدل که نسخه بهینه شده SlowFast-LLaVA است، حتی از مدل های بسیار بزرگتر نیز عملکرد بهتری از خود نشان می دهد. این دستاورد می تواند گامی بزرگ در حوزه هوش مصنوعی و پردازش ویدیو باشد.

چالش های تحلیل ویدیو برای هوش مصنوعی

به گزارش بخش اخبار فناوری زوم تک از 9to5Mac، زمانی که یک مدل زبانی بزرگ برای درک ویدیوها اموزش می بیند، ویدیو را به فریم های مختلف تقسیم می کند. سپس با استفاده از بینایی رایانه ای، ویژگی های بصری هر فریم را استخراج کرده و تغییرات انها را در طول زمان تحلیل می کند. در نهایت، همه این داده ها را با زبان هماهنگ می کند تا بتواند ویدیو را به صورت متنی توصیف کند یا در مورد ان استدلال کند.

اما یک راه بسیار غیر کارامد برای این کار، تحلیل تک تک فریم های یک ویدیو است. این روش حجم عظیمی از اطلاعات تکراری ایجاد می کند، زیرا اغلب فریم ها تغییرات قابل توجهی نسبت به فریم قبلی ندارند. این اطلاعات تکراری به راحتی می توانند از “پنجره زمینه” مدل زبانی (حداکثر اطلاعاتی که می تواند همزمان درک کند) فراتر روند. زمانی که این اتفاق می افتد، مدل برای ادامه کار مجبور می شود داده های قدیمی تر را فراموش کند تا فضای کافی برای اطلاعات جدید ایجاد شود.

راه حل هوشمندانه اپل

محققان اپل در مقاله خود با عنوان “SlowFast-LLaVA-1.5: A Family of Token-Efficient Video Large Language Models for Long-Form Video Understanding” (خانواده ای از مدل های زبانی بزرگ ویدیویی کارامد در توکن برای درک ویدیوهای طولانی) به این محدودیت ها اشاره می کنند. به گفته انها، مدل های موجود:

1. به شدت به پنجره های زمینه طولانی و تعداد زیادی فریم وابسته هستند که ناکارامد است.
2. به فرایندهای اموزشی چند مرحله ای و پیچیده ای نیاز دارند که بازتولید انها دشوار است.
3. اغلب تنها برای کارهای ویدیویی بهینه شده اند و درک تصاویر را به خوبی انجام نمی دهند.

برای حل این مشکلات، محققان اپل به سراغ مدل “SlowFast-LLaVA” رفتند. این مدل متن باز با ترکیب سیگنال های فضایی و زمانی از طریق یک سیستم دو جریانه، نتایج امیدبخشی نشان داده بود. اپل این مدل را اصلاح کرده و ان را “SlowFast-LLaVA-1.5” نامید. این مدل از یک “جریان کند” (slow stream) استفاده می کند که تعداد کمتری از فریم ها را با جزئیات بالا بررسی می کند تا محتوای اصلی صحنه را درک کند و یک “جریان سریع” (fast stream) که تعداد بیشتری فریم را با جزئیات کمتر تحلیل می کند تا حرکات را در طول زمان دنبال کند.

عملکرد خیره کننده مدل جدید

نتیجه این پژوهش، خانواده ای از مدل ها با مقیاس های 1B، 3B و 7B پارامتر بود که موفق شد در بسیاری از وظایف ویدیویی، از مدل های بسیار بزرگتر نیز بهتر عمل کند. به گفته محققان، مدل اپل در معیارهای تحلیل ویدیوهای طولانی مانند “LongVideoBench” و “MLVU” نتایج “پیشرو” (state-of-the-art) را در تمام اندازه ها، حتی در کوچکترین نسخه خود (1B)، ثبت کرده است. علاوه بر این، این مدل در وظایف مربوط به تصاویر مانند استدلال منطقی و درک متون نیز عملکرد بسیار خوبی از خود نشان می دهد.

با این حال، این مدل نیز محدودیت های خاص خود را دارد. محققان اپل تصمیم گرفتند که حداکثر طول فریم ورودی مدل 128 باشد. این یعنی، چه در حال تحلیل یک ویدیوی چند دقیقه ای باشید و چه یک ویدیوی چند ساعته، مدل تنها از 128 فریم استفاده می کند که 96 فریم برای جریان سریع و 32 فریم برای جریان کند انتخاب می شود. این روش ممکن است برخی از فریم های کلیدی را در ویدیوهای بسیار طولانی از دست بدهد. با این وجود، رویکرد اپل یک مدل پیشرو در این زمینه ایجاد کرده است که تماما با استفاده از مجموعه داده های عمومی اموزش دیده است. مدل “SF-LLaVA-1.5” اکنون به صورت متن باز در گیت هاب و هاگینگ فیس در دسترس قرار گرفته و مطالعه کامل ان در arXiv منتشر شده است.