ساخت ویدئو با هوش مصنوعی ReelMagic

به گزارش زوم تک از تامز گاید، ابزارهای هوش مصنوعی مولد ویدیو به نقطه‌ای رسیده‌اند که می‌توانند پنج ثانیه ویدیو بسازند که تقریباً با کلیپ فیلم‌برداری شده توسط انسان قابل تشخیص نیست. با این حال، اگر بخواهید یک فیلم کوتاه، تبلیغات یا موزیک ویدیو بسازید، هماهنگی بین کلیپ‌ها هنوز یک مشکل است، زیرا شخصیت‌ها بین کلیپ‌ها حفظ نمی‌شوند.

هوش مصنوعی ReelMagic

انجام این کار ممکن است، اما ابتدا باید از یک تصویر استفاده کنید و در تمام تصاویری که در دستورات ویدیویی استفاده می‌کنید، هماهنگی را حفظ کنید. اولین پلتفرمی که به این موضوع پرداخت، LTX Studio از Lightricks بود، اما به مدل‌های موجود در پلتفرم محدود می‌شود. ReelMagic از Higgsfield این موضوع را تغییر می‌دهد.

ReelMagic بهترین فرآیندهای کاری محتوای هوش مصنوعی را در یک پلتفرم گرد هم می‌آورد و از دستور شما یک فیلمنامه ایجاد می‌کند، برای هر نما یک تصویر با شخصیت‌های سفارشی ایجاد می‌کند و سپس به شما اجازه می‌دهد آن تصاویر را به ویدیو تبدیل کنید و داستان را در یک نمای خط زمانی سفارشی کنید.

شما می‌توانید یک فیلم کوتاه تا ۱۰ دقیقه ایجاد کنید و برای تصاویر بین Recraft، Keyframe، Flux و Higgsfield Frame و برای ایجاد ویدیو بین Runway Kling و MiniMax یکی را انتخاب کنید. همچنین افکت‌های صوتی و صداهایی که توسط ElevenLabs ایجاد شده‌اند و هماهنگی لب برای بازیگران هوش مصنوعی وجود دارد.

آزمایش ReelMagic:

ReelMagic از این واقعیت استفاده می‌کند که هر مدل تصویر یا ویدیوی هوش مصنوعی چیز متفاوتی ارائه می‌دهد. برخی در به تصویر کشیدن احساسات بهتر هستند، برخی دیگر در واقع‌گرایی فوق‌العاده. هنگامی که من به صورت دستی یک پروژه ویدیویی هوش مصنوعی می‌سازم، اغلب باید از ترکیبی از مدل‌ها برای دستیابی به اثر مورد نظر استفاده کنم.

برای ساخت یک ویدیوی ۳ دقیقه‌ای با هوش مصنوعی، اگر نوشتن فیلمنامه، برنامه‌ریزی نماها و ایجاد هر تصویر (به یاد داشته باشید که اغلب برای به دست آوردن تصویر دقیقی که در ذهن داشتید، باید دستور را چندین بار اجرا کنید) و سپس ایجاد کلیپ ویدیویی از هر تصویر (دوباره، به دلیل هرگونه خطا، چندین بار اجرا شود) را در نظر بگیرید، می‌تواند بهترین بخش یک هفته طول بکشد.

سپس، پس از دریافت ویدیوها، باید به طراحی صدا بپردازید و افکت‌های صوتی، اتمسفر، موسیقی و صداگذاری را ایجاد کنید. برخی از نماها نیز به هماهنگی لب نیاز دارند. پس از تماشای آن، اغلب متوجه می‌شوید که یک نما گم شده است، بنابراین باید برگردید و فرآیند را تکرار کنید.

ReelMagic همه این کارها را به طور همزمان و با یک دستور انجام می‌دهد. شما یک فیلمنامه دریافت می‌کنید که می‌توانید آن را ویرایش کنید، لیستی از تصاویر که می‌توانید آنها را دوباره ایجاد کنید یا جایگزین کنید و سپس راهی برای ایجاد ویدیو برای هر نما، مدل به مدل یا به طور کلی. این برنامه به طور خودکار افکت‌های صوتی را اضافه می‌کند که می‌توانید آنها را با نیازهای خود نیز تطبیق دهید.

Higgsfield، خالق ReelMagic، نوشته است که این برنامه «به سازندگان این امکان را می‌دهد که عناصر خاصی را بدون تحت تأثیر قرار دادن ظاهر و احساس داستان کلی خود ویرایش کنند». ویژگی مورد علاقه من این است که می‌توانم شخصیت‌ها را یک بار تعریف و طراحی کنم و آنها را در طول پروژه تغییر دهم.

ایجاد یک داستان با ReelMagic:

من این دستور را به ReelMagic دادم:

«شب زمانی است که آنها بیرون می‌آیند، موجودات سایه زاده نفرت ما. موجوداتی از کابوس‌ها که رویاهای ما را تسخیر می‌کنند و کلمات نابودی و ناامیدی را در گوش قدرتمندان زمزمه می‌کنند. هیچ‌کس نمی‌داند آنها از کجا آمده‌اند، هیچ‌کس هرگز آنها را ندیده است، اما آنها همیشه آنجا هستند و از سپیده‌دم تمدن بشری همیشه آنجا بوده‌اند. برخی می‌گویند آنها اولین گونه روی زمین بودند – ارواحی که بر بادهای ستاره‌ای از یک جهان از بین رفته حمل می‌شدند. دیگران می‌گویند آنها تصورات اجداد ما هستند که نمی‌توانستند رها کنند. تنها چیزی که می‌دانیم این است که… آنها قوی‌تر می‌شوند.»

سپس باید یک “سبک” انتخاب می‌کردم. این می‌تواند از یک نمایش موجود، مانند Wednesday، یا یک مفهوم سفارشی الهام گرفته شود. من با نسخه اصلی رفتم چون می‌خواستم ببینم هوش مصنوعی چه چیزی ارائه می‌دهد.

پس از حدود سه دقیقه، یک فیلمنامه و گروهی از شخصیت‌ها و لیستی از مکان‌ها به من ارائه شد که می‌توانستم آنها را تطبیق دهم، طراحی مجدد کنم، به آنها صدا اختصاص دهم یا برای تناسب با ایده‌ام تغییر دهم.

از آنجایی که من این کار را برای آزمایش پلتفرم انجام می‌دادم، با تمام تنظیمات ارائه شده، از جمله فیلمنامه، موافقت کردم. من هیچ چیزی را تغییر ندادم چون می‌خواستم ببینم هوش مصنوعی به تنهایی چه چیزی ارائه می‌دهد. ایده این است که ببینیم چقدر خوب می‌تواند یک پروژه کامل را از یک دستور ایجاد کند.

نمای استوری‌برد به شما امکان می‌دهد تمام نماهای ایجاد شده را بررسی کنید و تغییرات مناسب را انجام دهید. این شامل ایجاد مجدد یک نمای واحد با یک مدل تصویر متفاوت، تعویض چهره‌ها در صورت عدم تطابق با دیدگاه شما و ایجاد ویدیو است.

سپس می‌توانید به نمای ویرایشگر بروید. این مانند یک پلتفرم ویرایش ویدیوی معمولی است که در آن کلیپ‌های فردی یکی پس از دیگری بر روی یک خط زمانی قرار می‌گیرند، همراه با افکت‌های صوتی و گفتار. پس از ایجاد ویدیوها، می‌توانید هماهنگی لب هر چهره را با صدای ایجاد شده نیز داشته باشید.

من تصمیم گرفتم از همان مدل برای همه کلیپ‌ها – Kling 1.5 Pro – استفاده کنم، زیرا یک مدل خوب و همه‌کاره است. همچنین کندترین مدل از بین مدل‌های ارائه شده است، بنابراین این مقاله کمی بیشتر از آنچه امیدوار بودم طول کشید.

نتیجه:

شما می‌توانید خروجی نهایی را در ویدیوی یوتیوب در بالا ببینید، همراه با صداگذاری، هماهنگی لب و افکت‌های صوتی. من همچنین یک مثال کوتاه ۳۰ ثانیه‌ای از نحوه مدیریت صحنه افتتاحیه با استفاده از فرآیند کاری معمولی خود در Pika 2.0 (در زیر) ساختم.

با توجه به اینکه فرآیند تا حد زیادی خودکار است، خروجی نهایی به چیزی که به صورت دستی ایجاد می‌کردم نزدیک‌تر از آنچه انتظار داشتم بود.

من داستان را آنطور که نوشته شده بود نمی‌گرفتم چون کمی ابتدایی بود و شخصیت‌ها را تغییر می‌دادم، تنوع بیشتری به نماها اضافه می‌کردم و ظرافت بیشتری را شامل می‌کردم، اما برای یک تلاش تک شات – بد نبود.

ارزش واقعی در این است که تغییر هر عنصر واحد در فرآیند چقدر آسان است. این آن را به یک ابزار تولید و همچنین راهی برای ایجاد یک ویدیوی هوش مصنوعی با فرم طولانی‌تر از یک دستور تبدیل می‌کند. من می‌توانم از آن برای استوری‌برد یک ایده، تکرار سریع تغییرات و سپس ایجاد در یک مکان در مدل‌های مختلف استفاده کنم.

این نمونه‌ای از جایی است که من فکر می‌کنم نسل بعدی ابزارهای هوش مصنوعی به آن سمت خواهد رفت – تولید محصول. مدل‌ها با سرعت زیادی در حال بهبود هستند، بنابراین گام منطقی بعدی ایجاد ابزارهای مبتنی بر هوش مصنوعی است که می‌توانید از آنها برای ایجاد یک پروژه استفاده کنید، نه یک کلیپ واحد.