داشتن یک مکالمه در یک اتاق شلوغ که موسیقی در آن آنقدر بلند است که به سختی میتوانید فرد روبرایتان را بشنوید، باعث میشود تلاش کنید به یک متخصص در لبخوانی تبدیل شوید. شما سعی میکنید زبان بدن و نیت فرد را بفهمید تا متوجه شوید چه میگوید.
به گزارش بخش اخبار فناوری زوم تک به نقل از Digital Trends ، اما اگر به شما بگویم که یک هوش مصنوعی در حال حاضر در این زمینه عملکرد بهتری دارد و تنها چیزی که نیاز دارد دیدن لبهای شماست؟ تنها با تماشای نحوه حرکت لبهای شما، این سیستم میتواند بدون شنیدن حتی یک صدا، متوجه شود چه چیزی میگویید؛ موضوعی که به اندازه فناوری خواندن عضلات گردن توسط هوش مصنوعی که اوایل امسال بررسی کردیم، جذاب است.
سیستم DLLM-VSR؛ هوش مصنوعی چگونه لب ها را در سکوت میخواند؟
محققان موسسه پیشرفته علم و فناوری کره (KAIST) سیستم هوش مصنوعی جدیدی را توسعه دادهاند که این امکان را کمی به واقعیت نزدیکتر میکند. این فناوری که DLLM-VSR نام دارد، حرکات لب را خوانده و آنها را به متن تبدیل میکند، و از یک رویکرد هوشمندانه برای رمزگشایی کلماتی استفاده میکند که در غیر این صورت تشخیص بصری آنها دشوار بود.
بر اساس اعلام رسمی KAIST، این سیستم به نرخ خطای کلمه تنها ۱۹.۴ درصد در یک معیار استاندارد لبخوانی دست یافت و رکورد جدیدی را در میان روشهای آموزشدیده با همان مجموعه دادههای برچسبگذاریشده ثبت کرد.

فناوری لب خوانی هوشمند چگونه کار میکند؟
لبخوانی حتی برای هوش مصنوعی به طرز شگفتآوری پیچیده است. برخی صداها مانند «p»، «b» و «m» حرکات دهان تقریباً یکسانی ایجاد میکنند، که تعیین دقیق آنچه فرد بدون شنیدن میگوید را سخت میکند. سیستمهای سنتی تشخیص گفتار با هوش مصنوعی معمولاً کلمات را به صورت ترتیبی، از چپ به راست پردازش میکنند. مشکل این است که یک پیشبینی نادرست در ابتدای جمله میتواند روی هر چیزی که در ادامه میآید تأثیر بگذارد.
محققان با استفاده از مدل زبانی بزرگ دیفیوژن (DLLM) رویکرد متفاوتی را توسعه دادند. به جای اینکه هوش مصنوعی را مجبور کنند هر کلمه را به ترتیب تفسیر کند، این سیستم ابتدا بخشهایی از جمله را که بیشترین اعتماد را به آنها دارد، شناسایی میکند. سپس از آن کلمات به عنوان زمینه برای پر کردن تدریجی قطعات گمشده استفاده میکند، پس از آن که اطلاعات بخشهای قبلی و بعدی جمله را در نظر گرفت.

این سیستم همچنین چندین طول جمله ممکن را بر اساس مدت زمان ویدیو تخمین میزند، رونوشتهایی برای هر یک تولید میکند و محتملترین نتیجه را انتخاب میکند. در مقاله پژوهشی خود، این تیم گزارش داد که با استفاده از ۴۳۳ ساعت داده ویدیویی برچسبگذاریشده، به نرخ خطای کلمه ۱۹.۴ درصدی در معیار LRS3 دست یافته است. این رقم کلمات به اشتباه شناختهشده، مفقودشده و اضافی را اندازهگیری میکند، نه درصد مکالمات کاملی که به درستی درک شدهاند.
انقلابی در دسترس پذیری و دسترسی بهتر برای همه
کاربردهای بالقوه این فناوری بسیار فراتر از درک مکالمات در رستورانهای شلوغ است. محققان استفاده از این فناوری را در محیطهای صنعتی که ماشینآلات برقراری ارتباط صوتی را دشوار میکنند، پیشبینی میکنند. همچنین میتواند از دستگاههای دسترسپذیری (Accessibility) پشتیبانی کند که حرکات لب را برای کاربران ناشنوا و کمشنوا به متن تبدیل میکنند.
با این حال، این فناوری هنوز کاملاً برای استفاده روزمره آماده نیست. عملکرد آن همچنان در مجموعههای داده مختلف متفاوت است، و محققان در حال تلاش برای کاهش الزامات محاسباتی آن هستند تا در نهایت بتواند به صورت بلادرنگ روی دستگاههای پوشیدنی و رباتها بدون اتصال به اینترنت کار کند.
جدا از جنبههای مثبت، نگرانیهای قانونی مشروعی در مورد فناوری توانمند در تفسیر مکالمات از ضبطهای ویدیویی صامت وجود دارد. با این وجود، این تحقیق نگاهی جذاب به نحوه تبدیل ارتباطات توسط هوش مصنوعی ارائه میدهد. و شاید روزی، درک یک فرد در یک اتاق غیرممکن شلوغ اصلاً نیازی به شنیدن صدایش نداشته باشد.




نظرات در مورد : دانشمندان خواندن لب را در سکوت مطلق به هوش مصنوعی آموختند؛ فناوری شگفت انگیزی که لب های شما را میخواند