قابلیت‌ های جدید جمینای در مک: تایپ صوتی سراسری و پردازش هوشمند صفحه نمایش

دستیار هوش مصنوعی جمینای (Gemini) در سیستم‌ عامل macOS اکنون از قابلیت تایپ صوتی (Dictation) در تمامی برنامه‌ها و یک ویژگی اختیاری برای درک محتوای موجود روی صفحه نمایش جهت انجام دستورات پیچیده پشتیبانی می‌کند.

تحول در تجربه کاربری مک بوک با نسخه جدید دستیار هوشمند گوگل

گوگل پس از انتشار قابلیت Gemini Spark برای سیستم‌عامل macOS در اوایل سال جاری، اکنون اپلیکیشن جمینای برای مک را با دو ویژگی بسیار کاربردی ارتقا داده است؛ ویژگی‌هایی که می‌توانند شیوه انجام کارهای روزمره شما را دگرگون کنند؛ چه قصد داشته باشید نرم‌افزار فعلی تبدیل گفتار به متن خود را کنار بگذارید و چه بخواهید به جمینای اجازه دهید بر اساس آنچه روی صفحه نمایش شما قرار دارد، اقدامات لازم را انجام دهد.

تبدیل گفتار به متن تمیز تنها با فشردن یک کلید در تمامی محیط‌ های سیستم‌ عامل

به گزارش بخش اخبار فناوری زوم تک به نقل از دیجیتال ترندز، با دریافت جدیدترین به‌روزرسانی، کافی است کلید Fn را در هر پنجره بازی فشار داده و نگه دارید و شروع به صحبت کنید. هوش مصنوعی Gemini گفتار شما را دقیقاً در محل نشانگر موس (Cursor) به متنی کاملاً تمیز و عاری از کلمات زائد (مانند «اِم» یا «آه») تبدیل می‌کند. این ویژگی به‌صورت پیش‌فرض فعال است و نیاز به هیچ‌گونه تنظیمات اولیه ندارد؛ همچنین به‌صورت سراسری در تمام بخش‌های سیستم کار می‌کند و به شما امکان می‌دهد ایمیل بنویسید، به پیام‌ها در اسلک (Slack) پاسخ دهید یا یک سند متنی را آماده کنید.

برنامه‌های تایپ صوتی مبتنی بر هوش مصنوعی مانند Wispr Flow و Willow پیش از این عملکرد مشابهی را ارائه می‌دادند و با ویرایش زبان گفتاری، متن نهایی و صیقل‌خورده را در محل نشانگر قرار می‌دادند. اما این ابزارها نیازمند دانلود جداگانه و در برخی موارد خرید اشتراک ماهانه هستند. اکنون که این قابلیت به‌طور مستقیم در برنامه جمینای مک ادغام شده است، داشتن یک ابزار تایپ صوتی مجزا برای کاربران مک که از جمینای استفاده می‌کنند، غیرضروری به نظر می‌رسد.

قابلیت تایپ صوتی به صورت جهانی برای تمامی کاربران برنامه Gemini در macOS در حال عرضه است. این ویژگی در حال حاضر از زبان انگلیسی پشتیبانی می‌کند، اما طبق اعلام گوگل، زبان‌های بیشتری در ادامه همین سال به آن اضافه خواهند شد.

پردازش و درک تصویری محتوای صفحه نمایش توسط هوش مصنوعی جمینای

علاوه بر تایپ صوتی سراسری، برنامه جمینای در مک به قابلیت استدلال بر اساس محتوای صفحه (Screen-Aware Reasoning) نیز مجهز شده است. این ویژگی اختیاری به جمینای اجازه می‌دهد پنجره‌های فعال شما را بخواند و از آن‌ها به عنوان زمینه (Context) برای انجام درخواست‌های پیچیده‌تر استفاده کند. به عنوان مثال، می‌توانید یک صفحه از یادداشت‌های اولیه و خام خود را هایلایت کنید و از جمینای بخواهید آن را به یک خلاصه مدیریتی تبدیل کند؛ سپس هوش مصنوعی متن بازنویسی‌ شده را دقیقاً در محل نشانگر موس شما قرار می‌دهد.

گوگل همچنین یک نمونه کاربردی و چندلایه‌ای دیگر را به نمایش گذاشت؛ جایی که کاربری در حال برنامه‌ریزی برای یک شام تیمی بود و از جمینای خواست فایل‌های هایلایت‌شده را برای بررسی جزئیات مربوط به بودجه و محدودیت‌های رژیم غذایی افراد تحلیل کند و بر اساس آن اطلاعات، یک پیش‌نویس ایمیل یادآوری تنظیم نماید. در همین درخواست، جمینای همچنین پیشنهادهای نزدیک‌ترین فروشگاه‌های چای بوبا (Boba) را از گوگل مپس (Google Maps) استخراج کرد تا به عنوان پی‌نوشت به ایمیل اضافه کند.

سبقت گوگل از اپل در حوزه هوش مصنوعی دسکتاپ

با اضافه شدن این ویژگی‌های جدید، جمینای در مک فراتر از ارائه پاسخ‌های ساده عمل می‌کند. این برنامه اکنون به ابزاری قدرتمندتر تبدیل شده که می‌تواند گفتار را پیاده‌سازی کرده و بر اساس محتوای روی صفحه نمایش دست به اقدام بزند. این گام جدید، گوگل را در موقعیتی بسیار جلوتر از اپل قرار می‌دهد؛ چرا که بازطراحی بزرگ دستیار صوتی سیری (Siri) با قابلیت‌های مشابه، هنوز توسط اپل عرضه نشده است.