Gemini Live؛ گفتگوی تعاملی با هوش مصنوعی گوگل روی عینک‌های هوشمند

در I/O 2024 امروز، گوگل Gemini Live را برای صحبت با Gemini در اپلیکیشن موبایل معرفی کرد. این به زودی با قابلیت‌های ویدیوی مکالمه به عنوان بخشی از “پروژه Astra” ارتقا خواهد یافت.

Gemini Live

با راه اندازی از نماد صوتی برنامه Gemini در اندروید و iOS، تجربه ای تمام صفحه با یک جلوه شکل موج صوتی جالب را خواهید داشت. این به شما امکان می‌دهد گفتگوی دو طرفه داشته باشید و جمینی پاسخ‌های مختصری را ارائه دهد.

می‌توانید با سرعت خود، با سازگاری Google، صحبت کنید و هنگام پاسخگویی Gemini، برای افزودن اطلاعات جدید یا درخواست توضیح، صحبت را قطع کنید. در مقایسه با صدایی که امروز دارید، ۱۰ صدای مختلف برای انتخاب وجود دارد.

فرض کنید در حال آماده شدن برای یک مصاحبه شغلی یا تمرین برای یک سخنرانی مهم هستید: فقط به Live بروید و از Gemini بخواهید که به شما در آماده شدن کمک کند. جمینی مهارت هایی را پیشنهاد می کند که می توانید هنگام صحبت با کارفرمای احتمالی خود برجسته کنید، یا نکاتی را برای سخنرانی در جمع برای آرام کردن اعصاب شما قبل از اینکه روی تریبون قرار بگیرید، پیشنهاد می کند.

در دسترس برای مشترکین Gemini Advanced، در ماه های آینده راه اندازی می شود. در همین حال:

اواخر امسال می‌توانید هنگام پخش زنده از دوربینتان استفاده کنید و گفتگوهایی را درباره آنچه در اطرافتان می‌بینید باز کنید.

این بخشی از افزودن قابلیت های Project Astra به Gemini است.

پروژه آسترا

با نگاهی به آینده، Google DeepMind پروژه Astra و هدف آن را برای ساخت یک عامل هوش مصنوعی جهانی که با استدلال در زمان واقعی و پاسخ سریع در زندگی روزمره مفید است، به نمایش گذاشت.

یک عامل برای اینکه واقعاً مفید باشد، باید دنیای پیچیده و پویا را درست مانند مردم درک کرده و به آن پاسخ دهد – و آنچه را که می بیند و می شنود برای درک زمینه و انجام عمل، در نظر بگیرد و به خاطر بسپارد. همچنین باید فعال، قابل آموزش و شخصی باشد تا کاربران بتوانند به طور طبیعی و بدون تاخیر یا تاخیر با آن صحبت کنند.

نسخه آزمایشی Astra که گوگل نشان داد – یکبار گرفتن در زمان واقعی – هنگامی که شخصی دستورات یا سوالاتی را صادر می کرد، تلفن را به سمت اشیا نشانه گرفت و Gemini در زمان واقعی آنچه را که در مقابل آن قرار دارد را تشخیص داد. می‌توانید منظره شهری را به آن نشان دهید و بپرسید در کدام محله هستید، یا درباره کد پرس و جو کنید.

این بر روی حالت Gemini 1.5 Pro و “مدل های خاص وظایف دیگر” ساخته شده است. گوگل می‌گوید «برای پردازش سریع‌تر اطلاعات با رمزگذاری مستمر فریم‌های ویدیو طراحی شده است» و زمان پاسخ‌گویی را به «چالش مهندسی دشوار» کاهش می‌دهد.

… ترکیب ورودی ویدیو و گفتار در جدول زمانی رویدادها، و ذخیره این اطلاعات برای یادآوری کارآمد.”

حتی تاثیرگذارتر این بود که گوگل Gemini Live را روی عینک هوشمند نشان داد و نتایج روی دید شما پوشانده شد. به نظر می رسد که آنها همان نمونه اولیه عینک ترجمه هستند که در I/O 2022 نشان داده شده است.