На які функції Gemini та Google AI ми чекаємо?

Приблизно за останній рік Google попередньо перевірив низку штучного інтелекту під брендом Gemini та інших функцій у своїх програмах для споживачів. Ось усе, що було оголошено та коли це може бути доступним.

піксель

Наприкінці Made by Google 2023 для Pixel 8 Pro було анонсовано функцію Zoom Enhance, яка «розумно заповнює проміжки між пікселями та передбачає дрібні деталі». Використовуючи на пристрої «власну генеративну модель зображення штучного інтелекту», Google назвав це корисним, коли ви забули масштабувати.

Це дивовижне застосування генеративного штучного інтелекту, яке відкриває безліч можливостей для кадрування та редагування фотографій. Тож така оптимізація масштабування, яку ви звикли бачити в науковій фантастиці, прямо в телефоні у вашій руці.

У жовтні Google заявив, що це буде «пізніше». Після трьох падінь функцій Pixel вони все ще не з’явилися. Незрозуміло, чи модель, яку Google має на увазі, є Gemini Nano з мультимодальністю. На даний момент він може дебютувати з Pixel 9 Pro як основною фотофункцією цього телефону.

Google House

У додатку Google Home генеративний штучний інтелект використовуватиметься для узагальнення подій у «спрощеному вигляді того, що сталося нещодавно». Це швидке та просте резюме використовуватиме підсумкові пункти, а ви також зможете розмовно «Запитати про свій дім», щоб знайти історичні відео та автоматизувати роботу. «Бета-функції» стануть доступними для абонентів Nest Aware у 2024 році.

Fitbit

Fitbit Labs дозволить користувачам Fitbit Premium тестувати експериментальні можливості ШІ та надавати відгуки про них.

Серед цих функцій є чат-бот, який дозволяє вам задавати запитання про ваші дані Fitbit у природній, розмовній формі. Цей «персоналізований коучинг» з урахуванням фітнес-цілей має на меті генерувати «дієві повідомлення та вказівки» з відповідями, які можуть включати персоналізовані плани.

• «Наприклад, ви можете глибше дізнатися, скільки хвилин активної зони (AZM) ви отримуєте, і співвіднести з тим, наскільки добре ви відновлюєте сон».
• «…Ця модель зможе проаналізувати відмінності у вашому режимі та якості сну, а потім запропонувати рекомендації щодо того, як змінити інтенсивність ваших вправ на основі цих даних».

За лаштунками ця програма працює на основі нового програмного забезпечення Personal Health LLM від Fitbit і Google Research, створеного на основі Gemini. Починаючи з березня, він буде запущений «пізніше цього року» для «обмеженої кількості користувачів Android, зареєстрованих у програмі Fitbit Labs у мобільному додатку Fitbit».

Google зображення

Функція «Запитати фотографії» дозволяє вам ставити запитання про фотографії та відео у вашій бібліотеці. На відміну від пошуку зображень, він може отримувати інформацію та давати текстову відповідь. Серед запитів Gemini — «Покажи мені найкраще фото з кожного національного парку, де ти був» і «Які теми ми висвітлювали на дні народження Лени?» Їх можна використовувати, щоб «пропонувати найкращі фотографії» та створювати підписи до них. Ask Photos — це «бета-функція», яка незабаром буде запущена, і Google уже натякає на додаткові можливості в майбутньому.

Gmail + Google Workspace

У Gmail для Android та iOS ви знайдете кнопку Gemini у верхньому правому куті, яка дозволяє викликати мобільний еквівалент бічної панелі для введення повних підказок. Gmail також отримує контекстні розумні відповіді, які пропонують більш персоналізовані, детальні та точні пропозиції. Це буде випущено в Workspace Labs у липні.

На квітневій конференції Cloud Next 2024 компанія Google також продемонструвала функцію голосових підказок для програми «Допоможи мені писати» в мобільній програмі Gmail. Тим часом функція Instant Refine «перетворить необроблені нотатки на повний електронний лист одним клацанням миші».

На настільному комп’ютері бічна панель доступна в Gmail, Google Диску та Документах/Таблицях/Слайдах. Після цього Gemini зайде в Google Chat, щоб підсумувати розмови та відповісти на запитання.

Гугл-мапи

У лютому минулого року Google оголосив, що Карти використовуватимуть LLM для роботи свого чат-бота Ask About. Ви можете використовувати його, щоб знайти місця, які відповідають вашій претензії, і отримати додаткові запитання. Він базується на даних про 250 мільйонів місць, фотографій, відео та відгуків, надісланих користувачами.

Хром

Gemini Nano буде запущено у браузері Chrome для настільного комп’ютера, щоб активувати такі функції браузера, як Help Me Type. Він має бути доступний на більшості сучасних ноутбуків і настільних ПК.

Пошук Google

На додаток до запуску AI Overviews, Google анонсував низку майбутніх функцій, які спочатку з’являться в Search Labs:

• Ви зможете взяти оригінальний огляд штучного інтелекту та зробити його «простішим» (усього кілька речень) або «розбити» (довша відповідь).
• Можливості багатоетапного обґрунтування дозволять вам поставити складне запитання за один крок, а не розбивати його на кілька запитів.
• Планування харчування та поїздок
• Сторінка результатів пошуку, організована штучним інтелектом
• Пошук відео: Запишіть відео та поставте запитання про нього

Android

Gemini Nano буде запущено з мультимодальністю на Pixel «пізніше цього року» та потужними функціями, такими як описи TalkBack на пристрої та офлайн, а також сповіщення про шахрайство в реальному часі, які прослуховують дзвінок для виявлення контрольних шаблонів. Google поділиться більш детальною інформацією пізніше цього року.

На I/O 2024 Google також попередньо продемонстрував, як Gemini на Android незабаром стане накладною панеллю замість відкривання повноекранного інтерфейсу для відображення результатів. Окрім підтримки контексту, це дозволить вам перетягувати згенероване зображення в розмову. Для передплатників Gemini Advanced кнопка «Запитати це відео» та «Запитати цей PDF» дозволить переглядати відео та документи Gemini відповідно. Це буде розгорнуто «протягом наступних кількох місяців». Крім того, ви будете використовувати динамічні пропозиції Gemini Nano з мультимедіа, щоб зрозуміти, що на вашому екрані:

Наприклад, якщо ви активуєте Gemini під час розмови про бейсбол, пропозиції можуть включати «Шукати бейсбольні клуби поблизу мене» та «Правила бейсболу для початківців».

Ще одним доповненням, яке буде особливо корисним на мобільних пристроях, є розширення Gemini для Google Calendar, Google Tasks і Keep. Цей додаток дозволить вам сфотографувати сторінку, яка містить кілька майбутніх дат, і Gemini зможе перетворити їх на події календаря. У найближчі місяці функція «Утиліти» мобільного додатка Gemini дозволить отримати доступ до додатка «Годинник» на Android.

Ми також очікуємо, що цього літа мобільний телефон Gemini з’явиться на планшеті Pixel.

близнюк

Пряма трансляція дозволить вам вести двосторонню розмову з Близнюками. Щоб зробити процес більш природним, Gemini поверне короткі відповіді, які ви можете перервати, щоб додати нову інформацію або попросити роз’яснення. Ви можете вибрати один із 10 різних голосів, Google вважає Gemini Live корисним для підготовки до співбесіди чи репетиції виступу. Він буде доступний у «найближчі місяці» для учасників Gemini Advanced.

Пізніше цього року додаток Gemini Live дозволить вам увімкнути режим живої камери. Просто вкажіть на щось у реальному світі та поставте запитання про це. Це робиться через проект Astra.

Коштовні камені — це персоналізовані версії Gemini, які дозволяють вам мати «друга по тренажерному залу, су-шефа, партнера з програмування або наставника з творчого написання». Учасники Gemini Advanced зможуть створювати власні дорогоцінні камені, тоді як усі користувачі матимуть доступ до готових дорогоцінних каменів, таких як Learning Coach.

Просто опишіть, що ви хочете, щоб ваше ядро ​​робило і як ви хочете, щоб воно реагувало, наприклад «Ви мій тренер з бігу, дайте мені щоденний план бігу та будьте позитивним, бадьорим і мотивованим». Gemini візьме ці інструкції та одним клацанням миші вдосконалить їх, щоб створити дорогоцінний камінь, який відповідає вашим конкретним потребам.

Користувачі Gemini Advanced також отримають «комплексний планувальник», який виходить за рамки просто пропозиції заходів, але враховує час у дорозі та зупинки, а також інтереси людей, щоб створити детальний маршрут. Gemini використовуватиме дані вашого авіарейсу/подорожі Gmail, рекомендації Google Maps щодо їжі та музеїв поблизу вашого готелю та шукатиме інші заходи.