Gemini для Mac научился выполнять задачи на компьютере вместо пользователя

2 мин чтения

Google добавила в приложение Gemini для Mac функцию computer use. Теперь ассистент сам открывает программы и сайты, кликает, печатает и заполняет формы по текстовому описанию задачи. Пока функция работает только в США и только на английском языке.

Gemini для Mac научился выполнять задачи на компьютере вместо пользователя
Изображение: Google · Пресс-материалы для СМИ

Как работает фоновый режим

Пользователь описывает задачу обычными словами, а Gemini переходит по меню, вводит данные и кликает по интерфейсу приложений и сайтов. По словам Google, задачи могут включать несколько шагов и касаться локальных файлов, настольных программ и веб-страниц сразу.

Работа идёт в отдельном изолированном окне. Основной экран и курсор при этом остаются свободными, так что можно продолжать печатать, работать в графическом редакторе или говорить по телефону. В чате отображается живой предпросмотр того, что делает ИИ.

Контроль остаётся за пользователем:

  • вы выбираете, к каким приложениям Gemini получает доступ;
  • видите каждый шаг в реальном времени;
  • можете приостановить выполнение в любой момент;
  • ключевые действия подтверждаются до их выполнения.

Для каких задач это полезно

Google приводит несколько сценариев, которые пользователь может попробовать уже сейчас:

  • Обработка фото. Gemini может пакетно поправить цвет снимков в любимом редакторе или настроить сложную 3D-сцену.
  • Заполнение форм. Из локальных PDF-файлов можно извлечь вес, размеры и адреса и перенести их в многополевые формы, например для расчёта доставки.
  • Презентации из живых данных. ИИ может собрать метрики и скриншоты с дашбордов по нескольким регионам и подготовить презентацию в Google Slides.
  • Размещение товаров на продажу. Из папки с фотографиями одежды Gemini может проанализировать снимки, изучить цены, внести данные о вещах и подготовить объявления на площадках перепродажи.

Любая такая задача сводится к рутине, которая обычно занимает десятки кликов. Именно такие действия и рассчитана автоматизировать функция.

Где доступно и на что обратить внимание

Функция запускается постепенно и пока доступна в США, только на английском языке. Скачать приложение можно на сайте gemini.google/mac. Официальных данных о появлении функции в России или других странах нет.

Перед тем как давать Gemini доступ к программам, стоит ограничить список приложений только теми, которые нужны для конкретной задачи. Особенно это важно для почты, банковских клиентов и файлов с личными или рабочими данными. Пошаговый просмотр и подтверждение ключевых действий помогают заметить ошибку до того, как она приведёт к последствиям.

Подробности о запуске и ограничениях Google описала в своём блоге.

Источники: Google Blog

Читайте также

Ещё новости