Gemini для Mac научился выполнять задачи на компьютере вместо пользователя
Google добавила в приложение Gemini для Mac функцию computer use. Теперь ассистент сам открывает программы и сайты, кликает, печатает и заполняет формы по текстовому описанию задачи. Пока функция работает только в США и только на английском языке.
Как работает фоновый режим
Пользователь описывает задачу обычными словами, а Gemini переходит по меню, вводит данные и кликает по интерфейсу приложений и сайтов. По словам Google, задачи могут включать несколько шагов и касаться локальных файлов, настольных программ и веб-страниц сразу.
Работа идёт в отдельном изолированном окне. Основной экран и курсор при этом остаются свободными, так что можно продолжать печатать, работать в графическом редакторе или говорить по телефону. В чате отображается живой предпросмотр того, что делает ИИ.
Контроль остаётся за пользователем:
- вы выбираете, к каким приложениям Gemini получает доступ;
- видите каждый шаг в реальном времени;
- можете приостановить выполнение в любой момент;
- ключевые действия подтверждаются до их выполнения.
Для каких задач это полезно
Google приводит несколько сценариев, которые пользователь может попробовать уже сейчас:
- Обработка фото. Gemini может пакетно поправить цвет снимков в любимом редакторе или настроить сложную 3D-сцену.
- Заполнение форм. Из локальных PDF-файлов можно извлечь вес, размеры и адреса и перенести их в многополевые формы, например для расчёта доставки.
- Презентации из живых данных. ИИ может собрать метрики и скриншоты с дашбордов по нескольким регионам и подготовить презентацию в Google Slides.
- Размещение товаров на продажу. Из папки с фотографиями одежды Gemini может проанализировать снимки, изучить цены, внести данные о вещах и подготовить объявления на площадках перепродажи.
Любая такая задача сводится к рутине, которая обычно занимает десятки кликов. Именно такие действия и рассчитана автоматизировать функция.
Где доступно и на что обратить внимание
Функция запускается постепенно и пока доступна в США, только на английском языке. Скачать приложение можно на сайте gemini.google/mac. Официальных данных о появлении функции в России или других странах нет.
Перед тем как давать Gemini доступ к программам, стоит ограничить список приложений только теми, которые нужны для конкретной задачи. Особенно это важно для почты, банковских клиентов и файлов с личными или рабочими данными. Пошаговый просмотр и подтверждение ключевых действий помогают заметить ошибку до того, как она приведёт к последствиям.
Подробности о запуске и ограничениях Google описала в своём блоге.
Источники: Google Blog







