Dossier

Google déploie l’automatisation de Gemini sur Mac aux États-Unis

IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.

Intégrer ce passage sur votre site

Collez ce code dans votre article ou votre page : le lecteur prend la largeur disponible.

Thème

Transcription avec les sources de chaque passage

Token FM

Token FM, la radio de l'IA, faite par l'IA. Place au dossier.

Victor

Bonjour Sacha, on vous accueille pour parler de Google, qui déploie en anglais aux États-Unis Computer Use dans son application Gemini pour Mac. Qu’est-ce que cette nouveauté permet de faire ?

Sacha

Google déploie Computer Use en anglais aux États-Unis, d’après The Decoder, et son application Gemini pour Mac est disponible au téléchargement. Cette fonction permet à Gemini d’accomplir des tâches répétitives qui comportent plusieurs étapes, une possibilité déjà proposée sur PC, selon Brief IA. L’utilisateur décrit ce qu’il souhaite obtenir, puis Gemini peut intervenir dans des fichiers locaux, des logiciels et des sites web, si les programmes concernés ont été autorisés. On passe donc d’une demande à laquelle l’assistant répond par du texte à une tâche qu’il peut exécuter en manipulant des éléments à l’écran. Il ne s’agit pas pour autant d’une délégation sans contrôle : l’utilisateur garde la possibilité de suivre le déroulement et certaines actions nécessitent son accord. Les exemples vont de la préparation d’annonces de vente à la saisie d’informations dans des formulaires à partir de documents enregistrés sur l’ordinateur. C’est une extension de Gemini sur Mac, et non une annonce selon laquelle l’ensemble du travail sur l’ordinateur serait désormais automatisé. Le périmètre confirmé est plus précis : l’outil peut enchaîner des opérations dans les applications accessibles, avec un utilisateur qui formule l’objectif et reste en mesure de surveiller l’exécution.

Victor

Comment Gemini observe-t-il les logiciels et accomplit-il ces étapes ?

Sacha

La fonction s’appuie sur des captures d’écran : Gemini observe l’affichage, puis peut cliquer, saisir du texte, faire défiler les contenus et naviguer dans les logiciels ou sur le Web, d’après Brief IA. Concrètement, l’outil utilise ce qui apparaît à l’écran pour progresser d’une étape à l’autre, au lieu de se limiter à donner des instructions que l’utilisateur devrait ensuite appliquer lui-même. Cette description ne permet pas de dire que Gemini comprend toujours parfaitement chaque interface ni qu’il réussit toutes les tâches. L’exécution a lieu dans une fenêtre d’arrière-plan isolée, avec un aperçu en direct, selon The Decoder. L’utilisateur peut regarder les étapes pendant qu’elles se déroulent, et interrompre la tâche à tout moment. La fenêtre de travail de Gemini ne bloque pas l’usage normal du Mac : l’écran principal et le curseur restent disponibles pour l’utilisateur. Cela rend possible une situation assez concrète : l’assistant travaille sur une série d’actions en arrière-plan pendant que la personne continue à utiliser son ordinateur. Le contrôle n’est donc pas seulement donné au départ, au moment de choisir les programmes autorisés ; il reste possible de suivre le processus et d’y mettre fin si nécessaire. Ces éléments décrivent les garde-fous annoncés, sans fournir de mesure sur la fiabilité de l’outil ni sur les erreurs qu’il pourrait rencontrer.

Victor

Quels usages Google met-il en avant, et comment ces tâches pourraient-elles se dérouler ?

Sacha

Google cite la préparation d’annonces eBay à partir de photos et d’informations sur des articles, selon Brief IA. L’idée est, par exemple, de demander à Gemini de préparer plusieurs annonces à partir d’éléments disponibles sur l’ordinateur, plutôt que de recopier manuellement chaque détail. The Decoder mentionne aussi la retouche de photos par lots, la modification de scènes en trois dimensions et la préparation de présentations. Pour les documents, Gemini pourrait remplir des formulaires d’expédition à partir de PDF locaux ; Google cite également le remplissage de fichiers PDF enregistrés sur la machine. On peut imaginer la tâche comme un passage entre plusieurs pièces d’un bureau numérique : le document source, le logiciel où se trouve le formulaire, puis les champs à compléter. Mais il faut rester au niveau des possibilités annoncées : les exemples ne garantissent pas que le résultat sera exact dans chaque situation, ni que toutes les applications fonctionneront de la même façon. La fonction concerne aussi bien des opérations de bureau que des gestes de création, comme retoucher un ensemble d’images ou transformer un dessin au crayon en modèle tridimensionnel, exemple présenté par Google. Ces tâches ont en commun de demander plusieurs manipulations successives. L’intérêt potentiel est de confier ces étapes à l’assistant, tout en gardant la possibilité de vérifier ce qu’il a préparé avant de s’en servir.

Victor

Qui peut utiliser cette fonction, et que sait-on de son accès ?

Sacha

Pour l’instant, Computer Use est déployé en anglais aux États-Unis, et l’application Gemini pour Mac est disponible au téléchargement, d’après The Decoder. Il faut distinguer la disponibilité de l’application de celle de cette fonction particulière : le fait de pouvoir télécharger Gemini ne signifie pas que Computer Use est proposé dans tous les pays ou dans toutes les langues. Les éléments annoncés ne donnent pas de calendrier pour une extension à d’autres territoires ou pour une version en français. Il faut donc retenir le périmètre confirmé, plutôt que supposer que l’option est déjà accessible à tous les utilisateurs de Mac. Brief IA signale aussi un outil de récupération dans l’API Gemini, destiné à automatiser des tâches répétitives sur Mac. Cette offre pour l’API est distincte de la fonction Computer Use intégrée à l’application grand public, et les informations disponibles ne détaillent pas ses modalités d’accès ni les usages qu’en feront les développeurs. Pour une personne qui utilise un Mac aux États-Unis et travaille en anglais, l’annonce concerne donc une capacité nouvelle de l’application ; pour les autres, aucune date d’arrivée n’est précisée. Il n’y a pas non plus d’information ici sur le prix de Computer Use. Mieux vaut ainsi séparer ce qui est établi — la langue, le pays et la disponibilité de l’application — de ce qui reste inconnu, comme l’extension géographique et les conditions d’accès futures.

Victor

Quelles précautions encadrent l’action de Gemini, et quelles limites faut-il garder en tête ?

Sacha

L’utilisateur choisit les programmes auxquels Gemini peut accéder, et l’outil ne doit agir que dans ce périmètre, selon Brief IA. Gemini demande aussi un accord pour les actions clés, tandis que la fenêtre d’arrière-plan isolée et l’aperçu en direct permettent de suivre ce qui se passe, d’après The Decoder. L’utilisateur peut interrompre le travail à tout moment. Ces contrôles sont importants parce que l’automatisation touche à des logiciels, des fichiers locaux et des sites web : même une tâche ordinaire peut modifier ou renseigner des éléments concrets. La prudence consiste donc à n’autoriser que les programmes nécessaires, à regarder les étapes et à vérifier les résultats, notamment avant de valider une action importante. Il ne faut pas transformer ces mesures en garantie absolue : les informations annoncées ne donnent ni taux de réussite, ni liste détaillée des erreurs possibles, ni indication sur la manière dont Gemini réagit à toutes les situations. L’outil observe l’écran par captures et agit par clics, saisie et navigation ; cela décrit son mécanisme, mais ne prouve pas qu’il saura toujours interpréter correctement une page ou un document. L’utilisateur conserve ainsi un rôle actif : il formule la demande, définit les accès, surveille la progression et peut arrêter l’opération. Computer Use peut alléger une suite de manipulations, mais ne dispense pas de contrôler ce qui a été fait avant de s’appuyer sur le résultat.

Victor

Que faut-il retenir de cette extension de Gemini sur Mac ?

Sacha

Google ajoute à Gemini sur Mac une capacité qui peut enchaîner des tâches répétitives en plusieurs étapes, une fonction déjà proposée sur PC, selon Brief IA. L’outil peut observer l’écran grâce à des captures, cliquer, saisir du texte et naviguer dans les applications ou sur des sites web. Les exemples annoncés vont de la préparation d’annonces à partir de photos et d’informations sur des articles au remplissage de formulaires à partir de PDF locaux, en passant par la retouche d’images et la préparation de présentations. Tout cela reste encadré : l’utilisateur choisit les programmes accessibles, peut voir le déroulement dans un aperçu en direct et peut interrompre la tâche. La disponibilité confirmée est, pour le moment, limitée à l’anglais aux États-Unis, même si l’application Gemini pour Mac peut être téléchargée. Ce n’est donc pas la promesse que l’ordinateur prendra en charge toutes les tâches à la place de son propriétaire. C’est plutôt la possibilité de lui confier certaines séries de manipulations, dans les logiciels autorisés, tout en restant présent pour contrôler les étapes importantes. Les annonces ne précisent pas le taux de réussite ni la date d’une éventuelle extension à d’autres langues ou pays. Pour les utilisateurs concernés, la question pratique sera de choisir les tâches adaptées, de vérifier ce que Gemini produit et de décider à quel moment son intervention est utile. L’essentiel est là : l’assistant ne se contente plus de proposer une réponse, il peut aussi agir dans l’environnement de travail, mais sous surveillance et dans un périmètre défini.

Victor

Merci Sacha pour ces explications.

Une erreur ?

Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.

Signaler une erreur

Un mot pour la rédaction ?

Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.