Gemini 3.5 Flash apprend enfin à utiliser un ordinateur

Google DeepMind ajoute le “computer use” à Gemini 3.5 Flash, un pas de plus vers des agents réellement opérationnels

Google DeepMind a annoncé l’introduction d’une capacité de “computer use” dans Gemini 3.5 Flash, une évolution qui dépasse le cadre habituel des démonstrations de modèles conversationnels. La nouveauté, présentée par le laboratoire dans sa communication officielle “Introducing computer use in Gemini 3.5 Flash”, vise un objectif simple à formuler mais difficile à industrialiser : permettre au modèle d’interagir avec des interfaces graphiques comme le ferait un utilisateur, afin d’exécuter des tâches sur des logiciels et des services déjà existants.

Dit autrement, il ne s’agit plus seulement de répondre à une question, de résumer un document ou de générer du code. Il s’agit de voir une interface, comprendre son état, décider d’une action, cliquer, saisir du texte, naviguer entre plusieurs étapes et poursuivre jusqu’à l’achèvement d’un objectif. Pour l’écosystème IA, c’est une brique cruciale : elle rapproche Gemini d’une catégorie d’outils souvent décrits comme des agents, c’est-à-dire des systèmes capables d’agir dans des environnements numériques plutôt que de se limiter à produire du texte.

L’annonce de Google DeepMind intervient dans un moment de forte intensification concurrentielle. Depuis plusieurs mois, la bataille entre Google, OpenAI et Anthropic ne se joue plus uniquement sur les performances générales des modèles ou sur les classements de benchmarks. La question centrale devient progressivement celle de l’exécution réelle : quel acteur est capable de transformer un modèle en opérateur logiciel crédible, suffisamment fiable pour automatiser des tâches de travail concrètes ? C’est précisément dans cette zone que le “computer use” prend une dimension stratégique.

Pour les lecteurs francophones, et en particulier pour les équipes produit, les directions innovation, les intégrateurs et les entreprises déjà engagées dans l’automatisation de processus, le sujet est loin d’être théorique. Une IA capable d’utiliser un ordinateur peut potentiellement intervenir sur des outils qui n’ont pas été conçus à l’origine pour l’IA, sans attendre la disponibilité d’API dédiées. Cela ouvre des perspectives immédiates pour des flux de travail présents dans toutes les organisations : back-office, opérations, support, saisie, recherche d’informations, manipulation de logiciels métier ou coordination entre services web.

La promesse reste néanmoins encadrée par une réalité technique exigeante. Utiliser une interface graphique est beaucoup plus complexe que produire une bonne réponse textuelle. Les environnements changent, les boutons se déplacent, les fenêtres se superposent, les formulaires varient, les erreurs d’interprétation ont des effets concrets. C’est pourquoi l’initiative de Google DeepMind mérite d’être lue non comme une simple fonctionnalité de plus, mais comme un signal de maturité dans la course aux agents.

Du chatbot au logiciel qui agit : pourquoi cette annonce marque un changement de niveau

Depuis l’émergence des grands modèles génératifs dans le grand public, la première phase de compétition a porté sur des critères relativement visibles : qualité rédactionnelle, rapidité, capacités multimodales, taille de fenêtre de contexte, aptitude au raisonnement ou au code. Ces dimensions restent importantes, mais elles ne suffisent plus à distinguer les plateformes les plus ambitieuses. À mesure que les entreprises cherchent des usages à retour sur investissement mesurable, la valeur se déplace vers la capacité à faire, et non seulement à dire.

Le “computer use” s’inscrit exactement dans cette transition. Historiquement, l’automatisation logicielle a reposé sur plusieurs approches distinctes :

• Les intégrations par API, très robustes quand elles existent, mais limitées aux services qui exposent des interfaces programmables bien documentées.
• La RPA au sens classique, efficace sur des processus répétitifs et structurés, mais souvent fragile face aux variations d’interface et coûteuse à maintenir.
• Les assistants conversationnels, capables d’aider l’utilisateur mais incapables d’agir directement dans les logiciels sans couche d’orchestration supplémentaire.

La promesse de l’agent fondé sur un modèle multimodal consiste à réunir une partie de ces mondes : observer l’écran, interpréter le contexte, choisir une action adaptée et s’ajuster en temps réel. En théorie, cela permet d’automatiser des tâches qui traversent plusieurs applications, y compris lorsque celles-ci ne proposent pas d’intégration élégante. En pratique, la difficulté est immense, parce qu’un modèle doit maintenir une compréhension stable d’un environnement visuel mouvant, anticiper les conséquences de ses actions et récupérer après erreur.

C’est là que l’annonce de Google DeepMind prend tout son sens. En intégrant cette capacité à Gemini 3.5 Flash, Google ne se contente pas d’ajouter une option expérimentale. Le groupe positionne l’un de ses modèles comme une base pour des scénarios d’agentivité opérationnelle. Le choix de Flash n’est pas anodin : dans la gamme Gemini, cette famille est généralement associée à des usages où la latence et le coût comptent fortement. Or un agent qui agit sur ordinateur doit enchaîner de nombreuses microdécisions. Si chaque étape est trop lente ou trop chère, l’expérience devient impraticable.

Cette logique explique pourquoi le débat sur les agents ne peut plus être réduit aux seuls benchmarks académiques. Un modèle peut obtenir de très bons scores sur des tests de raisonnement et rester peu utile pour piloter un environnement logiciel réel. À l’inverse, une amélioration ciblée sur la perception d’interface, la précision des actions et la stabilité en boucle peut avoir un impact direct sur les usages en entreprise. Le “computer use” devient alors une sorte de couche décisive entre la puissance théorique du modèle et sa capacité à produire de la valeur dans le monde du travail numérique.

Google DeepMind le formule en substance à travers sa présentation : la nouveauté concerne l’interaction avec des interfaces graphiques. C’est une formulation importante, parce qu’elle ancre l’annonce dans le concret. Il ne s’agit pas d’un agent abstrait, mais d’un système qui s’attaque à la réalité parfois chaotique du bureau numérique moderne.

Ce que Google DeepMind annonce exactement avec Gemini 3.5 Flash

Dans sa communication officielle, Google DeepMind présente une capacité de “computer use” pour Gemini 3.5 Flash. Le cœur de l’annonce est clair : le modèle peut interagir avec des interfaces utilisateur graphiques. Cette aptitude doit lui permettre d’accomplir des tâches en plusieurs étapes à travers des logiciels et des services existants, en s’appuyant sur la compréhension visuelle de l’écran et sur la décision d’actions à exécuter.

La formulation choisie par Google DeepMind est stratégique. Elle situe Gemini non seulement comme un modèle multimodal performant, mais comme un composant susceptible d’être intégré dans des systèmes agentiques. Le message implicite est que l’IA de nouvelle génération ne doit pas être pensée seulement comme une interface de dialogue, mais comme une couche d’action capable de se brancher sur le patrimoine logiciel existant.

Le terme “computer use” est lui-même révélateur. Il suggère une approche où le modèle agit à travers le même type d’interface que l’humain, plutôt que via une intégration purement programmatique. Dans de nombreux contextes professionnels, c’est potentiellement déterminant. Une grande partie des outils utilisés au quotidien dans les entreprises ne sont pas toujours facilement interopérables, ou bien leurs API ne couvrent pas l’ensemble des cas d’usage. Une IA capable d’utiliser l’interface graphique peut, en théorie, contourner une partie de cette friction.

Il faut toutefois distinguer plusieurs niveaux d’ambition. Entre une démonstration ponctuelle et un agent fiable en production, l’écart reste considérable. L’annonce de Google DeepMind ne signifie pas qu’un modèle peut désormais remplacer un employé sur n’importe quelle tâche informatique. Elle indique plutôt que Google ajoute une brique essentielle à sa plateforme, brique sans laquelle il est difficile d’envisager des agents polyvalents crédibles.

Cette nuance est importante pour éviter deux lectures opposées mais également trompeuses. La première consisterait à minimiser l’annonce en la réduisant à une démo de plus. La seconde serait d’y voir une automatisation générale déjà prête à grande échelle. La réalité se situe entre les deux : le “computer use” est une avancée structurante, mais sa valeur dépendra de la fiabilité, de la sécurité, de la supervision et de l’intégration dans des workflows concrets.

Le fait que Google DeepMind associe cette capacité à Gemini 3.5 Flash est aussi un indicateur sur la manière dont le groupe pense l’adoption. Les agents opérant sur ordinateur nécessitent souvent des cycles d’observation et d’action répétés. Chaque clic, chaque champ rempli, chaque changement d’écran devient une étape de raisonnement et d’exécution. Dans ce contexte, les caractéristiques de rapidité d’un modèle Flash peuvent faire la différence entre un système utilisable et une expérience trop lente pour être déployée.

La portée de l’annonce se comprend également à la lumière de l’écosystème Google. DeepMind ne travaille pas dans le vide : Gemini s’inscrit dans une plateforme plus large, qui comprend les outils cloud, les environnements développeurs et, plus largement, l’exposition de modèles via les produits de Google. Même si l’annonce se concentre sur la capacité elle-même, sa signification dépasse le laboratoire. Elle prépare le terrain à des usages où l’IA ne se contente plus d’assister un utilisateur dans un chat, mais devient un opérateur supervisé au sein d’une pile logicielle d’entreprise.

La communication de Google DeepMind met l’accent sur une capacité d’interaction avec des interfaces graphiques, autrement dit sur l’aptitude du modèle à agir dans les logiciels tels qu’ils existent déjà, sans réinventer l’environnement de travail.

Pour le marché, cette précision est essentielle. Les entreprises n’attendent pas seulement des modèles plus “intelligents” au sens abstrait ; elles attendent des systèmes capables de s’insérer dans la réalité de leurs outils, de leurs écrans et de leurs procédures. C’est précisément ce que vient adresser le “computer use”.

Pourquoi la guerre des agents se joue désormais sur l’exécution, pas seulement sur les modèles

La concurrence entre Google, OpenAI et Anthropic est souvent présentée comme une course à la performance des modèles. Cette lecture reste partiellement vraie, mais elle devient insuffisante. Depuis quelque temps, la frontière concurrentielle se déplace vers la capacité à construire des agents utilisables, c’est-à-dire des systèmes qui planifient, exécutent, vérifient et corrigent des actions dans des environnements numériques réels.

Sur ce terrain, le “computer use” est une pièce centrale. Un agent peut disposer d’un excellent raisonnement interne ; s’il ne sait pas manipuler les outils dans lesquels se trouvent les données et les processus, sa valeur reste limitée. À l’inverse, une capacité d’action sur interface, même imparfaite, ouvre immédiatement un champ d’expérimentation beaucoup plus vaste : formulaires, consoles d’administration, outils métiers, CRM, portails internes, suites bureautiques, services web, systèmes hérités.

Ce changement de focale explique pourquoi les annonces de ce type suscitent autant d’attention. Elles touchent à la question la plus sensible pour le marché : comment relier l’intelligence du modèle à l’infrastructure logicielle existante ? Pendant longtemps, la réponse passait principalement par des connecteurs, des scripts, des API et des orchestrateurs. Ces briques restent fondamentales, mais l’idée d’un modèle capable d’utiliser directement l’ordinateur ajoute une voie complémentaire, parfois plus universelle.

Le caractère décisif de cette couche tient à plusieurs facteurs.

1. L’interface graphique est le dénominateur commun du travail numérique

Qu’il s’agisse d’un service SaaS récent, d’un outil interne ou d’un logiciel ancien, la plupart des activités professionnelles passent par des écrans, des menus, des boutons, des tableaux et des formulaires. Une IA qui comprend et manipule ces éléments peut théoriquement intervenir dans un très grand nombre de contextes sans dépendre d’une intégration spécifique à chaque application.

2. Les tâches utiles sont souvent multi-étapes

Dans la pratique, peu de processus métier se résument à une seule commande. Il faut ouvrir un outil, vérifier une information, passer à un autre service, copier une donnée, revenir, valider une opération, traiter une exception. Les modèles de langage sont déjà capables de planifier ces séquences à un niveau abstrait ; le “computer use” leur donne un moyen d’exécuter ces plans.

3. La valeur économique dépend de la boucle complète

Une réponse brillante a une valeur limitée si l’utilisateur doit encore accomplir lui-même toutes les manipulations. À l’inverse, un agent qui réalise une partie significative de la chaîne de travail peut générer un gain de productivité beaucoup plus tangible. C’est pour cette raison que les entreprises évaluent de plus en plus les IA non seulement sur leur qualité linguistique, mais sur leur capacité à réduire le nombre d’actions humaines nécessaires.

4. La différenciation se déplace vers la fiabilité en environnement réel

Les benchmarks standardisés restent utiles, mais ils mesurent imparfaitement la robustesse d’un agent face à des écrans changeants, des fenêtres inattendues, des messages d’erreur ou des variations de workflow. Celui qui maîtrisera le mieux cette réalité gagnera un avantage décisif, car il offrira la forme d’automatisation la plus proche du travail quotidien.

Dans ce contexte, l’annonce de Google DeepMind doit être lue comme un geste défensif et offensif à la fois. Défensif, parce qu’il était devenu difficile pour un grand acteur de l’IA de rester à l’écart de cette couche d’action. Offensif, parce qu’en apportant le “computer use” à Gemini 3.5 Flash, Google se positionne explicitement dans la bataille pour les agents de production, et pas seulement pour les assistants conversationnels.

Cette évolution a aussi une portée symbolique. Pendant la première phase de l’IA générative, la conversation a servi d’interface universelle. Dans la phase qui s’ouvre, la conversation ne disparaît pas, mais elle devient souvent le point de commande d’un système qui agit ailleurs : dans un navigateur, dans une application métier, dans une console, dans un espace de travail numérique. Le modèle ne vaut plus uniquement pour ce qu’il écrit, mais pour ce qu’il peut déclencher.

Ce que cela change pour les entreprises, les développeurs et le marché francophone

Pour les entreprises francophones, la capacité de “computer use” touche un besoin très concret : automatiser des tâches sur des outils déjà en place. En France comme ailleurs en Europe, une large part du tissu économique repose sur des environnements hétérogènes, mêlant logiciels récents, plateformes sectorielles, applications internes et systèmes plus anciens. Dans ce paysage, l’automatisation par API seule ne suffit pas toujours. Le “computer use” apparaît donc comme une piste particulièrement attractive.

Plusieurs catégories d’acteurs sont directement concernées.

Les grandes entreprises et les ETI

Elles disposent souvent d’un empilement d’outils conséquent, avec des contraintes de gouvernance, de sécurité et de conformité élevées. Pour elles, une IA capable d’utiliser une interface graphique peut représenter une manière d’automatiser certains processus sans refondre immédiatement toute l’architecture applicative. Mais cette promesse s’accompagne d’exigences fortes : traçabilité des actions, contrôle humain, gestion des identifiants, auditabilité et limitation des risques opérationnels.

Les éditeurs et intégrateurs

Pour les sociétés de services, cabinets d’intégration et éditeurs de solutions verticales, le “computer use” peut devenir une nouvelle couche d’orchestration. Il ne remplace pas les intégrations classiques, mais il peut compléter l’arsenal disponible lorsque les API manquent, sont incomplètes ou trop coûteuses à exploiter. Cela ouvre un terrain de différenciation important, notamment autour de la supervision, des garde-fous et de la conception de workflows hybrides.

Les équipes produit et développeurs

Pour les profils techniques, l’annonce de Google DeepMind pose une question très pratique : comment concevoir des applications et des expériences où le modèle ne se contente pas de générer du contenu, mais agit dans un environnement logiciel ? Cela implique de penser différemment les interfaces, les validations, les états intermédiaires, la reprise sur erreur et les mécanismes de confirmation. Le design d’un agent opérant sur ordinateur n’est pas celui d’un simple chatbot.

Les PME

Pour des structures plus petites, la promesse est potentiellement encore plus séduisante : accéder à une automatisation avancée sans disposer d’une équipe d’ingénierie lourde. Mais c’est aussi là que les risques de mésusage sont les plus élevés si les solutions sont perçues comme de la magie prête à l’emploi. Un agent qui clique au mauvais endroit, envoie un mauvais document ou valide une mauvaise opération peut provoquer des erreurs coûteuses. La démocratisation de ces outils devra donc passer par une forte pédagogie.

Dans le contexte européen, et donc francophone, plusieurs points méritent une attention particulière.

• La souveraineté et l’hébergement resteront des critères majeurs pour de nombreuses organisations, surtout dans les secteurs régulés.
• La conformité est centrale dès qu’un agent interagit avec des données personnelles, des outils RH, des systèmes financiers ou des environnements de santé.
• La langue compte moins au niveau du clic lui-même qu’au niveau des interfaces, des consignes, des documents et des workflows locaux ; une bonne compréhension du français professionnel demeure donc importante.
• La dette logicielle des organisations européennes peut rendre le “computer use” particulièrement pertinent, car beaucoup d’environnements ne sont pas nativement pensés pour les agents IA.

Il faut également noter que cette capacité pourrait modifier la manière dont les entreprises évaluent leurs projets IA. Jusqu’ici, beaucoup de pilotes se concentraient sur des cas d’usage documentaires ou conversationnels : recherche interne, FAQ, assistance à la rédaction, synthèse. Avec le “computer use”, la barre se déplace vers des scénarios plus proches des opérations : traitement de dossiers, mise à jour de systèmes, navigation dans des portails, exécution de procédures répétitives. Ce sont des usages plus sensibles, mais aussi souvent plus proches d’un impact économique direct.

Pour le marché francophone, l’enjeu n’est donc pas seulement technologique. Il est aussi industriel. Les entreprises capables de construire des couches de confiance autour de ces agents — supervision, journalisation, validation, sécurité, adaptation aux logiciels locaux — pourraient capter une part importante de la valeur. À l’inverse, celles qui resteraient focalisées sur les seuls assistants textuels risquent de se retrouver en décalage avec la prochaine vague d’automatisation.

Les limites, les questions ouvertes et la perspective de long terme

Aussi stratégique soit-elle, l’introduction du “computer use” dans Gemini 3.5 Flash ne résout pas d’un coup les principaux défis des agents. Au contraire, elle les rend plus visibles. Dès qu’un modèle agit sur un ordinateur, les exigences changent de nature. Une erreur ne se limite plus à une réponse approximative ; elle peut devenir une action incorrecte, une donnée mal saisie, une opération lancée au mauvais moment ou une navigation dans un mauvais contexte.

La première question est celle de la fiabilité. Les interfaces graphiques sont notoirement variables. Un même service peut modifier son design, afficher une fenêtre contextuelle, demander une vérification supplémentaire ou réorganiser ses menus. Un agent robuste doit non seulement reconnaître ces changements, mais aussi décider quand il peut continuer et quand il doit demander une validation humaine. C’est un seuil de maturité bien plus exigeant que celui d’un assistant conversationnel.

La deuxième question est celle de la sécurité. Un agent qui utilise un ordinateur manipule potentiellement des comptes, des permissions, des données sensibles et des actions à effet réel. Cela impose des garde-fous stricts : limitation du périmètre d’action, politiques d’autorisation, segmentation des environnements, surveillance continue, possibilité d’arrêt immédiat et journal détaillé des actions. Sans ces mécanismes, la promesse d’automatisation peut rapidement devenir un risque opérationnel.

La troisième question est celle de la responsabilité. Dans un workflow d’entreprise, qui répond d’une action effectuée par un agent ? Comment distinguer une erreur du modèle, une mauvaise consigne, un changement d’interface ou une configuration insuffisante ? Ces sujets sont particulièrement sensibles en Europe, où les enjeux de conformité, de traçabilité et de gouvernance sont structurants.

La quatrième question est celle de l’économie réelle du déploiement. Même si l’idée d’un agent capable d’utiliser n’importe quel logiciel est séduisante, tous les processus ne se prêtent pas au même niveau d’automatisation. Dans certains cas, une intégration par API restera plus fiable et plus simple à maintenir. Dans d’autres, le “computer use” offrira une flexibilité précieuse. Le marché va donc probablement converger vers des architectures hybrides, où les agents combinent outils natifs, connecteurs et manipulation d’interfaces selon les besoins.

Malgré ces réserves, la direction générale paraît claire. Le centre de gravité de l’IA appliquée se déplace progressivement vers des systèmes capables d’agir dans les logiciels du monde réel. L’annonce de Google DeepMind confirme que ce mouvement n’est plus marginal. Lorsqu’un acteur de cette taille introduit le “computer use” dans Gemini 3.5 Flash, il envoie un message à tout l’écosystème : l’avenir des modèles ne se jouera pas seulement sur la qualité des réponses, mais sur leur capacité à devenir des opérateurs numériques supervisés.

À long terme, cette évolution pourrait avoir plusieurs conséquences profondes. D’abord, elle pourrait redéfinir la notion même d’interface utilisateur. Si une part croissante des tâches est accomplie par des agents, les logiciels devront peut-être être pensés non seulement pour des humains, mais aussi pour des IA qui lisent l’écran, interprètent des états et déclenchent des actions. Ensuite, elle pourrait redistribuer la valeur entre les fournisseurs de modèles, les plateformes cloud, les éditeurs de logiciels et les intégrateurs capables de transformer ces briques en systèmes fiables.

Pour Google, l’enjeu dépasse largement une fonctionnalité isolée. Le groupe cherche à démontrer que sa famille Gemini peut servir de fondation à des usages professionnels avancés, à un moment où la compétition sur les agents devient l’un des terrains les plus observés de l’industrie. Pour OpenAI, Anthropic et les autres acteurs majeurs, la pression s’accentue symétriquement : il ne suffit plus d’avoir un bon modèle, il faut montrer comment ce modèle travaille.

Pour les entreprises françaises et européennes, la bonne lecture n’est ni l’enthousiasme naïf ni le scepticisme automatique. Il faut voir dans cette annonce un changement de phase. Le “computer use” ne remplace pas les architectures existantes, mais il élargit radicalement le champ de l’automatisation possible. Les organisations qui sauront tester ces capacités avec méthode, sur des périmètres bien choisis, pourraient prendre une avance significative dans l’industrialisation des agents.

La prochaine bataille de l’IA ne portera donc probablement pas d’abord sur le modèle qui répond le mieux à une question abstraite, mais sur celui qui sait ouvrir un outil, comprendre une situation, exécuter une séquence d’actions et s’arrêter au bon moment. Avec l’introduction du “computer use” dans Gemini 3.5 Flash, Google DeepMind acte précisément ce basculement : la guerre des agents se gagne moins sur les promesses de raisonnement que sur la capacité à transformer l’intelligence en travail numérique effectivement réalisé.