Gemini Robotics ER 2 veut coordonner des flottes de robots

De l’agent conversationnel au système qui agit dans l’espace physique

Après les assistants capables de générer du texte, du code, des images ou des réponses à des questions complexes, la prochaine frontière de l’intelligence artificielle se joue dans le monde physique. Google DeepMind inscrit explicitement Gemini Robotics ER 2 dans cette trajectoire. Dans une publication intitulée « Gemini Robotics ER 2: powering robotics with video understanding, task orchestration, and multi-robot collaboration », l’entreprise présente un système orienté vers trois capacités : comprendre des flux vidéo, organiser des tâches physiques et faire collaborer plusieurs robots.

Le changement de vocabulaire est significatif. Il ne s’agit plus seulement de donner une instruction à une machine unique, ni de démontrer qu’un bras robotisé peut saisir un objet dans un décor contrôlé. Google DeepMind met en avant la possibilité d’analyser ce que perçoivent les robots, de décomposer une mission et d’en distribuer les étapes entre plusieurs équipements. L’objectif affiché rapproche donc les modèles multimodaux des réalités de l’industrie, de la logistique et, à plus long terme, de la robotique humanoïde.

La robotique est historiquement confrontée à une difficulté particulière : le réel est moins prévisible qu’une interface logicielle. Un robot doit composer avec des objets déplacés, des obstacles imprévus, des variations de lumière, des emballages déformés, des humains en mouvement, des opérations interrompues et des capteurs imparfaits. Dans ce cadre, l’IA ne peut pas se limiter à produire une réponse convaincante en langage naturel. Elle doit relier la perception à une action, comprendre les conséquences de cette action et, lorsque plusieurs machines interviennent, maintenir une cohérence collective.

La publication de Google DeepMind ne présente pas Gemini Robotics ER 2 comme un simple outil de vision par ordinateur. Le titre de la source originale associe la video understanding, soit la compréhension vidéo, à la task orchestration, l’orchestration de tâches, et à la multi-robot collaboration, la collaboration multi-robots. Ces trois dimensions dessinent l’architecture d’un agent physique : voir une situation, identifier ce qu’il faut faire, puis répartir ou coordonner l’exécution.

Cette ambition prolonge les travaux de Google dans la robotique fondée sur de grands modèles. En 2022, Google Robotics avait présenté RT-1, un modèle destiné à traduire des instructions en actions robotiques. En 2023, RT-2 avait marqué une étape importante en cherchant à transférer vers la robotique des connaissances issues de modèles vision-langage. Google DeepMind avait ensuite annoncé Gemini Robotics en mars 2025, avec l’idée d’adapter les capacités multimodales de Gemini à l’interaction avec le monde physique. Gemini Robotics ER 2 se place dans cette continuité, tout en déplaçant le centre de gravité vers l’observation vidéo, l’organisation de missions et la coordination d’une pluralité de machines.

Le nom même du modèle suggère un prolongement de Gemini Robotics-ER, où « ER » renvoie à l’embodied reasoning, le raisonnement incarné. Ce concept recouvre une idée centrale dans la recherche en robotique : raisonner utilement ne consiste pas seulement à décrire un environnement, mais à comprendre comment un corps, des capteurs et des effecteurs peuvent y intervenir. Une IA peut savoir reconnaître une tasse sur une image ; un robot doit encore déterminer si elle est accessible, comment la prendre sans la casser, où la poser et comment réagir si quelqu’un la déplace pendant l’opération.

Ce que Google DeepMind annonce avec Gemini Robotics ER 2

Selon Google DeepMind, Gemini Robotics ER 2 étend les capacités de raisonnement robotique à partir de flux vidéo. Cette précision est essentielle. Une image fixe fournit un état ; une vidéo permet également d’observer une évolution. Le système peut potentiellement distinguer un objet immobile d’un objet en cours de déplacement, repérer une séquence de travail, suivre une action entamée ou situer un incident dans le déroulement d’une tâche.

Dans un environnement opérationnel, cette dimension temporelle est déterminante. Un entrepôt, une ligne de préparation, un atelier ou une zone de maintenance ne se résument pas à une photographie de l’espace. Les bacs circulent, les portes s’ouvrent, les palettes changent de position, les opérateurs passent d’un poste à un autre. Un système qui comprend les flux vidéo peut, en théorie, fournir une représentation plus riche de la scène et de son évolution qu’un mécanisme basé sur des états isolés.

Google DeepMind associe cette compréhension vidéo à l’orchestration de tâches physiques complexes. Là encore, la formulation importe. Une tâche complexe peut comporter plusieurs sous-objectifs, des dépendances, des contraintes de séquence et des vérifications. Il faut par exemple identifier qu’une zone doit être préparée avant qu’un objet y soit déplacé, qu’un équipement est indisponible, ou qu’une opération doit attendre la fin d’une autre. L’orchestration ne désigne donc pas seulement l’envoi d’ordres : elle suppose de structurer l’action dans le temps et entre différents intervenants.

La troisième dimension mise en avant par la source est la collaboration entre plusieurs robots. DeepMind dépasse ainsi le cadre classique de la démonstration centrée sur une seule machine. Dans de nombreux environnements industriels, l’intérêt économique de la robotique ne réside pas dans l’autonomie spectaculaire d’un dispositif isolé, mais dans la capacité à intégrer plusieurs équipements : bras robotisés, robots mobiles, systèmes de convoyage, caméras, outils de contrôle et logiciels de supervision.

Le texte de Google DeepMind place Gemini Robotics ER 2 à l’intersection de ces besoins. Le modèle vise à aider des systèmes robotiques à raisonner sur ce qu’ils voient, à coordonner des actions et à collaborer. Il ne faut pas transformer cette annonce en promesse de déploiement universel : la publication mentionnée dans le brief ne détaille pas de disponibilité générale, de calendrier commercial, de tarif, de liste de partenaires industriels ni de métriques de performance comparables. Ces éléments devront être examinés séparément s’ils sont communiqués par l’entreprise.

Cette prudence est particulièrement importante dans la robotique. Une démonstration de laboratoire, même impressionnante, ne garantit pas la robustesse d’un système durant des milliers d’heures, dans des bâtiments variés et sous des exigences de sûreté élevées. La compréhension vidéo peut être très utile, mais elle doit aussi résister à l’occlusion, aux éclairages changeants, aux angles de caméra, aux objets inconnus et aux erreurs de détection. De même, orchestrer plusieurs robots exige de gérer les conflits de trajectoire, les temps d’attente, les priorités opérationnelles et les situations d’arrêt.

La formulation choisie par Google DeepMind révèle néanmoins une ambition claire : passer d’une IA qui assiste une personne devant un écran à une IA capable de participer à l’organisation d’actions physiques. Le modèle ne se limite pas à produire un plan textuel. Il est présenté comme un composant susceptible de s’appuyer sur la vidéo pour participer au fonctionnement coordonné de robots dans des environnements réels.

La publication originale de Google DeepMind présente Gemini Robotics ER 2 comme un système destiné à « powering robotics with video understanding, task orchestration, and multi-robot collaboration ».

Cette phrase ne doit pas être lue comme une définition technique exhaustive, mais elle fixe le périmètre de l’annonce. Google DeepMind met l’accent sur la perception vidéo, la planification pratique et la coopération, plutôt que sur une seule capacité motrice ou une unique plateforme matérielle.

Pourquoi la vidéo et la coordination de flotte changent l’échelle du problème

La vision artificielle est déjà utilisée depuis longtemps dans les usines, les entrepôts et les centres de tri. Des systèmes spécialisés vérifient la présence d’une pièce, lisent un code, détectent un défaut ou guident un robot sur une trajectoire définie. La différence revendiquée par les approches fondées sur des modèles multimodaux tient à leur capacité à traiter des situations plus générales et à relier la perception à des consignes formulées dans un langage humain.

Gemini Robotics ER 2 s’inscrit dans cette évolution. Comprendre une vidéo ne consiste pas uniquement à reconnaître des catégories d’objets. Dans un cadre robotique, l’enjeu est de déterminer ce qui se produit, ce qui a changé, ce qui reste à accomplir et quel intervenant est le mieux placé pour agir. Une telle capacité peut devenir utile lorsqu’un processus ne correspond pas exactement à une séquence préprogrammée, ou lorsqu’une supervision humaine doit comprendre rapidement pourquoi une opération ne se déroule pas comme prévu.

Le terme d’orchestration renvoie aussi à une réalité opérationnelle moins visible que les démonstrations de préhension : la plupart des gains de productivité viennent de l’enchaînement. Dans une flotte, un robot peut rester inutilisé parce qu’un couloir est bloqué, parce qu’un bac n’est pas prêt, parce qu’un poste doit être nettoyé, ou parce qu’une machine en amont a pris du retard. Coordonner le travail revient à réduire ces frictions, à répartir les tâches et à réagir aux événements sans nécessiter une reprogrammation manuelle à chaque exception.

Le passage de la machine individuelle à la flotte modifie profondément les exigences du logiciel. Un robot autonome doit gérer sa propre perception et ses mouvements. Une flotte doit en plus disposer d’une représentation partagée de la situation, d’un mécanisme d’allocation des tâches, de règles de priorité et d’une supervision capable de reprendre la main. Plus le nombre d’agents augmente, plus la question de la communication devient critique : une décision localement raisonnable peut devenir inefficace, voire dangereuse, si elle ignore les actions des autres machines.

Dans ce contexte, les grands modèles peuvent jouer un rôle d’interface et de couche de raisonnement, mais ils ne remplacent pas automatiquement les systèmes de contrôle industriel. Les robots ont besoin de mécanismes déterministes, de limites de mouvement, de capteurs de sécurité et de procédures d’arrêt. Le modèle d’IA peut contribuer à comprendre une mission, à proposer une décomposition ou à interpréter une scène ; l’exécution doit rester encadrée par des règles adaptées au matériel et au site concerné.

Cette distinction est fondamentale pour lire l’annonce de DeepMind. L’IA générative a popularisé l’idée qu’un système peut répondre à une requête très ouverte. Le monde physique, lui, impose une contrainte supplémentaire : une réponse erronée peut se traduire par un mouvement inadapté, un arrêt de production, une dégradation matérielle ou un risque pour les personnes présentes. Les enjeux de fiabilité, de validation et de reprise humaine sont donc plus élevés que dans la plupart des usages conversationnels.

La coopération multi-robots intéresse particulièrement la logistique, où la valeur dépend souvent du débit global. Un bras robotisé peut prendre des objets, un robot mobile peut les acheminer et un autre système peut préparer l’espace de destination. Aucun de ces éléments n’apporte seul une automatisation complète. Leur coordination peut en revanche permettre de traiter une suite d’opérations. C’est précisément ce type de passage d’une capacité isolée à un processus complet que suggère l’orientation de Gemini Robotics ER 2.

Le même raisonnement vaut pour l’industrie. Dans une usine, une intervention peut exiger l’inspection d’un équipement, l’acheminement d’un outil, la manipulation d’une pièce et un contrôle final. La compréhension de la vidéo pourrait aider à interpréter l’état d’une scène ; l’orchestration pourrait organiser les étapes ; la collaboration multi-robots pourrait répartir des rôles complémentaires. Mais l’intérêt réel dépendra toujours du niveau d’intégration avec les équipements existants, des contraintes du site et de la qualité des procédures de sécurité.

Enfin, le sujet touche directement à l’avenir des robots humanoïdes, souvent présentés comme capables d’utiliser des environnements conçus pour les humains. Même si Google DeepMind ne réduit pas Gemini Robotics ER 2 aux humanoïdes, les capacités annoncées sont pertinentes pour cette catégorie : un humanoïde n’a pas seulement besoin de se déplacer ou de manipuler, il doit comprendre son contexte, accepter des consignes et travailler avec d’autres dispositifs. L’annonce s’insère donc dans une course plus vaste pour construire des agents physiques plus polyvalents.

Une course technologique déjà très disputée

Google DeepMind n’est pas seul à vouloir rapprocher les modèles de fondation de la robotique. Ces dernières années, les acteurs de l’IA, les fabricants de puces, les entreprises de robotique et de jeunes pousses spécialisées ont multiplié les annonces autour des modèles vision-langage-action. Leur promesse commune est de réduire la distance entre une instruction humaine, la perception d’une scène et l’exécution d’un geste.

Google avait lui-même contribué à structurer cette catégorie avec RT-1 puis RT-2. RT-2 avait notamment attiré l’attention en montrant comment des connaissances acquises par des modèles entraînés sur le web pouvaient être exploitées pour des tâches robotiques. Gemini Robotics, annoncé en 2025, a ensuite associé les capacités multimodales de Gemini aux besoins des robots. Gemini Robotics ER 2 prolonge cette ligne, mais introduit dans son positionnement public une insistance forte sur la compréhension de séquences vidéo et sur la collaboration de plusieurs robots.

Chez NVIDIA, le projet GR00T s’inscrit dans la même tendance. En mars 2025, l’entreprise a présenté Isaac GR00T N1, un modèle de fondation ouvert pour les robots humanoïdes. NVIDIA dispose par ailleurs d’un écosystème important autour du calcul accéléré, de la simulation et de la plateforme Isaac. La comparaison avec Google DeepMind doit rester mesurée : les entreprises ne communiquent pas nécessairement les mêmes détails techniques, les mêmes protocoles d’évaluation ni les mêmes modalités d’accès. Mais elles partagent l’objectif de donner aux robots des capacités plus générales que les approches reposant sur une programmation spécifique à chaque geste.

La jeune entreprise Physical Intelligence avait également présenté son modèle π0 en 2024, avec l’ambition de construire une intelligence physique généralisable. Là encore, le débat porte sur la capacité des modèles à apprendre à partir de données diverses, à s’adapter à de nouveaux environnements et à exécuter des tâches variées. Figure a de son côté annoncé Helix en février 2025 comme un modèle vision-langage-action destiné à ses robots humanoïdes. Ces annonces montrent que le secteur ne se limite plus aux robots industriels traditionnels, programmés pour des cellules de production très stables.

La spécificité de l’annonce de Google DeepMind réside dans l’articulation des trois termes mis en avant par la source : vidéo, orchestration et collaboration. Beaucoup de démonstrations robotiques restent centrées sur la réussite d’une action unitaire : saisir, trier, ouvrir, ranger ou déplacer. Or une opération réelle implique souvent des étapes interdépendantes et plusieurs sources d’information. Google DeepMind semble ainsi viser une couche de raisonnement et de coordination susceptible de relier plusieurs robots à une compréhension plus dynamique du terrain.

Cette orientation peut aussi être lue à la lumière des limites actuelles des modèles de langage. Les grands modèles sont efficaces pour synthétiser, reformuler, générer du code ou suivre des instructions, mais ils peuvent produire des réponses incorrectes avec une apparence de confiance. Dans la robotique, ce risque ne disparaît pas : il doit être compensé par des garde-fous, des vérifications et des contrôles à plusieurs niveaux. Une bonne orchestration ne peut pas être seulement linguistique ; elle doit être raccordée à l’état réel des machines et aux contraintes physiques.

La concurrence se joue donc autant sur les modèles que sur les données, les simulateurs, les capteurs et les systèmes de déploiement. L’apprentissage d’un robot nécessite des données d’interaction coûteuses à obtenir. Les vidéos, les démonstrations humaines, les données de téléopération et la simulation sont autant de sources possibles, mais elles ne sont pas parfaitement interchangeables. Le passage d’un environnement de test à un site industriel, souvent appelé transfert vers le réel, demeure l’un des problèmes majeurs de la discipline.

Dans ce paysage, Google DeepMind dispose d’atouts évidents : une expertise de longue date dans l’apprentissage automatique, les modèles multimodaux et la robotique, ainsi qu’un lien avec l’écosystème technologique de Google. Mais la position d’un laboratoire ou d’un fournisseur de modèles ne suffit pas à elle seule à transformer les installations industrielles. Les intégrateurs, les fabricants de robots, les responsables opérationnels et les équipes de sûreté déterminent aussi la vitesse des déploiements.

La collaboration de flotte peut précisément devenir un terrain de différenciation. Un modèle qui améliore la capacité d’un seul robot à manipuler un objet répond à un problème important. Un système qui aide à faire fonctionner de manière cohérente plusieurs robots dans un flux de travail répond à une question plus directement liée à l’exploitation d’un site. C’est aussi une question plus difficile, car elle oblige à traiter la disponibilité des ressources, les incidents, les communications, les priorités et les arbitrages en temps réel.

Ce que l’annonce implique pour la France et l’Europe

Pour les entreprises françaises et européennes, l’intérêt de Gemini Robotics ER 2 ne se limite pas à la fascination pour les humanoïdes. La région compte de nombreux secteurs dans lesquels la robotique, l’automatisation et la logistique sont déjà structurants : industrie manufacturière, automobile, aéronautique, pharmacie, agroalimentaire, distribution, entrepôts et services de maintenance. Dans ces domaines, le défi est souvent moins d’acheter un robot que de faire dialoguer des équipements hétérogènes avec les contraintes précises d’un site.

Un système capable d’interpréter des vidéos, d’organiser des missions et de coordonner plusieurs robots pourrait intéresser les organisations confrontées à des processus variables. Les usages les plus plausibles se situent là où les opérations comportent des exceptions fréquentes, où la configuration évolue et où un opérateur humain reste nécessaire pour superviser les situations ambiguës. Il serait cependant prématuré d’en déduire que Gemini Robotics ER 2 est prêt à être installé dans des entrepôts ou des usines françaises : la publication citée ne fournit pas, dans les éléments disponibles ici, de détail sur un lancement commercial ou sur des déploiements locaux.

Le contexte réglementaire européen ajoute une couche de complexité. Les systèmes qui exploitent des caméras dans des lieux de travail doivent prendre en compte les règles relatives aux données personnelles, notamment lorsque des salariés ou des visiteurs peuvent être filmés. Le Règlement général sur la protection des données, ou RGPD, impose un cadre de minimisation, de finalité et de sécurité des données. Une architecture fondée sur la compréhension vidéo devra donc être évaluée non seulement pour ses performances, mais aussi pour la nature des images traitées, leur conservation et les accès qui y sont associés.

L’Union européenne déploie également le règlement sur l’intelligence artificielle, l’AI Act. Sans préjuger de la qualification juridique exacte d’un système robotique donné, son utilisation dans un contexte professionnel peut soulever des obligations de gouvernance, de documentation, de gestion des risques et de supervision humaine. Les applications impliquant des machines en mouvement doivent de surcroît respecter les règles de sécurité applicables aux équipements et aux environnements de travail. La puissance d’un modèle multimodal ne réduit pas ces exigences ; elle peut au contraire renforcer le besoin de démontrer comment une décision est encadrée.

Pour les industriels européens, l’enjeu est aussi celui de la souveraineté opérationnelle. Une entreprise qui déploie une couche d’orchestration fondée sur l’IA doit comprendre où sont traitées ses données, quelles dépendances elle crée envers un fournisseur, comment elle peut auditer les décisions du système et quelles alternatives existent en cas d’indisponibilité. Ces questions ne sont pas propres à Google DeepMind, mais elles prennent une importance accrue lorsque l’IA devient reliée à des opérations physiques et à des flux vidéo.

La langue et les procédures locales constituent un autre sujet concret. Les sites français travaillent avec des consignes, des nomenclatures, des règles de sécurité et des logiciels métiers spécifiques. La promesse d’agents capables de recevoir des instructions humaines est attractive, mais elle ne dispense pas de l’intégration. Il faut que le système comprenne les termes utilisés sur le terrain, qu’il respecte les autorisations et qu’il puisse être supervisé par des équipes qui ne sont pas forcément spécialistes des modèles de fondation.

Le marché français dispose déjà d’une base industrielle dans l’automatisation, les logiciels industriels, la robotique de manutention et la vision artificielle. L’arrivée de systèmes comme Gemini Robotics ER 2 pourrait accélérer une évolution : celle du robot programmable vers le robot configurable par des objectifs plus généraux. Mais cette transition ne signifie pas la disparition immédiate des approches traditionnelles. Les robots spécialisés restent souvent plus simples à valider, plus prévisibles et plus efficaces sur des tâches répétitives.

La question sociale devra également être abordée sans simplification. Une flotte coordonnée peut modifier la répartition des tâches, renforcer les besoins de maintenance et de supervision, ou déplacer certaines compétences vers le pilotage des opérations et la gestion des exceptions. L’histoire de l’automatisation montre que les effets dépendent fortement du secteur, de l’organisation du travail et de la stratégie de formation. La communication autour de robots plus autonomes ne doit donc pas faire disparaître le rôle des opérateurs, des techniciens, des responsables sécurité et des intégrateurs.

Vers des systèmes physiques plus autonomes, mais encore à prouver dans la durée

Gemini Robotics ER 2 illustre le déplacement progressif de l’IA générative vers l’action. La première vague de modèles de fondation a transformé la production et l’analyse de contenus numériques. La suivante cherche à relier ces capacités à des logiciels, des outils et des flux de travail. La robotique pousse ce mouvement plus loin : l’agent ne se contente plus d’agir dans une application, il intervient dans un environnement où les objets ont une masse, où les personnes se déplacent et où les erreurs ont un coût matériel.

La vision vidéo, l’orchestration et la coordination de plusieurs robots constituent un ensemble cohérent pour cette ambition. Une compréhension dynamique de l’environnement peut améliorer la perception de ce qui se passe. Une orchestration peut transformer une consigne générale en étapes. Une collaboration de flotte peut connecter ces étapes à plusieurs machines. Mais chacune de ces briques apporte ses propres difficultés, et leur combinaison augmente encore la complexité.

La prochaine phase de concurrence ne se jouera donc pas uniquement sur la qualité des démonstrations. Elle dépendra de la capacité des acteurs à démontrer la fiabilité sur des tâches répétées, dans des sites variés, avec des opérateurs humains, des contraintes de sécurité et des coûts acceptables. Les entreprises chercheront des réponses à des questions très concrètes : que se passe-t-il lorsque la vidéo est incomplète, lorsqu’un robot est indisponible, lorsqu’une consigne est ambiguë ou lorsqu’un événement inattendu perturbe le plan ?

Pour Google DeepMind, l’enjeu est de montrer que les capacités de Gemini peuvent devenir une infrastructure utile au-delà des interfaces numériques. La publication sur Gemini Robotics ER 2 place l’entreprise sur le terrain de l’agent physique coordonné, un domaine où les modèles, les robots et les logiciels d’exploitation devront fonctionner ensemble. Le choix de mettre l’accent sur plusieurs robots plutôt que sur une seule machine est révélateur : la valeur industrielle potentielle se trouve dans la continuité d’un processus, pas seulement dans la réussite d’un geste.

Cette évolution pourrait aussi rebattre les cartes entre fabricants de matériel et fournisseurs de modèles. Si les modèles multimodaux deviennent plus capables de comprendre les scènes, d’interpréter les instructions et de répartir les tâches, la couche logicielle d’orchestration gagnera en importance. À l’inverse, les contraintes du matériel rappelleront que le robot reste un système complet : capteurs, actionneurs, alimentation, contrôle, sécurité et maintenance ne peuvent pas être abstraits par une interface conversationnelle.

En France comme en Europe, la maturité de ces systèmes dépendra autant de leur intégration réglementaire et industrielle que de leurs performances en démonstration. Les projets les plus crédibles seront probablement ceux qui ciblent des flux précis, prévoient des mécanismes de supervision et mesurent clairement les gains ou les limites. L’idée d’une flotte de robots coordonnée par une IA généraliste est séduisante, mais elle devra s’accommoder de la diversité des usines, de la protection des données et des exigences de sûreté du terrain.

La perspective ouverte par Gemini Robotics ER 2 est donc moins celle d’un remplacement instantané du travail physique que celle d’une nouvelle couche d’intelligence pour les systèmes automatisés. Si Google DeepMind parvient à transformer la compréhension vidéo et le raisonnement incarné en coordination robuste, les agents IA pourraient progressivement passer du rôle de conseillers numériques à celui d’organisateurs d’actions dans le monde réel. C’est une promesse ambitieuse, dont la validation se fera moins dans les discours que dans la durée, la sécurité et la capacité à gérer l’imprévu.