Google traduit la langue des signes en texte sur mobile

De la recherche multimodale à une promesse d’accessibilité

Google DeepMind présente SL2T, un modèle d’intelligence artificielle conçu pour convertir la langue des signes en texte. Dans sa publication originale, intitulée “Putting sign language AI into users’ hands”, l’entité de recherche de Google inscrit cette technologie dans une ambition très concrète : faire passer les avancées de l’IA multimodale, souvent démontrées dans des interfaces expérimentales ou des assistants conversationnels, vers des outils d’accessibilité susceptibles d’être utilisés au quotidien.

L’annonce mérite une attention particulière parce qu’elle touche à l’un des angles morts persistants de l’informatique grand public. Les interfaces vocales ont fortement progressé, la reconnaissance automatique de la parole s’est diffusée dans les visioconférences, les smartphones et les services de transcription, et les sous-titres automatiques sont devenus courants sur les plateformes vidéo. Mais la communication en langue des signes demeure largement absente de ces systèmes, ou dépendante de prototypes limités à des conditions de captation contrôlées.

Le positionnement de SL2T est donc moins anecdotique qu’il n’y paraît. Google DeepMind ne présente pas seulement une capacité de vision par ordinateur : l’objectif est de produire du texte à partir d’une langue visuelle, structurée et incarnée. Cela suppose d’observer des mouvements des mains, mais aussi de prendre en compte, selon les langues et les expressions, la posture, l’orientation du corps, les expressions faciales, la direction du regard et l’enchaînement temporel des signes. Réduire cet exercice à la reconnaissance de quelques gestes isolés reviendrait à confondre une langue avec un dictionnaire de mouvements.

Dans le billet de Google DeepMind, le choix même de parler de sign language AI, plutôt que de simple détection de gestes, est significatif. La langue des signes ne constitue pas une couche visuelle ajoutée à une langue orale. Elle obéit à sa propre grammaire et varie selon les communautés linguistiques. La langue des signes française, ou LSF, n’est par exemple pas une version gestuelle du français ; de même, l’American Sign Language, souvent désignée par son sigle ASL, n’est pas une transposition mot à mot de l’anglais.

Cette distinction est centrale pour évaluer l’annonce. Un système capable de produire une phrase de texte à partir d’une séquence signée ne résout pas automatiquement le problème de l’interprétation, de la conversation ou de l’accès à tous les services. Il doit pouvoir reconnaître une langue donnée, traiter ses structures propres, fonctionner dans des environnements réels et restituer une information compréhensible sans gommer le sens. SL2T s’inscrit dans cet espace complexe, à l’intersection de la vision, de la modélisation du langage et de l’accessibilité.

Le sujet arrive aussi à un moment où les grands groupes technologiques cherchent à justifier l’utilité quotidienne de leurs investissements massifs dans les modèles d’IA. Les démonstrations de modèles génératifs et d’assistants multimodaux ont occupé une part importante de la communication du secteur. Google, en particulier, a mis en avant Gemini comme une famille de modèles capable de traiter plusieurs types d’informations. Avec SL2T, Google DeepMind déplace le discours : il ne s’agit plus seulement de montrer qu’un modèle peut analyser de l’image, du texte ou de la vidéo, mais de mesurer si cette capacité peut réduire une barrière de communication.

SL2T : convertir une langue visuelle en texte

Le fait principal annoncé par Google DeepMind est clair : SL2T est un modèle destiné à convertir la langue des signes en texte. Son nom renvoie à cette tâche de sign language to text, c’est-à-dire de langue des signes vers texte. La formulation est importante. Elle décrit une chaîne dont la sortie est textuelle, et non un système qui génère automatiquement un signer virtuel, ni un outil qui remplace un interprète humain dans toutes les situations.

Google DeepMind présente cette technologie comme une brique pouvant alimenter de nouvelles fonctionnalités à destination des personnes sourdes et malentendantes. Le billet original insiste sur l’idée de mettre l’IA « entre les mains » des utilisateurs. Cette expression renvoie à l’ambition d’une utilisation sur des appareils personnels, en particulier dans un contexte mobile, plutôt qu’à un outil réservé à un laboratoire, à un service spécialisé ou à une infrastructure lourde.

Le mobile constitue ici un terrain décisif. Un téléphone embarque déjà une caméra, un écran, une puissance de calcul croissante et une connexion qui peut, selon les usages, permettre de compléter le traitement local par des services distants. C’est aussi l’objet informatique le plus accessible dans les interactions courantes : à la maison, dans un commerce, au travail, dans les transports, dans une salle d’attente ou face à un agent de service. Une fonction de conversion de langue des signes en texte n’aurait pas le même impact si elle nécessitait une installation technique spécifique ou l’intervention permanente d’un tiers.

Pour autant, l’expression « sur mobile » ne doit pas être lue comme la garantie d’un produit universel et immédiatement disponible dans tous les pays, pour toutes les langues des signes et dans tous les scénarios. La publication de Google DeepMind décrit une technologie et son orientation vers des fonctionnalités d’accessibilité. Les détails opérationnels restent essentiels : quelles langues sont prises en charge, sur quels appareils, dans quelles applications, avec quel traitement des données, dans quelles conditions de lumière et de cadrage, et avec quels mécanismes de signalement des erreurs ?

Une technologie de traduction ou de conversion destinée à l’accessibilité ne peut pas être jugée uniquement à l’aune d’une démonstration. Elle doit être évaluée dans des situations imparfaites : une caméra tenue à la main, une personne partiellement hors champ, une pièce sombre, des arrière-plans chargés, une interaction rapide, des styles de signature différents ou la présence de plusieurs personnes dans l’image. L’enjeu n’est pas seulement d’obtenir une sortie textuelle ; il est de savoir si cette sortie conserve une valeur utile lorsque l’environnement ne ressemble pas à un jeu de données de recherche.

Le terme « texte » recouvre lui-même plusieurs attentes. Dans un échange de proximité, un utilisateur peut chercher une transcription courte pour transmettre une intention immédiate. Dans une conversation professionnelle, administrative, médicale ou juridique, la précision attendue est beaucoup plus élevée. Une erreur sur un nom, une date, une négation, un chiffre ou une consigne peut changer profondément le sens. La publication de Google DeepMind ne transforme pas ces exigences en problèmes résolus par principe : elle ouvre une voie technique dont les limites devront être observées au niveau du produit.

SL2T illustre néanmoins un changement de maturité dans l’approche de Google. Les systèmes de vision artificielle ont historiquement excellé dans des tâches limitées, comme identifier une catégorie d’objet, repérer un visage ou reconnaître une pose. La compréhension de séquences signées est plus exigeante. Elle implique de relier des informations visuelles dans le temps et de produire un langage écrit cohérent. Dans cette perspective, le modèle se situe au croisement de la reconnaissance vidéo et de la génération de texte.

Le choix de concevoir un modèle explicitement associé à la langue des signes peut également être lu comme une réponse à une limite des modèles multimodaux généralistes. Un grand modèle capable de décrire une image n’est pas nécessairement compétent pour interpréter une langue visuelle. Les données, les critères d’évaluation et les objectifs d’accessibilité ne sont pas identiques. Une IA qui reconnaît qu’une personne bouge les mains ne comprend pas pour autant une phrase signée, son registre, son contexte ou les relations grammaticales exprimées dans l’espace.

Une difficulté linguistique, technique et sociale

Le développement de systèmes liés à la langue des signes impose de partir d’un fait simple : il n’existe pas une langue des signes universelle. Les langues des signes sont des langues à part entière, liées à des histoires, des communautés et des territoires. Elles ne se déduisent pas automatiquement les unes des autres, pas plus que l’italien, le français et le japonais ne se déduisent les uns des autres à partir d’un même alphabet.

Pour le marché français, cette réalité a une conséquence directe. Une solution entraînée principalement sur une langue des signes étrangère ne peut pas être présumée adaptée à la LSF. Même lorsque deux systèmes utilisent un alphabet manuel ou certains signes ayant des ressemblances visuelles, les structures linguistiques, les usages et les conventions peuvent différer. La question de la couverture des langues ne relève donc pas d’un détail de localisation comparable à la traduction d’un menu logiciel. Elle détermine l’utilité même de l’outil pour les utilisateurs concernés.

La diversité existe aussi à l’intérieur d’une même communauté linguistique. Comme dans toute langue, les pratiques varient selon les régions, les générations, les parcours éducatifs et les contextes sociaux. Les personnes sourdes ne forment pas un ensemble homogène d’utilisateurs avec une relation identique à la langue des signes, au français écrit, aux sous-titres, aux technologies vocales ou aux interfaces visuelles. Un produit d’accessibilité pertinent doit donc éviter de traiter ses utilisateurs comme un cas d’usage unique et figé.

Sur le plan technique, la langue des signes pose un problème de représentation dense. Les mains sont évidemment visibles, mais elles ne sont pas le seul canal d’information. L’orientation de la paume, la configuration des doigts, la vitesse du mouvement, l’emplacement du signe dans l’espace et la relation entre les deux mains peuvent compter. Les expressions du visage et les mouvements du buste peuvent également modifier ou compléter le sens. Une caméra de téléphone doit pouvoir capturer suffisamment d’éléments sans imposer une posture artificielle à la personne qui signe.

La temporalité constitue une autre difficulté. Une image fixe peut permettre d’identifier une posture, mais une séquence signée se construit dans la durée. Deux gestes similaires peuvent avoir un rôle différent selon ce qui les précède ou les suit. Le système doit segmenter une séquence continue, relier ses éléments et les convertir en texte sans perdre les nuances introduites par le mouvement. Cette exigence explique pourquoi les progrès des modèles vidéo et multimodaux sont particulièrement pertinents pour ce domaine.

Il faut également distinguer la conversion de langue des signes en texte de la traduction au sens large. Produire une transcription littérale, produire une phrase grammaticalement naturelle dans une langue écrite, condenser une information ou interpréter une intention sont des tâches différentes. Selon les données disponibles et l’objectif produit, un système peut privilégier l’une ou l’autre. Mais la communication autour de ces outils doit être précise afin d’éviter de faire croire qu’une sortie textuelle constitue toujours une équivalence parfaite avec le message signé.

Cette prudence ne diminue pas l’intérêt de SL2T ; elle en précise les conditions d’usage. Un système peut être très utile pour faciliter une interaction courte, préparer un message, soutenir une conversation ou permettre une meilleure autonomie dans certaines situations, sans être fiable au point de remplacer une interprétation humaine dans un rendez-vous médical, un entretien juridique ou une décision administrative. La différence entre assistance et substitution est fondamentale dans les technologies d’accessibilité.

La qualité des données constitue alors un enjeu structurel. Les modèles d’IA apprennent à partir d’exemples. Dans le cas des langues des signes, la constitution de données représentatives est difficile, notamment parce qu’il faut disposer de séquences signées, de transcriptions adaptées, de consentements, d’une diversité de signers et d’annotations cohérentes. Une couverture insuffisante des variations de langue, des styles de signature ou des situations de captation risque de produire des performances très inégales selon les personnes.

Le risque n’est pas uniquement technique. Une technologie entraînée sans participation suffisante des communautés sourdes peut imposer une vision extérieure de la langue des signes, sélectionner des formes jugées « standard » et négliger des usages réels. Dans ce contexte, la consultation, l’évaluation et la gouvernance avec les personnes concernées ne sont pas des éléments de communication périphériques. Elles participent à la qualité linguistique, à la sécurité et à la légitimité du service.

Google DeepMind place son annonce sous le signe de l’utilité. Cette promesse ne pourra être vérifiée que si les capacités du modèle se traduisent par une expérience prévisible pour les utilisateurs. Il faudra notamment savoir comment l’interface indique son degré d’incertitude, comment elle évite de présenter une approximation comme une certitude et comment elle permet de corriger ou de reformuler une sortie erronée. Dans un domaine où l’IA sert de médiation entre des personnes, la transparence est aussi importante que la fluidité.

Google cherche une application concrète pour ses modèles multimodaux

L’annonce de SL2T s’inscrit dans une trajectoire plus large de Google, où l’IA est progressivement intégrée aux produits de recherche, de création, de communication et d’accessibilité. Le groupe dispose d’un historique ancien dans la reconnaissance vocale, la traduction automatique, l’analyse d’images et la recherche d’information. L’arrivée des modèles génératifs et multimodaux a rapproché ces domaines : un même système peut désormais, en théorie, traiter du texte, des images, du son et de la vidéo.

Gemini est devenu le symbole le plus visible de cette stratégie. Google met en avant les capacités multimodales de ses modèles dans des usages allant de l’analyse de documents à l’interprétation de contenus visuels. Mais ces démonstrations soulèvent une question persistante : quelle valeur ajoutée concrète apportent-elles dans la vie quotidienne, au-delà de la capacité à répondre à une requête ou à générer un contenu ? La langue des signes constitue un terrain où une meilleure compréhension vidéo pourrait déboucher sur un bénéfice immédiatement identifiable.

La publication “Putting sign language AI into users’ hands” marque ainsi un déplacement dans la narration de Google DeepMind. L’IA n’est pas seulement décrite comme une interface conversationnelle ou un outil de productivité. Elle devient une infrastructure potentielle d’accessibilité. Cette orientation rejoint une tendance plus générale du secteur, où les fonctions d’assistance sont régulièrement présentées comme l’une des applications les plus tangibles de l’IA embarquée dans les appareils personnels.

Les comparaisons avec les annonces concurrentes doivent cependant rester nuancées. Apple a fait de l’accessibilité un axe récurrent de ses mises à jour logicielles, notamment autour de la reconnaissance de sons, des sous-titres, de la voix et du contrôle des appareils. Microsoft a également développé des fonctions d’accessibilité dans Windows, Teams et ses services cloud, tandis que les outils de transcription automatique se sont largement diffusés dans la visioconférence. Ces initiatives répondent à des besoins voisins, mais la conversion de langue des signes en texte soulève des difficultés spécifiques qui ne se résument ni à la transcription de la parole ni au sous-titrage.

Les systèmes de sous-titrage automatique partent généralement d’un signal vocal. Leur tâche consiste à transformer de l’audio en texte, avec des défis liés au bruit, aux accents, aux langues et aux tours de parole. SL2T part d’un signal visuel et doit traiter une langue qui mobilise plusieurs articulations simultanées. Le parallèle est utile pour comprendre le potentiel d’usage, mais il serait trompeur d’en conclure que les niveaux de fiabilité, de disponibilité linguistique ou de maturité produit sont identiques.

La différence est aussi économique. Les langues orales dominantes bénéficient depuis longtemps de vastes corpus audio et textuels. Les langues des signes disposent souvent de ressources numériques plus limitées, particulièrement lorsqu’il s’agit de séquences annotées avec précision. Les modèles les plus généralistes risquent donc de reproduire une hiérarchie déjà visible dans l’IA : une bonne prise en charge des langues et marchés les mieux documentés, et une couverture plus faible des communautés disposant de moins de données et de financements.

Pour Google, le défi consiste à éviter que SL2T ne demeure une vitrine technologique. Une annonce de recherche peut susciter de l’intérêt, mais la valeur dépendra de son intégration dans des interfaces accessibles, de la clarté des langues prises en charge et de la qualité dans les usages courants. L’enjeu de l’intégration est d’autant plus important que les personnes concernées ne cherchent pas nécessairement une nouvelle application isolée : elles ont besoin que les outils existants — messagerie, visioconférence, navigation, services publics, commerce, assistance client — deviennent moins excluants.

Le mobile apparaît comme un vecteur naturel de cette ambition, mais aussi comme une contrainte. Une solution suffisamment rapide et simple à utiliser peut renforcer l’autonomie. À l’inverse, un système qui demande de maintenir le téléphone dans un angle précis, consomme fortement la batterie ou échoue dès que la lumière change risque d’être abandonné. La promesse d’IA « entre les mains » suppose donc autant une discipline d’ingénierie produit qu’une performance de modèle.

Il faut enfin noter que le passage vers des appareils personnels pose la question des données sensibles. Les vidéos de personnes qui signent peuvent révéler des informations privées, une identité, un lieu, des interlocuteurs ou le contenu d’une conversation. L’acceptabilité d’un outil de ce type dépendra de la manière dont les utilisateurs comprennent ce qui est traité localement ou à distance, ce qui est conservé et ce qui peut être utilisé pour améliorer les systèmes. Le billet de Google DeepMind met l’accent sur l’accessibilité ; l’adoption durable exigera aussi une confiance explicite dans le traitement des données.

Un enjeu immédiat pour la France et l’Europe

En France, l’annonce résonne avec une question plus large : comment faire en sorte que la vague de l’IA générative ne creuse pas les inégalités d’accès aux services numériques ? Les outils les plus visibles du marché sont majoritairement pensés pour le texte et la voix. Or une partie des échanges professionnels, éducatifs, administratifs et commerciaux demeure difficilement accessible lorsque la langue des signes est absente des interfaces.

La perspective d’une conversion sur téléphone peut intéresser de nombreux contextes. Dans un accueil physique, un agent pourrait lire un message converti en texte. Dans une interaction informelle, une personne pourrait communiquer plus facilement avec un interlocuteur ne connaissant pas la langue des signes. Dans des usages numériques, une telle brique pourrait à terme compléter les outils de communication existants. Mais chaque scénario pose ses propres exigences : vitesse, confidentialité, précision, continuité de l’échange et possibilité de vérifier le résultat.

Le cas des services publics mérite une vigilance particulière. L’IA peut contribuer à réduire certaines frictions, mais elle ne doit pas devenir un prétexte à la disparition d’alternatives humaines ou de dispositifs d’interprétation lorsque ceux-ci sont nécessaires. Dans des domaines où les droits, la santé, le logement, l’emploi ou l’éducation sont en jeu, une erreur de compréhension n’est pas un simple défaut d’ergonomie. Elle peut empêcher l’accès à une information essentielle.

La France et l’Europe disposent par ailleurs d’un environnement réglementaire qui renforce l’attention portée à l’accessibilité numérique et à la protection des données. Pour les entreprises qui déploieraient des fonctions inspirées de SL2T, l’enjeu ne sera pas seulement de proposer une innovation. Il faudra pouvoir expliquer les usages prévus, les limites du système, le traitement des vidéos et les modalités de recours lorsqu’une personne estime que l’outil ne répond pas à son besoin.

La question de la LSF sera déterminante. Une communication mondiale sur la langue des signes ne garantit pas une utilité immédiate pour les utilisateurs français. Google DeepMind devra, comme les autres acteurs du secteur, démontrer la couverture effective des langues et des variantes concernées. Sans cela, le risque est de voir les innovations les plus avancées rester concentrées sur un nombre limité de communautés déjà mieux représentées dans les ressources numériques.

Les acteurs francophones ont néanmoins un rôle à jouer. Associations, chercheurs, linguistes, établissements d’enseignement, interprètes et personnes sourdes disposent d’une expertise indispensable pour évaluer la pertinence de ces systèmes. Cette expertise ne peut pas être réduite à une phase de test tardive. Elle devrait intervenir dans la définition des besoins, les critères de qualité, les scénarios d’erreur acceptables et les modalités de déploiement.

Pour les entreprises françaises, la technologie ouvre aussi une réflexion sur les outils internes. Les plateformes de visioconférence, les espaces de formation, les logiciels de relation client et les services RH intègrent de plus en plus de briques d’IA. L’accessibilité ne peut pas être traitée comme une option ajoutée après coup, particulièrement lorsque l’IA devient une couche d’interface entre salariés, clients et institutions. SL2T met en lumière une question concrète : les modèles multimodaux sont-ils conçus pour comprendre la diversité des formes de communication, ou seulement les formes les plus représentées dans leurs données ?

La réponse conditionnera la réception de ces outils. Une innovation utile est celle qui donne davantage de choix aux utilisateurs, et non celle qui impose une solution technique dans des situations où elle demeure imprécise. Dans ce cadre, la capacité à afficher clairement ce que le modèle comprend, ce qu’il ne comprend pas et les langues pour lesquelles il a été évalué sera au moins aussi importante que la qualité perçue d’une démonstration.

La prochaine étape : passer de la démonstration à la confiance

SL2T porte une promesse forte : celle d’une IA multimodale susceptible de rendre une interaction plus accessible sans exiger une infrastructure spécialisée. Google DeepMind propose avec ce modèle une direction qui paraît cohérente avec l’évolution des appareils personnels, de plus en plus équipés pour traiter des données visuelles et exécuter des fonctions d’assistance. Mais le véritable test ne sera pas la capacité à convertir une séquence idéale en texte. Il sera la capacité à fonctionner de manière fiable dans la diversité des conversations humaines.

La progression future dépendra notamment de quatre facteurs : la qualité de la reconnaissance dans des environnements réels, la couverture des langues des signes, la participation durable des communautés concernées et la transparence sur les limites. Ces critères sont interdépendants. Un modèle performant sur une langue ne répond pas au besoin d’un utilisateur d’une autre communauté ; une interface fluide ne compense pas une erreur de sens ; une disponibilité sur mobile ne garantit pas la confiance si les données vidéo sont mal comprises ou mal protégées.

Le sujet pourrait aussi redéfinir ce que le secteur appelle « multimodal ». Jusqu’ici, le terme sert souvent à désigner des modèles capables d’accepter plusieurs formats de contenu. La langue des signes rappelle qu’il ne suffit pas de voir une vidéo pour comprendre une communication. L’IA doit apprendre à traiter une langue, avec sa grammaire, son contexte et ses locuteurs. Cette nuance séparera les produits réellement inclusifs des fonctions de démonstration.

Pour Google, l’enjeu est stratégique autant que technologique. Le groupe cherche à montrer que ses capacités d’IA peuvent sortir des interfaces génériques et répondre à des besoins précis. Pour le marché francophone, l’annonce sera réellement significative si elle conduit à une prise en charge sérieuse de la LSF, à des tests transparents et à des usages qui complètent les solutions humaines plutôt que de les écarter.

La publication de Google DeepMind ouvre donc moins un point final qu’un chantier. Si SL2T parvient à s’inscrire dans des produits accessibles, multilingues et évalués avec rigueur, il pourrait constituer une étape importante dans la démocratisation des technologies d’assistance. À l’inverse, si la couverture linguistique reste étroite ou si les limites contextuelles sont minimisées, l’IA de langue des signes risque de reproduire les exclusions qu’elle prétend réduire. C’est sur ce terrain, bien plus que dans la seule performance du modèle, que se jouera sa portée durable.