MosaicLeaks teste la fuite de secrets chez les agents IA

Avec MosaicLeaks, Hugging Face braque les projecteurs sur un angle mort des agents IA

La course aux agents IA s’est longtemps racontée comme une compétition de performances: meilleure planification, meilleure exécution d’outils, meilleure capacité à naviguer sur le web, à résumer des documents ou à orchestrer des workflows complexes. Mais à mesure que ces systèmes quittent les démonstrations pour se connecter à des environnements réels — messageries, documents internes, bases de connaissances, CRM, outils de recherche — une autre question devient centrale: un agent peut-il garder un secret?

C’est précisément le terrain visé par MosaicLeaks, un benchmark présenté par Hugging Face dans une publication intitulée « MosaicLeaks: Can your research agent keep a secret? ». L’initiative se concentre sur un risque très concret de l’ère des agents: la fuite d’informations sensibles lorsqu’un système dispose d’un contexte riche, d’accès à des outils et d’instructions parfois contradictoires ou indirectement malveillantes.

Le sujet est loin d’être théorique. Dans les entreprises, les déploiements d’agents s’accélèrent autour de cas d’usage où la valeur vient justement de l’accès à des données internes: recherche documentaire, assistance aux équipes support, préparation de notes, veille concurrentielle, aide à la décision, exploration de corpus privés. Plus un agent est utile, plus il est branché sur des sources sensibles. Et plus il est branché sur ces sources, plus la question de la confidentialité devient structurante.

Le choix de Hugging Face de formaliser ce problème sous la forme d’un benchmark est révélateur d’une évolution du marché. L’évaluation des modèles et des systèmes agentiques ne se limite plus à la réussite d’une tâche. Elle doit aussi mesurer ce qu’un agent ne doit pas faire: révéler un mot de passe, exposer un extrait confidentiel, transmettre une information présente dans son contexte mais absente de la requête légitime de l’utilisateur, ou encore se laisser manipuler par une instruction cachée dans une source externe.

Pour un acteur comme Hugging Face, historiquement associé à l’open source, aux jeux de données, aux modèles et aux benchmarks, cette publication s’inscrit dans une continuité logique. L’entreprise a largement contribué à rendre l’évaluation des systèmes d’IA plus transparente et plus reproductible. Avec MosaicLeaks, elle applique cette culture de l’évaluation à une question de sécurité qui devient prioritaire au moment où l’industrie pousse massivement les agents en production.

L’intérêt du benchmark tient aussi à son cadrage. Il ne s’agit pas seulement de demander si un modèle « hallucine » ou s’il suit correctement une consigne. Il s’agit d’examiner comment un agent se comporte quand plusieurs couches d’information coexistent: un objectif utilisateur, un contexte de travail, des documents consultés, des outils intermédiaires, et des instructions implicites glissées dans cet environnement. En d’autres termes, MosaicLeaks se place à l’endroit exact où les promesses des agents rencontrent les risques opérationnels.

Dans le contexte francophone, l’angle résonne particulièrement avec les préoccupations des grandes entreprises, des administrations et des secteurs régulés. En France comme en Europe, la question n’est pas seulement de savoir si un agent est performant, mais s’il peut être déployé sans mettre en danger des secrets industriels, des informations contractuelles, des données métier ou des éléments soumis à des obligations de conformité. À ce titre, l’annonce de Hugging Face dépasse le simple exercice académique: elle met des mots et une méthodologie sur une inquiétude déjà très présente dans les directions informatiques et cybersécurité.

Ce que mesure précisément MosaicLeaks selon Hugging Face

D’après la publication originale de Hugging Face, MosaicLeaks est conçu pour évaluer si des agents de recherche divulguent des informations sensibles. Le benchmark vise donc un scénario spécifique, mais de plus en plus représentatif: celui d’un agent chargé de rechercher, lire, synthétiser et répondre en s’appuyant sur un ensemble de ressources potentiellement mêlées à des contenus confidentiels.

Le point important est que Hugging Face ne présente pas la fuite comme un simple bug isolé. Le benchmark cible un risque systémique lié à l’architecture même des agents modernes. Ces systèmes manipulent en permanence plusieurs types de contexte:

• le contexte de la conversation, avec les demandes de l’utilisateur et l’historique des échanges;
• le contexte documentaire, issu de fichiers, notes, pages web, bases de connaissances ou résultats de recherche;
• le contexte d’outillage, provenant d’API, de moteurs de recherche, de navigateurs ou d’outils internes;
• les instructions système ou développeur, qui définissent des règles de comportement, des priorités et des limites.

C’est à l’intersection de ces couches que naissent les fuites. Un agent peut par exemple être amené à consulter un document contenant une information confidentielle tout en devant répondre à une question qui, en apparence, n’autorise pas sa divulgation. Il peut aussi être confronté à une source externe qui tente de lui faire exfiltrer une donnée à laquelle il a accès. Le problème n’est donc pas seulement la « sécurité du modèle », mais la gouvernance du contexte dans un système agentique complet.

La formulation même du titre choisi par Hugging Face — « Can your research agent keep a secret? » — montre bien le déplacement du débat. Il ne s’agit plus de mesurer uniquement l’intelligence apparente d’un agent, mais sa capacité à respecter une frontière informationnelle. Cette frontière est fondamentale dans les usages professionnels: un bon agent n’est pas celui qui répond à tout prix, c’est aussi celui qui sait se taire.

Le benchmark met en avant des vecteurs de fuite qui parlent directement aux équipes produit et sécurité. La publication cite notamment les risques de divulgation via le contexte, les outils et les instructions indirectes. Cette triade est particulièrement pertinente.

La fuite via le contexte survient lorsqu’une information sensible présente dans la mémoire de travail de l’agent ou dans les documents qu’il a consultés se retrouve reprise dans une réponse alors qu’elle n’aurait pas dû l’être. La fuite via les outils peut apparaître lorsqu’un agent utilise un connecteur ou une API qui lui donne accès à des données plus larges que nécessaire, puis réinjecte ces données dans sa sortie. Enfin, la fuite via les instructions indirectes renvoie à une famille d’attaques devenue très commentée depuis l’essor des agents: des consignes malveillantes cachées dans des documents, des pages ou des résultats externes, susceptibles de détourner le comportement du système.

Le fait que Hugging Face choisisse de formaliser ce dernier point est notable. L’industrie a beaucoup parlé de prompt injection au niveau des chatbots. Mais dans le cas des agents de recherche, l’enjeu monte d’un cran: le système ne se contente pas de répondre à un utilisateur, il parcourt des sources, en extrait des signaux, appelle des outils, puis agit ou rédige sur cette base. Une instruction hostile noyée dans ce flux peut donc avoir des effets plus larges qu’une simple réponse erronée.

Le benchmark s’adresse ainsi à une catégorie de systèmes qui est aujourd’hui au cœur des feuilles de route produit: les agents capables de lire, comparer, synthétiser et naviguer. En les soumettant à des scénarios de fuite, Hugging Face rappelle qu’un agent de recherche n’est pas seulement un moteur de productivité. C’est aussi un point de concentration du risque informationnel.

La publication originale de Hugging Face a également le mérite de poser le sujet dans un langage simple, compréhensible bien au-delà du cercle des chercheurs en sécurité. « Garder un secret » est une formulation accessible, mais elle recouvre une difficulté technique profonde: comment faire en sorte qu’un système qui a vu une information ne la réutilise pas hors de son périmètre autorisé? Cette question touche à la séparation des privilèges, à la hiérarchie des instructions, à la mémoire, au filtrage des sorties et à la conception des outils eux-mêmes.

Autrement dit, MosaicLeaks ne décrit pas une faille unique. Le benchmark sert plutôt de cadre pour observer un ensemble de comportements indésirables dans des configurations réalistes. C’est ce qui en fait un signal important pour le marché: la sécurité des agents ne peut plus être pensée comme un simple module ajouté après coup. Elle doit être évaluée comme une propriété fondamentale du système.

Pourquoi ce benchmark arrive à un moment charnière pour l’industrie des agents

Le timing de MosaicLeaks n’a rien d’anodin. Depuis environ deux ans, l’écosystème de l’IA générative a progressivement déplacé son centre de gravité. Après la fascination initiale pour les grands modèles conversationnels, le marché s’est tourné vers les applications agentiques: assistants capables d’enchaîner des étapes, d’utiliser des outils, de parcourir des sources, d’automatiser des recherches et d’interagir avec des environnements logiciels.

Cette évolution a été portée à la fois par les grands laboratoires, les éditeurs de logiciels et l’open source. Les démonstrations d’agents web, de copilotes métier et de workflows autonomes se sont multipliées. Dans ce récit dominant, l’indicateur principal était souvent la capacité: combien d’étapes l’agent peut-il exécuter, quelle autonomie peut-il atteindre, quelle qualité de synthèse ou de planification peut-il offrir?

Mais plus les agents gagnent en autonomie, plus la surface d’attaque s’élargit. Un chatbot classique pose déjà des questions de sécurité. Un agent connecté à des e-mails, à des documents RH, à des fichiers juridiques, à des tableaux financiers ou à des espaces collaboratifs en pose davantage. Il ne se contente pas de générer du texte à partir d’un prompt: il circule dans un environnement informationnel où chaque accès peut devenir un risque de divulgation.

C’est là que MosaicLeaks prend une dimension stratégique. Hugging Face ne cherche pas seulement à publier un benchmark de plus. L’entreprise met le doigt sur un changement de critère de maturité. Pendant longtemps, l’évaluation des systèmes d’IA a porté sur la précision, la robustesse, la toxicité, le biais ou la capacité à suivre des instructions. Avec les agents, il faut désormais évaluer la discipline informationnelle du système.

Cette préoccupation rejoint des discussions déjà très présentes dans la cybersécurité. Dans un environnement classique, on cherche à limiter les privilèges, à cloisonner les accès, à tracer les actions et à empêcher l’exfiltration. Les agents IA viennent s’insérer dans ce paysage, mais avec une particularité: ils manipulent le langage naturel, agrègent des contenus hétérogènes et prennent des décisions à partir d’instructions parfois ambiguës. Les mécanismes de sécurité traditionnels restent nécessaires, mais ils ne suffisent pas toujours à anticiper les comportements émergents d’un agent.

Le benchmark de Hugging Face arrive aussi alors que les entreprises expérimentent activement des agents de recherche interne. Ce type de système est particulièrement attractif: il promet de faire gagner du temps en retrouvant des informations éparpillées dans plusieurs silos. Or c’est précisément ce qui le rend sensible. Plus un agent est performant dans la recherche transversale, plus il risque de croiser des données qui n’auraient jamais dû être réunies dans une même réponse.

Le sujet est d’autant plus actuel que l’industrie a largement mis en avant les capacités de connexion aux outils et aux données comme argument commercial. Les promesses sont connues: retrouver la bonne information au bon moment, automatiser la veille, produire des synthèses fiables, réduire la friction entre applications. Mais cette logique a un revers: chaque connecteur supplémentaire augmente potentiellement le volume de contexte exploitable, donc la probabilité d’une fuite involontaire ou provoquée.

Hugging Face intervient ici avec un discours qui contraste utilement avec l’enthousiasme ambiant. Là où une partie du marché insiste sur l’autonomie, MosaicLeaks rappelle la nécessité du contrôle. Là où beaucoup de démonstrations montrent des agents capables de « tout lire », le benchmark demande s’ils savent aussi ne pas tout répéter. Cette inversion de perspective est importante, car elle déplace la valeur perçue: dans un cadre professionnel, la confiance ne repose pas seulement sur la compétence, mais sur la retenue.

On peut aussi lire cette annonce comme un signe de maturation de l’écosystème open source. Hugging Face a souvent servi de point de rencontre entre recherche académique, industrie et communauté développeur. En mettant en avant un benchmark de fuite de secrets, la plateforme contribue à diffuser une culture de sécurité au moment où de nombreux développeurs assemblent eux-mêmes des agents à partir de briques ouvertes. Dans ce contexte, l’existence d’outils d’évaluation dédiés peut peser lourd sur les bonnes pratiques.

Enfin, le moment est charnière parce que les décideurs commencent à distinguer plus clairement deux questions autrefois confondues: « l’agent peut-il faire le travail? » et « l’agent peut-il faire ce travail sans exposer l’organisation? ». La première a dominé les cycles d’expérimentation. La seconde devient décisive pour les passages à l’échelle. MosaicLeaks s’inscrit exactement dans cette bascule.

Une approche qui tranche avec les benchmarks centrés sur la performance pure

Le paysage des benchmarks en IA est dense, mais la majorité d’entre eux ont historiquement mesuré des capacités positives: répondre juste, raisonner correctement, coder, résumer, traduire, planifier ou utiliser des outils. Ce sont des métriques indispensables, mais elles laissent parfois dans l’ombre une dimension essentielle des systèmes déployés: leur capacité à résister à des usages adversariaux ou à des contextes piégés.

Avec MosaicLeaks, Hugging Face met l’accent sur une propriété négative mais déterminante: ne pas divulguer. Cette orientation n’est pas totalement nouvelle dans l’absolu, car la sécurité des modèles et les attaques par prompt injection font déjà l’objet de nombreux travaux. En revanche, l’intérêt de ce benchmark est de l’ancrer explicitement dans le cas des agents de recherche, c’est-à-dire des systèmes qui combinent accès au contexte, navigation et outillage.

Cette nuance compte. Un modèle évalué en laboratoire sur des prompts isolés ne reflète pas toujours le comportement d’un agent embarqué dans un produit. Dès qu’on ajoute une mémoire, des connecteurs, des documents, un navigateur ou un moteur de recherche, l’espace de vulnérabilité change. Les risques ne viennent plus seulement de la réponse du modèle, mais du chemin qu’emprunte l’information avant d’atteindre cette réponse.

Le benchmark de Hugging Face attire ainsi l’attention sur ce que l’on pourrait appeler la sécurité compositionnelle des agents. Un composant pris séparément peut sembler raisonnablement sûr. Mais une fois combiné à des outils, à des sources externes et à des règles de priorisation d’instructions, le système global peut se comporter de manière inattendue. C’est précisément ce genre d’écart que les entreprises découvrent souvent tard, lorsqu’un prototype passe au stade pilote ou production.

Par comparaison avec les annonces concurrentes du marché, l’originalité de MosaicLeaks tient moins à la promesse d’un agent plus fort qu’à la volonté d’outiller la mesure d’un risque. Beaucoup d’acteurs mettent aujourd’hui en avant des garde-fous, des couches de policy, des filtres ou des architectures de contrôle. Mais il est plus rare de voir la question formulée sous forme de benchmark public et centré sur un cas d’usage aussi concret que l’agent de recherche. Cela donne à l’initiative une valeur méthodologique: elle invite les développeurs et les entreprises à tester systématiquement ce qu’ils supposent souvent intuitivement maîtriser.

L’approche de Hugging Face a aussi une portée culturelle. Dans l’industrie de l’IA, les classements de performance ont longtemps servi de boussole. Ils orientent les choix techniques, les récits marketing et parfois les investissements. En introduisant un benchmark orienté fuite de secrets, Hugging Face contribue à déplacer l’attention vers des critères de fiabilité opérationnelle. Pour les équipes qui construisent des agents, cela peut changer la définition même d’un « bon » système.

Dans les faits, un agent qui obtient d’excellents résultats sur des tâches de recherche mais échoue à préserver des informations sensibles peut devenir inutilisable dans des contextes professionnels critiques. À l’inverse, un agent légèrement moins ambitieux sur l’autonomie brute, mais plus robuste sur la confidentialité, peut s’avérer bien plus déployable. MosaicLeaks donne donc un cadre pour objectiver un arbitrage souvent implicite.

Cette orientation vers l’évaluation de la fuite est également importante pour les acheteurs. Les directions innovation et les métiers peuvent être séduits par des démonstrations de productivité. Les RSSI, les juristes et les responsables conformité posent une autre série de questions: quelles données l’agent voit-il, que mémorise-t-il, que peut-il répéter, comment réagit-il à un document malveillant, que se passe-t-il si une source externe essaie de détourner ses instructions? Un benchmark comme MosaicLeaks rapproche ces deux mondes en transformant des inquiétudes qualitatives en objet d’évaluation concret.

Il faut enfin souligner ce que cette annonce dit du stade actuel du marché. Quand une technologie est naissante, les benchmarks portent surtout sur la faisabilité. Quand elle mûrit, ils portent de plus en plus sur la sûreté, la gouvernance et la robustesse. En ce sens, MosaicLeaks est un marqueur de maturité: l’industrie des agents commence à accepter que la performance n’est qu’une partie du problème.

Des implications directes pour les entreprises françaises et européennes

Pour les organisations francophones, la publication de Hugging Face tombe sur un terrain particulièrement sensible. En France comme dans le reste de l’Europe, les projets d’IA générative en entreprise avancent souvent sous double contrainte: gagner en productivité sans fragiliser la maîtrise des données. Les agents de recherche, justement parce qu’ils promettent une forte valeur sur les corpus internes, se retrouvent au cœur de cette tension.

Dans de nombreuses entreprises, les informations utiles à un agent sont dispersées entre plusieurs environnements: suites collaboratives, intranets, GED, CRM, messageries, tickets support, documents bureautiques, bases juridiques ou techniques. Le principal intérêt d’un agent consiste à relier ces silos. Mais cette capacité de transversalité heurte immédiatement les principes de cloisonnement que les organisations ont mis des années à construire.

MosaicLeaks met donc en lumière une question très concrète pour les DSI et les équipes sécurité: comment s’assurer qu’un agent qui a accès à plusieurs couches d’information ne recompose pas, dans une réponse unique, un secret qui n’aurait jamais dû sortir de son périmètre? Ce risque ne concerne pas seulement les données personnelles. Il touche aussi les secrets d’affaires, les informations commerciales, les éléments de stratégie, les clauses contractuelles, les contenus de R&D ou les échanges internes.

Le sujet est particulièrement aigu dans les secteurs régulés ou fortement exposés à la confidentialité: banque, assurance, santé, défense, industrie, énergie, conseil, juridique, secteur public. Dans ces environnements, la question n’est pas seulement de savoir si un agent peut répondre utilement, mais si son architecture respecte des exigences de minimisation, de traçabilité et de séparation des accès. Un benchmark comme MosaicLeaks ne remplace pas un audit, mais il fournit un langage et un point de départ pour tester des scénarios réalistes.

Pour le marché européen, l’annonce de Hugging Face s’inscrit aussi dans une sensibilité plus large autour de la souveraineté numérique et de la gouvernance de l’IA. Sans extrapoler au-delà de la publication originale, on peut constater que les entreprises de la région accordent une importance particulière à la localisation des données, au contrôle des flux et à la conformité. Dans ce cadre, la capacité d’un agent à ne pas divulguer des informations sensibles devient un critère d’achat aussi important que la qualité de ses réponses.

Le benchmark peut également intéresser les intégrateurs, cabinets de conseil et éditeurs qui conçoivent des agents pour leurs clients. Beaucoup de projets actuels reposent sur des assemblages de composants: modèle, orchestration, retrieval, connecteurs, outils, mémoire, politiques d’accès. Cette modularité est puissante, mais elle multiplie les points de friction. Avoir un cadre d’évaluation orienté « fuite de secrets » peut aider à industrialiser des tests de sécurité dès les phases de conception, plutôt qu’après un incident ou un blocage de validation.

Pour les équipes produit, l’enseignement est tout aussi direct. Si un agent est branché sur des documents, des mails ou des bases internes, il faut penser le produit non seulement comme une interface de conversation, mais comme un système d’accès à l’information. Chaque fonctionnalité de recherche, chaque résumé, chaque synthèse multi-sources peut devenir un point d’exfiltration involontaire. MosaicLeaks rappelle que la qualité UX d’un agent ne doit pas faire oublier la discipline de ses permissions et de ses sorties.

Il existe aussi un enjeu de gouvernance interne. Dans beaucoup d’organisations, les expérimentations agentiques démarrent dans une équipe métier avant d’être reprises ou encadrées par l’IT. Le benchmark de Hugging Face peut servir d’argument pour faire évoluer ces pilotes vers des pratiques plus structurées: jeux de tests de sécurité, scénarios de prompt injection indirecte, contrôle des connecteurs, revue des politiques d’accès, filtrage des réponses, journalisation et supervision.

Pour le tissu économique français, composé d’un grand nombre d’ETI et de PME innovantes, le message est également important. Ces entreprises n’ont pas toujours les moyens de bâtir des équipes de red teaming spécialisées en IA. Un benchmark public et focalisé sur un risque métier identifiable peut leur offrir une base pratique pour évaluer leurs agents sans repartir de zéro. À mesure que les offres d’agents clés en main se multiplient, cette capacité à poser les bonnes questions de sécurité devient un avantage compétitif.

Enfin, l’impact peut être culturel. Le débat francophone sur l’IA générative a souvent oscillé entre fascination pour les gains de productivité et inquiétude générale sur les données. MosaicLeaks aide à rendre cette inquiétude plus opérationnelle. Il ne s’agit plus seulement de dire « attention aux données », mais de tester comment, concrètement, un agent peut être amené à trahir une information par le contexte, par un outil ou par une instruction indirecte. Cette précision méthodologique est précieuse pour transformer une prudence diffuse en exigences techniques claires.

La bataille à venir: des agents moins démonstratifs, mais plus fiables face au secret

La portée de MosaicLeaks dépasse sa seule existence comme benchmark. L’initiative de Hugging Face suggère une évolution plus profonde de la concurrence dans l’IA appliquée. La prochaine bataille des agents ne se jouera probablement pas seulement sur la capacité à accomplir davantage de tâches, mais sur l’aptitude à le faire sous contrainte: contrainte de sécurité, de confidentialité, de permissions, de conformité et de gouvernance.

Cette perspective est importante parce qu’elle pourrait modifier la hiérarchie des priorités produit. Jusqu’ici, l’imaginaire dominant de l’agent valorisait l’autonomie maximale: lire partout, agir partout, synthétiser tout, accélérer tout. Or un agent réellement déployable en entreprise devra souvent accepter l’inverse: voir moins, demander confirmation plus souvent, refuser davantage, tracer ses accès, ignorer certaines instructions, compartmentaliser ses connaissances. En pratique, cela peut rendre les agents moins spectaculaires en démonstration, mais bien plus crédibles en production.

Le benchmark de Hugging Face arrive donc comme un rappel salutaire. À mesure que les systèmes agentiques gagnent en profondeur d’intégration, la ligne de fracture entre prototype impressionnant et produit de confiance devient plus nette. Un agent qui sait naviguer sur le web ou résumer un dossier n’est pas automatiquement prêt pour un usage interne sensible. Il doit prouver qu’il sait distinguer ce qu’il peut utiliser de ce qu’il peut dire.

À long terme, cette logique pourrait influencer plusieurs couches du marché. D’abord, les benchmarks eux-mêmes: il est probable que l’évaluation des agents intègre de plus en plus des scénarios de fuite, de manipulation indirecte et de gestion de permissions. Ensuite, les architectures produit: les concepteurs d’agents seront poussés à mieux séparer les contextes, à réduire les privilèges et à renforcer les mécanismes de contrôle autour des outils. Enfin, les achats entreprise: les appels d’offres et les validations internes devraient accorder un poids croissant à la capacité démontrée de préserver les secrets.

Pour Hugging Face, MosaicLeaks s’inscrit dans un rôle de plus en plus important: celui d’un acteur qui ne se contente pas de diffuser des modèles et des outils, mais contribue à définir les critères de maturité de l’écosystème. Dans un secteur où la vitesse d’innovation est extrême, cette fonction de cadrage est loin d’être secondaire. Elle aide à éviter que la notion de progrès soit réduite à une simple inflation de capacités.

Pour les entreprises françaises et européennes, le message est clair sans avoir besoin d’être dramatisé. L’enjeu des agents IA n’est plus seulement de brancher un modèle sur des données internes. Il est de construire des systèmes capables de travailler au contact de ces données sans les laisser s’échapper, y compris lorsque des documents externes, des outils ou des instructions adverses tentent de brouiller les règles. C’est là que se jouera une part majeure de la confiance.

Dans cette perspective, MosaicLeaks fonctionne comme un révélateur. Il montre que la sécurité des agents ne peut plus être traitée comme une simple case à cocher, ni comme un sujet réservé aux experts en red teaming. Elle devient un critère central de conception, d’évaluation et d’adoption. Les prochaines avancées les plus décisives ne seront peut-être pas celles des agents qui parlent le mieux, mais celles des agents qui savent, avec constance, quand ne rien révéler.