Faraday, l’agent IA qui automatise la réplication scientifique

Un agent conçu pour la réplication, plutôt que pour la seule synthèse scientifique

Le laboratoire britannique Inherent, fondé par d’anciens membres de DeepMind, présente Faraday, un agent d’intelligence artificielle pensé pour un problème très précis de la recherche : la réplication des résultats scientifiques. Selon l’article de TechCrunch consacré à l’annonce, l’outil ne se limite pas à lire, résumer ou commenter des publications. Il est conçu pour reconstruire les expériences décrites dans des articles de recherche afin d’en retrouver les résultats.

La distinction est essentielle. Depuis l’essor des grands modèles de langage, les démonstrations d’IA appliquée aux sciences ont souvent mis l’accent sur la recherche documentaire, la génération de code, l’assistance à la rédaction, l’analyse de données ou la formulation d’hypothèses. Ces usages peuvent aider un chercheur, mais ils ne répondent pas directement à une question centrale : une étude publiée peut-elle être reproduite à partir des informations qu’elle contient ?

Faraday se place sur ce terrain plus exigeant. Répliquer un article ne revient pas à en extraire la conclusion ni à produire une paraphrase convaincante de son protocole. Il s’agit de traduire une description scientifique en une suite d’actions suffisamment rigoureuse pour reconstruire une expérience, exécuter les étapes nécessaires et comparer les résultats obtenus avec ceux rapportés dans la publication. C’est un travail qui mélange lecture attentive, interprétation méthodologique, programmation, manipulation de données, contrôle des paramètres et évaluation des écarts.

Inherent affirme que son agent surpasse les systèmes d’Anthropic et d’OpenAI sur cette tâche spécialisée. Cette revendication, relayée par TechCrunch, mérite d’être prise au sérieux parce qu’elle porte sur une capacité différente de la performance conversationnelle générale. Mais elle appelle aussi à la prudence : dans le domaine de la recherche, une démonstration interne, même impressionnante, ne remplace pas une validation indépendante, des protocoles d’évaluation publics et une analyse détaillée des conditions dans lesquelles les résultats sont obtenus.

L’annonce survient dans un contexte où la communauté scientifique s’intéresse de plus en plus aux agents capables d’enchaîner des opérations plutôt qu’aux simples assistants conversationnels. Un chatbot peut expliquer un graphique ou suggérer une méthode. Un agent, dans l’acception mise en avant par de nombreuses entreprises d’IA, doit être capable de poursuivre un objectif à travers plusieurs étapes, d’utiliser des outils et de vérifier son propre travail. Appliquée à la réplication, cette ambition devient particulièrement sensible : l’agent ne doit pas seulement produire une réponse plausible, mais contribuer à établir si une affirmation publiée résiste à une reconstruction méthodique.

Le nom Faraday inscrit d’ailleurs le projet dans un imaginaire scientifique plutôt que dans celui du produit grand public. Inherent cherche à faire de l’IA un « coéquipier » de recherche, selon la formulation reprise dans le titre de l’article de TechCrunch. Cette expression doit toutefois être lue avec précision. Un coéquipier ne signifie pas un substitut autonome au jugement scientifique. Dans ce cas, la valeur potentielle du système dépendra de sa capacité à rendre ses opérations inspectables par des humains : les sources utilisées, les choix faits lorsqu’un protocole est incomplet, le code généré, les données mobilisées, les erreurs rencontrées et les raisons d’un éventuel échec de réplication.

La reproductibilité, une difficulté structurelle de la recherche moderne

La réplication occupe une place particulière dans la méthode scientifique. Une publication décrit généralement une question, un protocole, des mesures, une analyse et une interprétation. Mais la publication d’un résultat n’est pas, à elle seule, la garantie que ce résultat sera retrouvé par une autre équipe. Pour être vérifiable, un travail doit être suffisamment documenté, les données doivent être accessibles lorsque cela est possible, les méthodes d’analyse doivent être explicites, et les conditions expérimentales doivent pouvoir être recréées.

Dans la pratique, cette chaîne est souvent incomplète. Certains articles ne mettent pas à disposition l’ensemble de leur code. Les jeux de données peuvent être restreints, protégés, trop volumineux ou impossibles à partager. Les paramètres essentiels peuvent ne pas être reportés avec assez de précision. Dans les travaux expérimentaux, des éléments matériels, biologiques ou environnementaux peuvent influencer le résultat sans être facilement capturés dans un article. Dans les disciplines computationnelles, la version exacte d’une bibliothèque, le matériel utilisé ou les choix de prétraitement peuvent suffire à modifier une conclusion.

Le débat sur la « crise de la reproductibilité » n’est pas nouveau. Une enquête publiée par Nature en 2016 auprès de 1 576 chercheurs avait notamment montré l’ampleur de cette inquiétude : 70 % des répondants déclaraient avoir échoué à reproduire l’expérience d’un autre scientifique, tandis que 52 % disaient ne pas avoir réussi à reproduire l’une de leurs propres expériences. Ces chiffres ne signifient pas que la majorité des travaux publiés seraient invalides. Ils montrent en revanche que la reproduction est un processus difficile, coûteux et trop rarement traité comme une étape normale de la production scientifique.

La situation ne se réduit pas aux erreurs ou aux fraudes, qui constituent des cas distincts. Une réplication peut échouer pour de nombreuses raisons : informations manquantes, variations légitimes du matériel ou du contexte, échantillon différent, incertitude statistique, difficulté à reconstituer une chaîne de traitement, changement de logiciel ou interprétation ambiguë d’un texte. À l’inverse, réussir une réplication ne signifie pas automatiquement que toutes les conclusions d’un article sont établies au-delà de tout doute. La réplication est donc un outil de vérification, pas un verdict binaire et universel.

C’est précisément là que le positionnement de Faraday peut être intéressant. La recherche produit une masse de littérature qu’aucune équipe humaine ne peut vérifier systématiquement. Refaire une expérience demande du temps, des compétences, des infrastructures et parfois des moyens financiers considérables. Les incitations académiques privilégient encore souvent les résultats nouveaux plutôt que la réplication d’études existantes. Un agent qui accélérerait la reconstruction des expériences computationnelles ou des analyses de données pourrait donc réduire une partie de ce coût.

Il faut cependant distinguer les domaines. La réplication d’un article comprenant un code, des données accessibles et une procédure de calcul structurée est très différente de la réplication d’une expérience clinique, d’un essai sur des organismes vivants, d’une étude de terrain ou d’un protocole nécessitant des instruments spécialisés. L’automatisation est susceptible d’être plus immédiate là où les expériences sont numériques, où les entrées et sorties sont définies et où l’environnement d’exécution peut être recréé. Elle devient plus complexe lorsque la reproduction dépend d’un laboratoire physique, d’échantillons rares, de savoir-faire tacite ou de contraintes réglementaires.

Le mot « réplication » recouvre également plusieurs niveaux. Refaire exactement une analyse à partir des mêmes données n’est pas la même chose que reproduire le protocole avec de nouvelles données. Confirmer une observation dans un autre contexte n’est pas non plus identique à reconstruire le pipeline logiciel d’un article. La valeur scientifique de l’automatisation dépendra donc de la précision avec laquelle Inherent définit la tâche confiée à Faraday et des critères retenus pour juger une réplication réussie, partielle ou impossible.

Ce que la performance revendiquée face à OpenAI et Anthropic signifie — et ce qu’elle ne démontre pas encore

Inherent affirme que Faraday fait mieux que les systèmes d’Anthropic et d’OpenAI pour répliquer des recherches. À première vue, la comparaison est notable. Anthropic et OpenAI figurent parmi les entreprises qui ont le plus contribué à populariser les modèles de langage généralistes capables d’écrire du code, de manipuler des documents et d’utiliser certains outils. Leurs systèmes sont fréquemment employés par des chercheurs pour explorer la littérature, préparer des scripts ou interpréter des résultats.

Mais une comparaison entre un agent spécialisé et des modèles plus généralistes demande une lecture méthodique. Un système explicitement entraîné, structuré ou équipé pour reconstruire des expériences peut logiquement être avantagé sur un benchmark de réplication. Cela ne suffit pas à établir qu’il est plus performant dans toutes les tâches scientifiques, ni même dans toutes les formes de vérification d’articles. La question déterminante n’est pas seulement celle du classement : elle concerne la nature des cas testés, les outils autorisés, le niveau d’autonomie du système et la méthode de notation.

TechCrunch rapporte l’affirmation d’Inherent, mais une performance revendiquée par son éditeur reste une revendication tant qu’elle n’est pas complétée par une évaluation indépendante. Pour être interprétable par les laboratoires, les éditeurs scientifiques et les organismes de financement, une telle évaluation devrait notamment préciser le corpus d’articles sélectionné, les domaines couverts, les ressources mises à disposition des agents, les données et le code disponibles, ainsi que la définition exacte de la réussite.

Un benchmark robuste devrait également distinguer plusieurs situations. Un article peut être parfaitement documenté et donc relativement simple à reconstruire. Un autre peut contenir des zones ambiguës ou ne pas donner accès aux ressources nécessaires. Dans ce second cas, l’agent le plus utile n’est pas forcément celui qui produit une réponse coûte que coûte ; il peut être celui qui identifie clairement les informations absentes, formule les hypothèses nécessaires et signale qu’une réplication fidèle ne peut pas être garantie.

Cette exigence est particulièrement importante avec les modèles de langage. Leur capacité à produire des textes et du code très plausibles peut devenir un risque lorsque l’objectif est la vérification. Un agent scientifique ne doit pas combler silencieusement une lacune du protocole avec une solution vraisemblable puis présenter le résultat comme une reproduction exacte. Il doit au contraire séparer ce qui provient de l’article, ce qui est déduit, ce qui est choisi par convention et ce qui ne peut pas être établi. Dans un environnement de recherche, la traçabilité n’est pas un détail d’interface : elle est une condition de confiance.

La revendication d’Inherent doit aussi être replacée dans la compétition qui se dessine autour des agents de recherche. Les modèles généralistes peuvent offrir une grande flexibilité : ils lisent des textes variés, écrivent du code dans différents langages et peuvent être reliés à de multiples outils. Les systèmes spécialisés peuvent, de leur côté, proposer un cadre plus contraint, des procédures dédiées et des mécanismes de contrôle adaptés à une tâche scientifique. Aucun de ces deux modèles n’est mécaniquement supérieur dans tous les contextes. Le choix dépendra de l’objectif : explorer, assister, automatiser, vérifier ou documenter.

Dans cette perspective, la promesse de Faraday est moins celle d’un chatbot qui sait parler de science que celle d’un agent qui transforme une publication en processus exécutable. C’est une ambition plus étroite, mais potentiellement plus structurante. Si elle est confirmée, elle déplacerait l’attention vers des métriques plus exigeantes que la qualité rédactionnelle d’une réponse : taux de reconstruction réussie, fidélité au protocole, détection des informations manquantes, reproductibilité du code créé par l’agent, clarté des journaux d’exécution et capacité à signaler ses limites.

La performance relative face à Anthropic et OpenAI n’épuise donc pas le sujet. Une démonstration peut montrer que Faraday obtient de meilleurs résultats dans un cadre donné, sans répondre encore à des questions plus larges : fonctionne-t-il sur des articles récents non vus durant son développement ? Ses résultats peuvent-ils être reproduits par d’autres équipes ? Ses erreurs sont-elles faciles à détecter ? Son raisonnement opérationnel peut-il être audité ? Et l’outil est-il capable de reconnaître qu’une publication ne contient pas assez d’éléments pour être répliquée proprement ?

Vers une infrastructure de confiance, à condition d’automatiser aussi le doute

L’intérêt potentiel d’un agent comme Faraday ne tient pas uniquement au gain de temps. La réplication automatisée pourrait devenir une couche d’infrastructure pour la recherche, au même titre que les dépôts de code, les archives de données, les environnements d’exécution reproductibles ou les plateformes de prépublication. Dans cette hypothèse, un article ne serait plus seulement un document statique : il serait accompagné d’un ensemble de ressources et de tests permettant à des systèmes, puis à des humains, de vérifier que ses résultats peuvent être reconstitués.

Une telle évolution pourrait modifier le travail de plusieurs acteurs. Les auteurs disposeraient d’un outil pour détecter des incohérences avant soumission. Les relecteurs pourraient consacrer davantage de temps aux choix scientifiques de fond, après avoir obtenu un état des lieux automatisé sur l’exécution du code ou la disponibilité des étapes de calcul. Les éditeurs pourraient encourager des formats de publication plus structurés. Les équipes qui souhaitent s’appuyer sur une étude antérieure pourraient bénéficier d’un point de départ plus clair que la seule lecture d’un article.

Le bénéfice le plus important ne serait pas nécessairement de produire un label simpliste de type « répliqué » ou « non répliqué ». La recherche fonctionne rarement selon des catégories aussi tranchées. Un système utile pourrait cartographier les zones de fragilité : telle figure est reproductible à partir des fichiers fournis ; tel résultat dépend d’un paramètre non documenté ; telle analyse exige une version précise d’un logiciel ; telle conclusion ne peut pas être testée sans accès à des données non publiques. Cette cartographie serait déjà une information précieuse pour le débat scientifique.

Pour cela, Faraday devrait pouvoir assumer l’incertitude plutôt que la masquer. L’un des principaux enjeux des agents autonomes est leur tendance potentielle à poursuivre une tâche même lorsque les informations disponibles ne permettent pas de la terminer rigoureusement. Dans la réplication scientifique, cette persistance peut devenir contre-productive. Une IA qui invente un détail manquant afin d’obtenir un graphique proche de celui de l’article peut donner l’illusion d’une validation. Une IA qui interrompt son travail, explique le blocage et demande une clarification rend un service plus compatible avec les normes de la science.

La transparence devrait porter sur l’ensemble de la chaîne. Quel texte a été lu ? Quelles données ont été téléchargées ou exclues ? Quel environnement informatique a été utilisé ? Quel code l’agent a-t-il écrit ou modifié ? Quels paramètres proviennent explicitement de l’article et lesquels résultent d’une hypothèse ? Quels écarts ont été observés entre la reconstruction et les résultats publiés ? Sans réponses à ces questions, un score de benchmark ou une phrase de synthèse ne suffirait pas à créer la confiance.

Le sujet soulève aussi une question de responsabilité. Lorsqu’un agent conclut qu’une étude ne peut pas être reproduite, cette conclusion peut avoir des conséquences pour des auteurs, des institutions ou des domaines de recherche. Elle ne devrait pas être interprétée comme une accusation automatique. L’échec peut refléter une documentation insuffisante, une difficulté technique ou une restriction légitime sur l’accès aux données. De même, lorsqu’un agent parvient à retrouver un résultat, la communauté doit pouvoir examiner comment il y est arrivé. La réplication assistée par IA ne dispense pas de l’examen par les pairs ; elle peut en changer l’échelle et l’organisation.

Cette nuance est d’autant plus importante que les publications scientifiques remplissent plusieurs fonctions. Elles communiquent des résultats, mais elles servent aussi de trace historique, de support d’évaluation et de référence pour des travaux ultérieurs. Ajouter une couche d’automatisation implique de ne pas confondre l’exécution technique d’un pipeline avec la validité globale d’une théorie. Un script qui s’exécute correctement ne prouve pas, à lui seul, que les hypothèses initiales sont les bonnes, que les données ont été collectées sans biais ou que l’interprétation est justifiée.

Faraday se situe donc à l’intersection de deux promesses : l’automatisation de tâches scientifiques complexes et le renforcement de la vérifiabilité. La première est aujourd’hui largement portée par le marché de l’IA. La seconde est plus difficile, car elle exige de concevoir des systèmes qui acceptent la contradiction, l’incomplétude et le contrôle extérieur. C’est sur cette seconde dimension que le projet d’Inherent devra faire ses preuves.

Les implications pour les laboratoires français et européens

Pour les équipes de recherche françaises et européennes, la question n’est pas seulement de savoir si Faraday est plus performant que d’autres systèmes sur une tâche donnée. Elle concerne les conditions dans lesquelles un agent de réplication peut être intégré à des pratiques de recherche, à des infrastructures de données et à des cadres de gouvernance déjà complexes.

La France dispose d’un écosystème scientifique où coexistent universités, organismes publics, hôpitaux, laboratoires mixtes et entreprises. Dans un tel environnement, les projets produisent des données de natures très différentes : jeux de données computationnels, observations expérimentales, données sensibles, informations cliniques, archives patrimoniales ou résultats industriels. Un outil de réplication peut être immédiatement pertinent pour certains travaux numériques, notamment lorsque le code et les données sont partageables. Il sera beaucoup plus contraint dans les cas soumis à des obligations de confidentialité, à des restrictions contractuelles ou à des règles de protection des personnes.

Le cadre européen ajoute une dimension importante. Le règlement général sur la protection des données impose des exigences fortes lorsqu’un projet implique des données personnelles. Pour un agent IA, la circulation des données vers un service externe, les modalités d’hébergement, la conservation des traces et les accès accordés aux équipes doivent être examinés avec attention. La promesse d’automatisation ne peut pas conduire à contourner les règles de sécurité ou de confidentialité qui encadrent certains travaux scientifiques.

Le règlement européen sur l’intelligence artificielle, l’AI Act, constitue un autre élément de contexte. Il ne transforme pas mécaniquement tout outil utilisé par un chercheur en système à haut risque. Mais il illustre la place croissante des exigences de documentation, de transparence et de gestion des risques dans le déploiement de l’IA en Europe. Or ce sont précisément des caractéristiques dont dépend l’utilité scientifique d’un agent de réplication. Dans ce domaine, conformité réglementaire et qualité méthodologique peuvent se rejoindre : une IA traçable est à la fois plus facile à auditer et plus utile pour comprendre un résultat.

Les laboratoires francophones pourraient aussi y voir un enjeu linguistique et documentaire. La littérature scientifique internationale est très largement rédigée en anglais, mais les protocoles internes, les notes de laboratoire, les documents administratifs et certaines ressources de formation peuvent exister en français. Un agent de réplication réellement opérationnel devrait pouvoir s’insérer dans cet environnement hétérogène sans perdre la précision terminologique nécessaire. Dans les sciences, une mauvaise traduction d’un paramètre, d’une unité ou d’une condition expérimentale peut suffire à invalider une reconstruction.

Au-delà de la langue, la question de l’accès est centrale. Si des outils de réplication avancés restent réservés à quelques entreprises ou universités très financées, ils pourraient accroître l’écart entre institutions. À l’inverse, des standards ouverts pour décrire les expériences, déposer les données lorsque c’est possible et publier les environnements d’exécution pourraient rendre la vérification plus largement accessible. L’annonce d’Inherent rappelle ainsi que la compétition ne portera pas seulement sur les modèles d’IA, mais aussi sur les formats, les interfaces et les infrastructures qui permettront à ces modèles de travailler.

Les organismes de financement et les éditeurs pourraient avoir un rôle déterminant. Ils peuvent encourager le dépôt de code, la documentation des jeux de données, l’usage d’environnements reproductibles et la publication de protocoles plus détaillés. Un agent comme Faraday tirerait une grande partie de son efficacité de ces pratiques. À l’inverse, aucune sophistication algorithmique ne pourra entièrement compenser un article dont les ressources nécessaires sont absentes, inaccessibles ou trop peu documentées.

Pour les entreprises européennes qui développent des solutions d’IA scientifique, le cas Faraday constitue également un signal de marché. Les assistants de recherche généralistes sont déjà nombreux. Se différencier par une fonction concrète de vérification, avec des mesures de performance et une valeur directement liée aux workflows de laboratoire, peut être une voie plus défendable que la simple mise à disposition d’une interface conversationnelle. Mais cela impose un niveau d’exigence supérieur : les utilisateurs scientifiques ne peuvent pas se satisfaire d’une réponse élégante si le protocole ne tient pas.

La prochaine épreuve sera celle de la validation ouverte

La présentation de Faraday par Inherent met en lumière une direction importante de l’IA appliquée aux sciences : passer de l’assistance intellectuelle à l’exécution contrôlable de procédures de recherche. Si l’agent parvient réellement à reconstruire des expériences et à retrouver leurs résultats de manière fiable, il pourrait contribuer à rendre la vérification plus fréquente, plus rapide et mieux documentée dans certains domaines.

Mais l’enjeu immédiat n’est pas de proclamer qu’une IA a résolu la crise de reproductibilité. Cette crise ne possède pas une cause unique et ne peut pas être traitée par un seul produit. Elle touche à la qualité des descriptions méthodologiques, à l’accès aux données, aux incitations de publication, aux coûts des réplications, aux pratiques statistiques, aux contraintes matérielles et à la possibilité pour des équipes indépendantes de contester un résultat.

La prochaine étape pour Inherent sera donc moins médiatique que méthodologique. La startup devra montrer comment Faraday est évalué, sur quels types de travaux il opère, quelles sont ses limites et de quelle manière des tiers peuvent vérifier ses propres conclusions. Une comparaison transparente avec les systèmes d’Anthropic et d’OpenAI serait particulièrement utile si elle permettait de comprendre non seulement quel outil obtient le meilleur score, mais aussi pourquoi : meilleure lecture des méthodes, meilleure génération de code, usage d’outils spécifiques, contrôle des erreurs ou capacité accrue à reconnaître les informations manquantes.

À plus long terme, les agents de réplication pourraient transformer la publication scientifique en un objet plus dynamique. Un article pourrait être accompagné d’une trace d’exécution, de ressources vérifiables et de rapports indiquant ce qui a été reproduit dans différents environnements. Les chercheurs ne renonceraient pas à leur rôle de jugement ; ils disposeraient d’outils pour concentrer ce jugement sur les zones réellement incertaines ou controversées.

C’est dans cette capacité à organiser le doute, plutôt qu’à l’effacer derrière une réponse automatique, que se jouera la crédibilité de Faraday. Pour Inherent comme pour ses concurrents, le défi ne consiste pas seulement à produire un agent qui semble faire de la science. Il consiste à construire un système dont les résultats peuvent, eux aussi, être répliqués, discutés et contestés par la communauté scientifique.