OpenAI dissout son équipe de préparation aux risques IA

Une équipe dédiée aux risques extrêmes disparaît d’OpenAI

OpenAI aurait dissous son équipe Preparedness, une structure interne consacrée à l’évaluation des capacités dangereuses et des risques extrêmes susceptibles d’être associés aux futurs modèles d’intelligence artificielle du laboratoire. L’information a été rapportée par le Financial Times, puis relayée par The Verge, qui précise que cette équipe a été démantelée à la fin du mois de juillet.

Le sujet dépasse largement une simple modification d’organigramme. Chez OpenAI, la préparation aux risques dits « frontiers » — c’est-à-dire ceux qui pourraient émerger à mesure que les modèles gagnent en autonomie, en puissance de raisonnement, en capacité d’action ou en maîtrise de domaines sensibles — constitue depuis plusieurs années un élément central du discours public de l’entreprise. La disparition d’une équipe explicitement nommée pour cette mission pose donc une question immédiate : où se situe désormais l’autorité chargée de ralentir, d’encadrer ou de signaler le développement d’un système jugé trop risqué ?

Selon les éléments rapportés par le Financial Times, l’équipe Preparedness évaluait les capacités dangereuses et les scénarios de risques extrêmes liés aux futurs systèmes d’OpenAI. Cette fonction ne se confond pas avec les tâches plus générales de sécurité informatique, de modération des usages ou de détection des contenus interdits. Elle relève d’une catégorie particulière de la sûreté de l’IA : l’anticipation de ce qu’un modèle de frontière pourrait permettre de faire, y compris dans des domaines où une amélioration de ses performances créerait de nouveaux risques pour la cybersécurité, la sûreté biologique ou la manipulation.

Dans le vocabulaire du secteur, cette distinction est essentielle. Un mécanisme de sûreté peut viser à empêcher un assistant conversationnel de produire des contenus manifestement dangereux ou illégaux. Une équipe de préparation aux risques avancés cherche, elle, à déterminer si le système sous-jacent possède des compétences qui modifient structurellement le niveau de menace, y compris lorsque ces compétences ne sont pas encore intégrées à un produit grand public. Elle intervient donc, en principe, très en amont du lancement commercial.

Le cas d’OpenAI est particulièrement observé parce que l’entreprise occupe une position centrale dans la course aux modèles génératifs de grande taille. Depuis le lancement public de ChatGPT à la fin de 2022, l’entreprise est devenue l’un des principaux symboles de l’accélération de l’IA générative. Ses décisions internes sont lues par les investisseurs, les gouvernements, les chercheurs et ses concurrents comme des indications sur le rapport de force entre vitesse de développement, pression du marché, sécurité et gouvernance.

La nouvelle rapportée par le Financial Times ne signifie pas, à elle seule, qu’OpenAI abandonne tout travail de sûreté. Une entreprise de cette taille comprend plusieurs équipes pouvant traiter de la sécurité, de l’alignement, de l’évaluation des modèles, de la robustesse ou de la prévention des abus. Mais elle soulève une interrogation plus précise : la mission de preparedness est-elle conservée sous une autre forme, répartie entre d’autres pôles, ou affaiblie par la disparition d’une structure identifiable et spécialisée ?

Pourquoi la notion de « preparedness » est devenue centrale chez OpenAI

Pour comprendre la portée de cette réorganisation, il faut revenir à la manière dont OpenAI a progressivement formalisé son approche des risques. Fondée en 2015 comme organisation à but non lucratif, OpenAI s’est construite autour d’une promesse de développement d’une intelligence artificielle générale susceptible de bénéficier à l’humanité. À mesure que ses modèles ont été déployés auprès d’un public beaucoup plus large, cette ambition a été accompagnée d’un vocabulaire de plus en plus détaillé sur les garde-fous, les évaluations et les risques systémiques.

En octobre 2023, OpenAI a publié son premier Preparedness Framework, un cadre destiné à mesurer et à gérer les risques catastrophiques que pourraient présenter ses systèmes les plus avancés. Le document distinguait plusieurs catégories de risques, notamment la cybersécurité, les menaces biologiques, la persuasion et l’autonomie des modèles. L’objectif affiché était de faire évoluer les dispositifs de protection à mesure que les capacités des modèles progressent.

Ce cadre s’inscrivait dans un mouvement plus large au sein de l’industrie. Les laboratoires développant les modèles les plus puissants ont progressivement reconnu que les évaluations classiques de qualité — précision, fluidité linguistique, résultats à des tests, performance en programmation ou en raisonnement — ne suffisent pas à mesurer les conséquences d’un système. Un modèle peut être utile dans de nombreuses tâches légitimes tout en réduisant certains obstacles techniques pour des usages malveillants. La question n’est alors plus uniquement de savoir si le modèle « répond bien », mais ce qu’il rend effectivement possible à un utilisateur déterminé.

La cybersécurité constitue l’un des exemples les plus cités. Un système plus compétent en code, en recherche d’informations techniques et en résolution de problèmes peut aider des ingénieurs à défendre des infrastructures. Les mêmes compétences peuvent toutefois être détournées pour identifier des vulnérabilités, automatiser certaines étapes d’attaque ou améliorer des opérations frauduleuses. Dans le domaine biologique, les discussions portent sur le risque qu’un assistant très performant facilite l’accès à des connaissances ou à des procédures sensibles. Les évaluations cherchent précisément à déterminer si l’outil augmente de manière significative la capacité d’un acteur à nuire.

La persuasion et l’autonomie sont elles aussi devenues des sujets de recherche. La persuasion renvoie à la capacité d’un système à produire des contenus adaptés à un contexte, à une cible ou à un objectif d’influence. L’autonomie désigne, dans les débats sur la sûreté, la faculté d’un modèle à planifier, utiliser des outils, accomplir des séquences d’actions et poursuivre une tâche avec moins de supervision humaine. Ces capacités peuvent être utiles dans des produits d’assistance ou d’automatisation, mais elles accroissent aussi les difficultés de contrôle et d’attribution des responsabilités.

Le cadre d’OpenAI prévoyait une logique de seuils : lorsque les évaluations font apparaître un niveau de risque plus élevé, les mesures de protection doivent être renforcées avant le déploiement. Cette approche a une portée politique autant que technique. Elle reconnaît que la décision de publier ou non un modèle ne peut pas être laissée à la seule appréciation de ses performances commerciales. Elle suppose aussi qu’une équipe capable d’évaluer les risques puisse transmettre des résultats susceptibles de contrarier un calendrier de produit.

C’est dans ce contexte que la dissolution rapportée de l’équipe Preparedness attire l’attention. Une structure dédiée ne garantit pas mécaniquement l’indépendance de ses conclusions, ni l’application de ses recommandations. En revanche, son existence rend la mission visible, identifiable et plus facile à examiner de l’extérieur. Lorsqu’une entreprise communique sur ses politiques de sécurité, les observateurs peuvent chercher à savoir quelle équipe conduit les tests, à qui elle rend compte et selon quelles procédures les résultats sont pris en compte.

À l’inverse, lorsque les responsabilités sont dispersées entre différents pôles, il devient plus difficile pour le public de comprendre le processus de décision. Cette dispersion peut parfois correspondre à une intégration plus large de la sécurité dans les équipes produit et recherche. Mais elle peut aussi créer le risque d’une dilution : chacun est partiellement responsable, sans qu’aucune structure ne dispose clairement du mandat de dire qu’un modèle ne devrait pas être diffusé dans un état donné.

Une réorganisation qui relance le débat sur l’indépendance de la sûreté

Le principal enjeu soulevé par la nouvelle n’est donc pas seulement l’effectif ou le nom d’une équipe. Il concerne la capacité des mécanismes de sûreté à fonctionner avec une réelle autonomie face aux intérêts de développement, de mise sur le marché et de concurrence. Les laboratoires d’IA sont engagés dans une dynamique où chaque progrès en performance peut avoir une valeur considérable : attirer des utilisateurs, conserver des clients professionnels, convaincre des développeurs, nouer des partenariats ou maintenir l’intérêt des investisseurs.

Dans ce cadre, les évaluations de risques peuvent devenir une source de friction. Elles exigent du temps, des compétences spécialisées, des jeux de tests difficiles à concevoir et parfois des restrictions sur les fonctionnalités ou l’accès à un modèle. Elles peuvent aussi imposer de repousser un lancement, de limiter la disponibilité d’un système ou de prévoir des mesures de surveillance coûteuses. Or les annonces de produits, les démonstrations de performances et l’élargissement rapide des usages constituent précisément les outils de compétition les plus visibles dans le secteur.

OpenAI a déjà été confrontée publiquement à des débats sur sa gouvernance et sur la place des préoccupations de sûreté. L’épisode de novembre 2023, lorsque le conseil d’administration à but non lucratif a initialement évincé Sam Altman avant son retour rapide à la direction générale, a mis en lumière les tensions entre la mission de l’organisation, la structure commerciale qui finance ses activités et les impératifs de continuité opérationnelle. Cet épisode n’établit pas, à lui seul, un lien avec la dissolution de l’équipe Preparedness. Il explique toutefois pourquoi chaque évolution de la gouvernance interne d’OpenAI est désormais examinée avec une attention particulière.

La question est d’autant plus sensible que plusieurs figures importantes de la recherche sur la sûreté ont quitté OpenAI au fil des années. En mai 2024, Ilya Sutskever et Jan Leike ont annoncé leur départ de l’entreprise. Tous deux avaient dirigé l’initiative Superalignment, créée par OpenAI en 2023 pour travailler sur le contrôle de systèmes plus intelligents que les humains. Jan Leike avait alors publiquement exprimé son inquiétude quant à la priorité accordée à la culture et aux processus de sûreté dans l’entreprise.

Ces départs ont renforcé un débat déjà présent dans la communauté de l’IA : peut-on confier à un même acteur la mission de construire les systèmes les plus avancés et celle de fixer les limites de leur déploiement ? Les entreprises répondent généralement que leurs chercheurs en sécurité sont indispensables parce qu’ils connaissent les modèles de l’intérieur et peuvent intervenir avant leur diffusion. Leurs critiques estiment, elles, qu’un contrôle exclusivement interne reste vulnérable aux conflits d’intérêts, surtout quand les objectifs de croissance deviennent prioritaires.

La dissolution de Preparedness, telle qu’elle est rapportée, ne permet pas de conclure que les contrôles ont disparu. Elle rend néanmoins cette discussion plus urgente. Une entreprise peut maintenir des évaluations rigoureuses sans une équipe portant ce nom. Mais pour le démontrer, elle doit fournir des éléments concrets : continuité des protocoles de test, capacité de signalement, procédures d’escalade, rôle des responsables de sûreté, critères de décision et conséquences en cas de résultat défavorable.

Ce point est particulièrement important pour les risques les plus difficiles à observer de l’extérieur. La modération visible d’un chatbot peut être testée par des utilisateurs ou des chercheurs indépendants. En revanche, les évaluations portant sur des capacités de frontière, des outils internes, des versions non publiées ou des combinaisons de modèles et d’agents sont moins accessibles. Le public dépend donc davantage des informations communiquées par le laboratoire, d’éventuels audits et de la qualité de la surveillance réglementaire.

Le mot « indépendance » doit ici être manié avec précision. Une équipe interne n’est jamais totalement extérieure à l’entreprise qui l’emploie. Son budget, son accès aux modèles et sa capacité à imposer une décision dépendent de la gouvernance de l’organisation. Mais des mécanismes peuvent renforcer son poids : rattachement à une instance distincte de la direction produit, accès direct au conseil d’administration, publication de rapports, procédures d’alerte protégées, recours à des évaluateurs externes ou engagement explicite à ne pas déployer un modèle avant certaines validations.

Le signal envoyé par la disparition d’une équipe dédiée dépendra donc largement de ce qui la remplace. Sans clarification publique, les observateurs risquent de l’interpréter comme un indice supplémentaire d’une centralisation des décisions autour de la mise au point et de la commercialisation des modèles. À l’inverse, si les compétences sont transférées dans une structure disposant d’un mandat solide et clairement documenté, la réorganisation pourrait être présentée comme un changement de forme plutôt que comme un recul de fond.

La course aux modèles avancés et la comparaison avec les engagements du secteur

L’affaire intervient dans un marché où les grands laboratoires communiquent simultanément sur la puissance de leurs modèles et sur leurs démarches de sûreté. Google, Anthropic, Meta, Microsoft et OpenAI investissent dans des modèles multimodaux, des assistants de programmation, des capacités de raisonnement et des outils destinés aux entreprises. La compétition ne porte plus seulement sur la génération de texte ou d’images. Elle concerne l’intégration des modèles dans les logiciels, les environnements de travail, la recherche, les infrastructures cloud et, de plus en plus, des systèmes capables d’utiliser des outils.

Anthropic est souvent citée dans ce débat en raison de son approche de la « Constitutional AI » et de la publication de documents consacrés à son Responsible Scaling Policy. L’entreprise a défendu l’idée de seuils de capacité associés à des mesures de sécurité renforcées. Cette logique n’élimine pas les critiques : comme OpenAI, Anthropic reste un acteur privé, compétitif et fortement engagé dans le développement de modèles de frontière. Mais elle illustre une attente croissante : les laboratoires doivent expliquer de quelle manière leurs évaluations influencent réellement la décision de développer ou de déployer.

Google DeepMind a également publié des travaux sur la sécurité des systèmes avancés et participé aux discussions internationales sur l’IA de frontière. Meta, de son côté, est régulièrement au centre de débats spécifiques liés à la diffusion de modèles à poids ouverts, qui pose une question différente : une fois un modèle largement accessible, la capacité de contrôler ses usages est plus limitée. Les approches divergent donc entre les entreprises, mais la pression pour justifier les garde-fous est commune.

OpenAI avait elle-même contribué à inscrire ces sujets dans le débat public. Son Preparedness Framework représentait une tentative de formaliser les étapes entre l’évaluation d’un modèle et la décision de le mettre à disposition. Le fait qu’une équipe portant précisément le nom de ce programme soit désormais dissoute, selon le Financial Times, sera inévitablement comparé aux engagements publics antérieurs de l’entreprise.

Cette comparaison doit rester prudente. Les politiques de sûreté ne sont pas identiques d’un laboratoire à l’autre, et les documents publics ne permettent pas toujours de mesurer la réalité opérationnelle des contrôles. Les critères d’évaluation, les moyens humains, l’accès aux versions de recherche et les mécanismes de blocage ne sont pas nécessairement comparables. Il serait donc hasardeux d’affirmer qu’un acteur est intrinsèquement plus sûr qu’un autre sur la seule base de son organigramme ou de ses déclarations.

En revanche, la transparence constitue un critère observable. Lorsqu’une entreprise publie une politique, des catégories de risques, des seuils de capacité ou des comptes rendus d’évaluation, elle donne au moins aux chercheurs, aux journalistes, aux autorités et aux utilisateurs professionnels une base pour interroger ses engagements. Cette transparence peut demeurer partielle, notamment pour éviter de divulguer des informations sensibles. Mais l’absence de visibilité alimente mécaniquement la défiance.

Le débat porte aussi sur la temporalité. Les équipes de préparation travaillent idéalement avant qu’un problème ne devienne concret pour le public. Elles testent des scénarios hypothétiques, évaluent des évolutions de capacité et imaginent des usages adversariaux. Ce travail peut apparaître moins directement rentable qu’un lancement de produit, mais il est censé réduire le risque d’une réaction tardive. Dans les technologies à diffusion rapide, le coût d’une correction après déploiement peut être beaucoup plus élevé que celui d’une évaluation préventive.

Les entreprises technologiques ont longtemps fonctionné selon une logique de lancement suivi d’ajustements : publier, observer les usages, corriger les défauts et ajouter des restrictions au fil du temps. Cette méthode est moins facilement transposable aux systèmes d’IA avancés lorsque les capacités concernées peuvent être copiées, automatisées, massivement distribuées ou combinées à des outils externes. D’où l’importance accordée aux évaluations avant diffusion, particulièrement dans les discussions sur les modèles de frontière.

La réorganisation d’OpenAI sera donc interprétée à travers ce dilemme. S’agit-il d’une manière de rapprocher la sûreté des équipes qui développent les modèles, afin de la rendre plus opérationnelle ? Ou d’une décision qui réduit la visibilité et l’autonomie d’une mission susceptible de ralentir les lancements ? Les informations rapportées ne permettent pas de trancher définitivement. Elles suffisent toutefois à poser la question, parce que le nom même de l’équipe renvoyait à une promesse de préparation face aux conséquences les plus graves de l’IA avancée.

Des implications directes pour la régulation américaine et européenne

Cette évolution interne est suivie dans un environnement réglementaire qui se structure progressivement. Les autorités publiques ne se contentent plus d’encourager les entreprises à adopter des principes éthiques généraux. Elles s’intéressent de plus en plus à la documentation, aux tests, à la gestion des risques, à la sécurité informatique et à la responsabilité des fournisseurs de modèles d’IA puissants.

Aux États-Unis, le débat sur la gouvernance de l’IA a pris une ampleur nationale avec la multiplication des initiatives fédérales, des travaux du National Institute of Standards and Technology, ou NIST, et des auditions parlementaires consacrées aux modèles génératifs. Le NIST a publié en 2023 son AI Risk Management Framework, un cadre volontaire destiné à aider les organisations à identifier et gérer les risques associés à l’IA. Il ne remplace pas une réglementation sectorielle, mais il a contribué à installer un langage commun autour de la cartographie, de la mesure et de la gestion des risques.

Les autorités américaines ont également porté une attention particulière aux modèles les plus avancés, notamment à travers les débats sur les obligations de notification, les tests de sécurité et la protection des infrastructures. Le cadre politique américain peut évoluer rapidement selon les administrations et les orientations du Congrès. Pour les entreprises, cette instabilité ne réduit pas l’importance du sujet : elle accroît au contraire la valeur stratégique de dispositifs internes capables de démontrer que les risques sont identifiés et traités.

Dans l’Union européenne, l’AI Act crée un référentiel plus structurant pour les acteurs présents sur le marché européen. Le règlement est entré en vigueur le 1er août 2024. Ses obligations sont mises en application de manière progressive selon les catégories de systèmes et les dispositions concernées. Il prévoit notamment des règles pour les modèles d’IA à usage général, ainsi que des obligations renforcées pour les modèles présentant un risque systémique.

Pour les entreprises américaines comme OpenAI, l’Europe n’est donc pas seulement un marché d’utilisateurs ou de clients professionnels. C’est aussi un espace juridique où la gouvernance des modèles, la documentation technique, la gestion des risques et la coopération avec les autorités prennent une importance croissante. Une organisation interne capable d’identifier les capacités potentiellement dangereuses peut constituer un élément utile pour répondre à ces exigences. À l’inverse, une gouvernance perçue comme opaque peut devenir un sujet de vigilance pour les régulateurs.

L’AI Act ne transforme pas les autorités européennes en observateurs directs de chaque décision de recherche prise dans les laboratoires américains. Mais il augmente les attentes autour de la traçabilité. Les fournisseurs doivent pouvoir expliquer leurs pratiques, produire une documentation appropriée et respecter les obligations qui leur sont applicables. Pour les modèles à risque systémique, la logique européenne s’appuie notamment sur l’évaluation, l’atténuation des risques et la sécurité.

La France est directement concernée par cette dynamique. Les acteurs français de l’IA, qu’il s’agisse de jeunes pousses, d’entreprises établies, de laboratoires publics ou de fournisseurs de services, dépendent de plus en plus de modèles développés à l’étranger. Ils peuvent les utiliser via des interfaces, des API ou des services cloud. Les choix de gouvernance d’OpenAI ont donc des effets indirects sur les entreprises françaises qui intègrent ses technologies dans des outils de relation client, de développement logiciel, de recherche documentaire, de formation ou de production de contenus.

Pour ces utilisateurs, la question n’est pas abstraite. Une entreprise qui déploie un modèle dans un processus métier doit évaluer les données qu’elle lui transmet, les erreurs possibles, les conditions contractuelles, les restrictions d’usage et les dispositifs de supervision. Lorsque le fournisseur du modèle modifie son organisation de sûreté, les clients professionnels peuvent légitimement demander si les procédures d’évaluation restent comparables, si les changements sont documentés et si les engagements précédents demeurent valables.

Le contexte français est aussi marqué par une volonté politique de soutenir l’innovation tout en favorisant une IA de confiance. Cette double ambition crée une tension similaire à celle observée chez les laboratoires : accélérer l’adoption de l’IA pour renforcer la compétitivité, sans banaliser les risques liés à des systèmes de plus en plus capables. La disparition d’une équipe Preparedness chez OpenAI fournit un cas concret pour ce débat. Elle rappelle que les dispositifs de gouvernance ne sont pas de simples principes inscrits dans des documents : ils reposent sur des équipes, des budgets, des procédures et une capacité réelle à peser sur les décisions.

La prochaine épreuve sera celle de la transparence opérationnelle

À court terme, la question décisive pour OpenAI sera moins celle du libellé exact de son organigramme que celle de la continuité des fonctions exercées auparavant par l’équipe Preparedness. Les évaluations de risques extrêmes sont-elles toujours menées ? Par quelles équipes ? Avec quels moyens ? À quel moment du cycle de développement ? Et surtout, quelle instance décide qu’un résultat de test impose des protections supplémentaires, une limitation d’accès ou un report de déploiement ?

Ces interrogations sont difficiles parce que les entreprises ne peuvent pas toujours publier le détail de leurs tests. Certaines informations pourraient révéler des vulnérabilités, des capacités sensibles ou des méthodes de contournement. Mais une communication responsable n’exige pas nécessairement la divulgation de données dangereuses. Elle peut passer par la publication de principes, de catégories de tests, de procédures d’escalade, d’engagements de revue externe ou de bilans synthétiques sur les mesures prises.

Pour le marché francophone, cette visibilité prendra une importance accrue à mesure que les modèles de frontière seront intégrés dans davantage de services. Les organisations ne choisiront pas uniquement un fournisseur selon la qualité d’un chatbot ou le prix d’une API. Elles regarderont aussi la capacité du fournisseur à expliquer les limites de ses systèmes, la manière dont il traite les incidents, les outils de contrôle qu’il propose et le niveau de maturité de sa gouvernance.

Les administrations et les entreprises régulées, notamment dans la finance, la santé, l’énergie ou les services publics, auront des exigences particulières. Elles ne peuvent pas déléguer entièrement leur responsabilité à un fournisseur de modèle. Mais elles ont besoin d’informations suffisamment solides pour réaliser leurs propres analyses de risques. Une documentation technique claire et des politiques de sécurité stables deviennent alors des critères de sélection aussi importants que la performance brute.

À plus long terme, le démantèlement rapporté de l’équipe Preparedness pourrait devenir un test pour l’ensemble du secteur. Si OpenAI démontre que les compétences ont été préservées, renforcées et dotées d’une voie d’escalade crédible, l’épisode sera lu comme une réorganisation contestée mais potentiellement compatible avec une gouvernance robuste. Si la visibilité sur ces mécanismes diminue alors que les capacités des modèles progressent, il confortera les arguments en faveur d’évaluations indépendantes et d’obligations réglementaires plus explicites.

La trajectoire des laboratoires d’IA avancée dépendra de leur capacité à convaincre que la sûreté n’est pas un service périphérique, activé après les décisions de produit, mais une contrainte intégrée à la stratégie. Dans une course technologique où chaque gain de capacité nourrit la compétition, la crédibilité ne reposera plus seulement sur les promesses de prudence. Elle reposera sur des institutions internes visibles, sur des preuves de continuité et sur la possibilité, pour les autorités comme pour les clients, de vérifier que les garde-fous conservent un poids réel face à l’accélération commerciale.