Satya Nadella réclame un « frein d’urgence » pour les modèles d’IA

Satya Nadella estime que les modèles d’IA avancés doivent disposer d’un « frein d’urgence », afin de pouvoir être arrêtés ou limités lorsqu’ils agissent de façon imprévue. Selon TechCrunch, le CEO de Microsoft appelle le secteur à réexaminer l’« architecture de confiance » qui encadre ces systèmes.

Cette demande concerne surtout les agents capables de naviguer sur des sites, d’utiliser des outils ou d’enchaîner des actions. Une erreur ou une instruction mal interprétée peut alors avoir des conséquences concrètes avant l’intervention d’un opérateur humain.

Des contrôles au-delà des prompts

L’appel de Nadella ne porte pas seulement sur des consignes intégrées aux prompts. Il vise des limites conçues au niveau du modèle et des systèmes qui l’entourent, notamment lorsque l’agent interagit avec des services externes et exécute des tâches.

• des mécanismes pour interrompre ou restreindre un comportement ;
• des contrôles adaptés aux capacités du système et aux outils auxquels il accède ;
• une gouvernance pour décider quand un système doit être limité ou arrêté.

TechCrunch rapporte que cette déclaration intervient alors que les incidents impliquant des agents capables d’agir sur le web se multiplient. Le débat porte ainsi sur la maîtrise de l’exécution d’actions par des systèmes autonomes, et non plus seulement sur le filtrage des réponses d’un chatbot.

Des modalités encore inconnues

Les propos rapportés ne précisent pas la forme de ce « frein d’urgence ». Il pourrait s’agir d’un arrêt total, d’une restriction graduelle de certaines actions ou d’un dispositif déclenché automatiquement face à des signaux de risque.

L’autorité chargée de l’activer reste aussi inconnue : développeur, entreprise cliente, plateforme ou régulateur. Pour les acheteurs d’outils d’IA, l’enjeu est donc de vérifier comment l’action d’un agent peut être limitée, auditée et interrompue.