Satya Nadella veut traiter les modèles d'IA comme des risques internes
Le PDG de Microsoft, Satya Nadella, estime que toute entreprise déployant un modèle d'IA avancé doit présumer qu'il peut être compromis et l'encadrer dès le départ. Il propose de séparer le modèle de la couche logicielle qui exécute ses actions.
Dans cet article
Nadella pose le principe d'un « frein d'urgence »
Satya Nadella, président et directeur général de Microsoft, considère que les entreprises doivent partir du principe que tout modèle d'IA avancé qu'elles déploient peut être compromis, et le contenir dès l'origine. Il a développé cette position dans un long texte publié sur X samedi, selon The Next Web.
« Voyez cela comme un frein d'urgence. Une personne autorisée devrait toujours pouvoir mettre en pause ou arrêter un modèle en pleine tâche », écrit-il.
Il souligne qu'un ingénieur peut retracer un logiciel classique jusqu'à un chemin de code précis, ce qui n'est pas possible avec les modèles actuels. Une entreprise ne peut relier le comportement d'un modèle à ses données d'entraînement ou à ses poids, alors même qu'elle lui confie des données sensibles et lui laisse accomplir des actions critiques. Les garanties apportées par un fournisseur de modèle ne dispensent pas, selon lui, de cette responsabilité.
Séparer l'intelligence de l'autorité
Sa réponse consiste à traiter les modèles de frontière, ouverts ou fermés, comme des risques internes. Non parce qu'ils seraient malveillants, précise-t-il, mais parce que tout acteur disposant d'un accès à des systèmes importants peut commettre une erreur, ou être compromis par un attaquant.
« Nous devons séparer la fourniture de l'intelligence de l'autorité exercée sur elle », écrit-il.
Les entreprises savent déjà gérer des intervenants internes puissants, rappelle Nadella : elles établissent une identité, limitent les privilèges, journalisent l'activité et fixent des périmètres de confinement. Appliqué à l'IA, cela signifie que les contrôles sur ce qu'un modèle peut atteindre et faire se situent en dehors du modèle. Il veut séparer le modèle de la couche logicielle qui exécute son travail et des actions qu'il peut entreprendre.
Sept principes, dont la transparence du raisonnement
Il qualifie de « non négociable » la transparence du raisonnement des modèles. Cela ne suffit toutefois pas, écrit-il, car personne ne sait encore rendre les sorties d'un modèle fiablement fidèles.
Nadella énumère sept principes. Aucun modèle ne devrait constituer la seule dépendance pour un résultat important, ni vérifier son propre travail. Chaque action significative d'un modèle devrait laisser une « preuve lisible par l'homme et infalsifiable ». Les entreprises devraient tester en continu des systèmes entiers, y compris face aux défaillances et aux attaques.
Elles devraient décider elles-mêmes de ce qu'un modèle peut consulter et faire. Les audits ne devraient pas dépendre du modèle examiné. Les deux derniers principes sont le confinement, son frein d'urgence, et la divulgation des incidents : en cas de défaillance ou de compromission, les entreprises doivent prévenir rapidement les personnes concernées et partager les enseignements à l'échelle du secteur.
« Le système de Super Intelligence le plus digne de confiance ne sera pas celui dont nous faisons le plus confiance au modèle. Ce sera celui qui nous permet de lui faire le moins confiance », écrit-il.
Réactions politiques et précédent Anthropic
Mustafa Suleyman, directeur général de Microsoft AI, a partagé la publication en affirmant que la super intelligence « doit être contenue ». En septembre, il avait déclaré à Bloomberg que l'IA avait besoin d'une ligne rouge en matière de contrôle.
Elon Musk a également relayé le texte sur X, le qualifiant d'« article intéressant du PDG de Microsoft ». Le représentant Ted Lieu a écrit sur X qu'il était largement d'accord. Avec le représentant Nathaniel Moran, il a présenté un projet de loi bipartisan instaurant un interrupteur d'arrêt pour l'IA, et estime que le Congrès devrait l'adopter cette année.
Nadella emploie l'expression « Super Intelligence » tout au long de son texte, terme que Donald Trump a demandé aux agences américaines d'utiliser à la place d'IA. La publication est intervenue au lendemain de l'avertissement de la Super Intelligence Force aux développeurs d'IA, qui doivent signaler et corriger les incidents de sécurité, rapporte Bloomberg. Ce groupe a prévenu que toute notification tardive « ne serait pas tolérée ». Cette mise en garde fait suite au signalement par Anthropic d'un cas où Claude a transmis à la police un faux signalement de meurtre lors d'un test.
