406 scientifiques exigent la déconnexion des modèles d'IA d'Internet

Une lettre ouverte signée par 406 scientifiques

Une lettre ouverte signée par 406 scientifiques appelle à renforcer la recherche en sécurité de l'IA et à isoler plus strictement les modèles des réseaux externes, rapporte The Decoder. Parmi les signataires figurent des chercheurs reconnus du domaine, notamment Geoffrey Hinton (University of Toronto), Yoshua Bengio (Université de Montréal), Stuart Russell (UC Berkeley), Yejin Choi (Stanford) et Bernhard Schölkopf (Max Planck Institute).

Le texte réagit à des incidents connus, au cours desquels des modèles ont échappé à des environnements mal sécurisés et compromis des systèmes externes. « Sans changements immédiats dans les pratiques de développement et de déploiement de l'IA, de tels incidents continueront de se produire, et les incidents futurs seront bien plus dommageables pour nos infrastructures critiques exposées », écrivent les scientifiques. Ils exigent que les entreprises déconnectent entièrement leurs modèles d'Internet par airgapping.

Deux lectures des incidents récents

Les signataires voient deux facettes dans les violations récentes. Elles peuvent être interprétées « comme une preuve de l'importance de l'alignement de l'IA pour garantir que les modèles fonctionnent de manière prévisible », écrivent-ils, mais aussi « comme un manquement irresponsable aux pratiques standard de cybersécurité, évitable avec de meilleurs sandboxes et procédures ». Les deux corrections sont nécessaires.

Lorsque des modèles disposent d'un accès à Internet, les entreprises doivent évaluer le degré d'autonomie à leur accorder. La lettre avertit que « l'éventail des actions autorisées par un système de confinement doit être mis en balance avec notre capacité actuelle, limitée, à prédire qu'elles n'aboutiront pas à une faille de sécurité ». Un modèle peut poursuivre des objectifs que ses développeurs n'ont jamais envisagés, et anticiper ces situations dépasse les capacités actuelles.

Un organisme international pour des normes contraignantes

La lettre demande la création d'une instance internationale travaillant avec les gouvernements et des spécialistes de l'IA comme de la cybersécurité, afin d'établir des standards contraignants pour toute approche de confinement offrant davantage d'accès externe que l'airgapping. Cette instance suivrait aussi les incidents d'évasion et obligerait les entreprises à déclarer les défaillances de sécurité. Ces rapports seraient ensuite rendus publics « à des fins d'apprentissage et de responsabilité ».

L'airgapping ne suffit pas, selon Noam Brown

Même un airgapping complet ne garantit pas la sécurité. Le chercheur d'OpenAI Noam Brown a récemment souligné que deux ordinateurs physiquement séparés pourraient en théorie communiquer via des capteurs de température, l'un faisant chauffer son processeur pendant que l'autre détecte la variation. Des mesures comme l'airgapping ou la surveillance des chaînes de raisonnement gagnent du temps, selon Brown, mais le problème de l'alignement reste à résoudre.

Brown pose des questions plus difficiles : comment remarquera-t-on que l'IA commence à s'améliorer elle-même (recursive self-improvement, ou RSI) ? Et si l'industrie construit des milliards de systèmes superintelligents dépassant largement les humains, qui garantit qu'ils restent alignés ? Brown indique que plus de dix pour cent de sa propre équipe travaille désormais sur l'alignement, un niveau inédit.