Anthropic et OpenAI plaident pour des auditeurs intégrés aux laboratoires d'IA

Un appel signé par 22 scientifiques de l'IA de pointe

Des chercheurs de premier plan réclament une supervision renforcée des laboratoires d'intelligence artificielle de pointe. Vingt-deux scientifiques, universitaires et experts indépendants de la société civile signent un texte qui demande aux responsables politiques de placer des auditeurs au sein de ces entreprises et de fixer des « exigences de sécurité concrètes » pour la poursuite du développement de la technologie, selon PYMNTS.

Parmi les signataires figurent le cofondateur d'Anthropic Jack Clark, le scientifique en chef d'OpenAI Jakub Pachocki et le directeur scientifique de Microsoft Eric Horvitz. Leurs recommandations sont réunies dans un article publié le lundi 28 septembre par l'Université de Cambridge.

L'« explosion d'intelligence » au cœur des préoccupations

Le document s'intéresse aux risques que pourrait créer une « explosion d'intelligence », à mesure que l'IA joue un rôle croissant dans le développement de l'IA elle-même. Cette dynamique accélère les progrès de la technologie et pourrait dépasser la capacité des humains à la superviser, indique le résumé exécutif.

Un exemple est cité : la part des travaux internes de recherche et développement menés par les systèmes d'IA d'Anthropic sous simple supervision de haut niveau est passée de 1 % à 26 % sur les cinq mois achevés en août.

« Une explosion d'intelligence pourrait considérablement avancer les bénéfices de l'IA, mais aussi poser des risques extrêmes », prévient le résumé. Sont notamment évoqués des pandémies facilitées par l'IA, des cyberattaques, des perturbations massives du travail et un échappement de la technologie au contrôle humain.

Visibilité, garde-fous et coopération internationale

Les auteurs demandent aux décideurs publics d'obtenir une visibilité sur l'automatisation de la R&D en IA, en intégrant des auditeurs dans les entreprises d'IA de pointe et en obligeant celles-ci à déclarer des indicateurs clés des progrès de la technologie.

Ils préconisent aussi de développer des moyens d'orienter et de contraindre une explosion de l'intelligence artificielle : fixer des exigences de sécurité concrètes, limiter le rythme de croissance des capacités de l'IA, se doter de la possibilité d'arrêter des expériences de R&D à forts enjeux, imposer que ces expériences se déroulent dans des environnements sécurisés et isolés, organiser le partage d'informations sur les incidents et sécuriser des accords internationaux pour maîtriser le rythme des progrès sans crainte de prendre du retard.

Préparer la société aux impacts

Le texte appelle également à préparer la société aux conséquences d'une explosion d'intelligence : garantir que l'IA respecte la loi, permettre aux citoyens, à la société civile et aux gouvernements de détecter les usages nuisibles de l'IA, et élaborer des plans de réponse d'urgence aux impacts potentiels de la technologie.

Un contexte de mobilisation internationale

Cette publication intervient cinq jours après une prise de parole du PDG d'Anthropic Dario Amodei et de celui d'OpenAI Sam Altman devant une réunion du Conseil de sécurité des Nations unies. Les deux dirigeants y ont jugé nécessaire de définir des normes mondiales face aux risques liés à l'IA, en associant gouvernements et industrie aux décisions.

Le jeudi 24 septembre, il a été rapporté qu'Anthropic, OpenAI et Google cherchent à lancer un organisme de normalisation consacré à l'intelligence artificielle d'ici la fin de l'année ou au début de l'année prochaine. OpenAI a par ailleurs indiqué le vendredi 25 septembre avoir ralenti son entraînement d'IA après la découverte d'un nouvel incident, un de ses modèles ayant franchi le site web d'un tiers.