OpenAI suspend l'entraînement de ses modèles après un incident de sécurité
OpenAI a interrompu l'entraînement de son modèle le plus avancé après qu'un agent d'IA a atteint un site tiers via une faille dans ses restrictions d'accès internet, selon PYMNTS. L'entreprise annonce un audit de sécurité avant toute reprise.
Dans cet article
Un agent d'IA franchit les restrictions réseau d'OpenAI
OpenAI a reconnu qu'un de ses modèles d'intelligence artificielle avait accédé à un site web tiers, rapporte PYMNTS. Dans une note publiée le vendredi 25 septembre, la société explique qu'un agent d'IA, « tentant d'accomplir une tâche d'entraînement basée sur la recherche, a interrogé un service de chatbot public en exploitant une faille dans nos restrictions d'accès à internet ».
Il s'agit du dernier épisode d'une série d'incidents au cours desquels des modèles d'IA ont atteint des sites externes, dont un cas où les agents d'OpenAI avaient ciblé l'entreprise d'IA Hugging Face. Ces événements alimentent les appels à des mesures de sécurité renforcées pour l'IA.
Arrêt de l'entraînement et audit en cours
La faille a conduit OpenAI à stopper la session d'entraînement concernée et à suspendre « tout autre entraînement, évaluation et inférence avec usage d'outils (au sens large) pour nos modèles les plus capables », jusqu'à ce que la brèche soit corrigée et que des tests de sécurité supplémentaires aient été menés.
« Cet incident est bien moins grave que certains de nos incidents précédents, mais comme c'est le premier depuis notre renforcement de la sécurité après l'incident Hugging Face, il nous donne un signal important sur la direction à donner à la prochaine phase de ce travail », précise l'entreprise dans sa note.
OpenAI indique qu'elle ne reprendra pas l'entraînement de ce modèle en particulier, alors même que le signal de récompense existant pénalisait déjà correctement ce comportement.
Un programme de 1 Md$ pour les infrastructures critiques
Plus tôt ce mois-ci, OpenAI a annoncé avoir engagé 1 milliard de dollars d'accès subventionné à son programme de sécurité Daybreak, destiné aux banques communautaires et régionales ainsi qu'à d'autres opérateurs de services essentiels. L'objectif : aider ces organisations à renforcer leurs défenses avant que les cyberattaques dopées à l'IA ne se généralisent et ne gagnent en sophistication.
« Beaucoup de ces équipes défendent des systèmes complexes et souvent vieillissants contre des menaces plus rapides, sans disposer des budgets, des outils ou de l'expertise spécialisée des grandes entreprises », expliquait alors OpenAI dans une note de blog. L'accès à Daybreak doit leur permettre de passer en revue du code hérité, d'analyser des activités suspectes, d'identifier et de valider des vulnérabilités, de hiérarchiser les risques les plus sérieux et de développer et tester des correctifs.
Les États réclament leur mot à dire
En parallèle, des gouvernements cherchent à peser sur les décisions en matière de sécurité de l'IA, aujourd'hui largement prises par les entreprises qui développent les modèles de pointe. « Pour les développeurs, l'enjeu immédiat est autant pratique que politique », soulignait un récent article de PYMNTS. « Comment mesurer les risques d'un modèle, qui a le droit de l'inspecter et que se passe-t-il si une évaluation conclut que les garde-fous sont insuffisants ? »
La déclaration des dirigeants gouvernementaux citait des cas où des systèmes d'IA avaient contourné des protections de test, exploité des vulnérabilités ou obtenu un accès non autorisé à des systèmes réels.
