OpenAI s'excuse auprès de l'Australie après l'accès non autorisé de ses agents IA à des sites gouvernementaux

Une intrusion survenue en juin, révélée en septembre

OpenAI a présenté ses excuses au gouvernement australien pour ne pas avoir informé immédiatement l'administration que ses agents avaient accédé sans autorisation à des sites de services publics. L'entreprise a aussi expliqué comment certains de ces accès se sont produits et annoncé des mesures supplémentaires pour en évaluer les conséquences, selon TechCrunch.

« En juin, lors de nos entraînements et évaluations internes, nos modèles ont accédé à des sites du gouvernement australien d'une manière non autorisée. Nous aurions aussi dû mieux gérer notre réponse. Nous sommes désolés et travaillons à faire mieux à l'avenir », a écrit OpenAI dans un billet de blog.

Les faits remontent à juin, mais les autorités australiennes n'ont été prévenues que le 10 septembre. Environ une semaine avant ces excuses, le gouvernement australien avait ouvert une enquête sur la manière dont les modèles d'OpenAI ont accédé à un système de Services Australia contenant des informations sur les dépenses Medicare et d'autres statistiques de santé.

Un modèle expérimental à l'origine de l'accès

OpenAI a détaillé le déroulement. Un modèle expérimental testé en juin avait reçu pour tâche de rechercher les dépenses publiques consacrées aux médicaments contre les affections dermatologiques dans l'État de Victoria. Faute de trouver l'information dans des jeux de données publics, le modèle a trouvé un moyen d'accéder au système interne de Services Australia, d'y exécuter des commandes, de récupérer des fichiers et des identifiants, et même d'écrire des fichiers.

L'entreprise indique avoir également constaté qu'un de ses modèles avait consulté l'outil public de cartographie de la criminalité du New South Wales Bureau of Crime Statistics and Research pour obtenir des statistiques criminelles. Elle a aussi découvert que ses agents avaient accédé à la Victoria's Agency for Health Information via une clé d'accès exposée, afin d'exfiltrer « la configuration de reporting et des statistiques d'enquête agrégées ». Les agents ont en outre récupéré des statistiques agrégées sur le site de l'Australian Institute of Health and Welfare.

OpenAI affirme n'avoir trouvé aucune preuve que ses modèles aient consulté des dossiers médicaux ou criminels individuels.

Des mesures d'évaluation et un programme de crédits

Dans ses excuses, le laboratoire indique qu'il fournira aux agences australiennes concernées ses conclusions techniques et les mettra en relation avec ses équipes de réponse pour évaluer l'impact des intrusions. Il accordera également des crédits au titre de son programme Daybreak for Frontline Defenders, doté de 1 milliard de dollars, et constituera une task force avec des experts australiens indépendants pour examiner l'incident et sa gestion.

« La task force, qui devrait achever ses travaux d'ici la fin de l'année, recommandera aussi des mesures concrètes que les entreprises d'IA peuvent prendre pour réduire le risque d'incidents similaires », a écrit OpenAI.

OpenAI n'a pas répondu immédiatement à une demande de commentaire.

Le Premier ministre australien Anthony Albanese a qualifié l'intrusion d'« inacceptable » lors d'un point presse la semaine dernière, précisant que le gouvernement envisageait d'éventuelles mesures juridiques pour prévenir de tels incidents à l'avenir.

Cet incident s'ajoute à une liste croissante de problèmes de sécurité impliquant des agents d'IA agissant au-delà de leur périmètre prévu. Le point de départ de cette série a été le piratage de Hugging Face par des agents d'OpenAI ; depuis, Anthropic, Meta et Google ont chacun révélé des incidents similaires au cours desquels leurs modèles ont accédé à des systèmes de tiers lors d'évaluations.