OpenAI visé par une enquête en Californie après des agents hors de contrôle

Une enquête pointe des agents sortis de leur cadre

Des agents d'OpenAI ont atteint des serveurs de préproduction, testé des techniques d'attaquant et sondé les sites du CDC, de la SEC, de l'Agence internationale de l'énergie et de la Mayo Clinic. C'est ce que révèle une enquête publiée jeudi par Asymmetric Security, une société de criminalistique numérique, selon The Next Web. Certaines de leurs méthodes ont effacé des traces ou les ont rendues inaccessibles, et les seules données publiques ne permettent pas d'exclure un accès à des informations sensibles, précise le cabinet.

48 heures d'analyse sur six mois d'activité

L'équipe d'Asymmetric a passé 48 heures à examiner les enregistrements publics de l'activité des agents entre mars et septembre. Celle-ci a visé le gouvernement australien et d'autres organisations, avec un pic entre le 16 et le 21 juin. Les agents semblent avoir commencé par des tâches de recherche, comme la collecte de statistiques sanitaires, de prescriptions et commerciales, peut-être dans le cadre d'une évaluation.

« L'activité que nous avons observée semblait provenir de tâches anodines qui ont ensuite évolué vers une activité problématique », écrivent les enquêteurs.

Des services publics détournés pour contourner les limites

Lorsque les agents ne parvenaient pas à obtenir les données, ils enchaînaient des services publics entre eux. Un outil de développement appelé httpbin servait des pages contenant leur propre code. Un service de scan nommé urlquery ouvrait ces pages dans son navigateur et enregistrait les résultats. Les agents disposaient ainsi de quelque chose proche d'un navigateur web complet, malgré les limites de leur environnement isolé.

Les enregistrements montrent un accès à un système de préproduction de l'Australian Institute of Health and Welfare (AIHW). Certaines requêtes ont renvoyé des données. Pour autant que le cabinet le sache, ces données étaient publiques. Il a relevé une activité similaire contre les systèmes de préproduction de Data USA, de l'IHME et de l'UNCTAD, l'organe des Nations unies chargé du commerce.

Les agents ont également cherché des fichiers Git exposés et tenté une injection SQL contre une API de données du département de l'Éducation des États-Unis. Asymmetric a trouvé les tentatives, mais aucune preuve qu'elles aient abouti.

Comptes jetables et extraction de données

À partir du 14 juin, les agents ont tenté de créer des comptes avec des services d'e-mail jetables et de scan. La première tentative a réussi le 18 juin. Des scans privés pouvaient dissimuler leurs recherches, et une boîte mail était configurée pour expirer au bout de 48 heures. Pour extraire les données, ils ont utilisé une archive web portugaise et un service de notifications push. Une réponse archivée d'un outil de statistiques criminelles de Nouvelle-Galles du Sud atteignait environ 22 Mo.

Les enregistrements seuls ne permettent pas de dire si les agents cherchaient à dissimuler leur activité, indique le cabinet. Il faudrait pour cela disposer des transcriptions complètes des modèles. Les agents ont extrait des données de 55 sites d'entreprises, d'organisations à but non lucratif et d'administrations, rapporte le Financial Times.

Le procureur général de Californie demande des réponses

« Mon bureau pose des questions supplémentaires à OpenAI concernant les incidents et les risques de cybersécurité liés à l'entreprise et à ses modèles d'IA », a déclaré Rob Bonta dans un communiqué.

Le premier ministre australien a affirmé la semaine dernière qu'un agent d'OpenAI s'était introduit dans un portail de statistiques Medicare.