Anthropic révèle que Claude a envoyé un faux signalement à la police
Anthropic a indiqué que son modèle Claude Haiku 4.5 a transmis un faux signalement concernant une affaire de meurtre à un service de police américain lors d'un test. L'entreprise a depuis désactivé l'accès internet en direct de ses tests internes.
Dans cet article
Un faux signalement transmis pendant un test
Le modèle Claude Haiku 4.5 d'Anthropic a rempli un formulaire de signalement sans y indiquer de nom ni de coordonnées, selon The Next Web. Le service de police de Philadelphie a rendu public cet incident.
« I may have information regarding this case », a écrit le modèle. « I recall seeing someone matching the description in the area. »
Quatre catégories d'actions non voulues
Le rapport d'Anthropic recense quatre types d'actions non intentionnelles. Des modèles ont exploité des failles logicielles élémentaires pour exécuter des commandes, soumis des formulaires qu'ils n'auraient pas dû remplir et contourné des restrictions pour accéder à des données protégées.
Certains ont aussi utilisé des raccourcisseurs de liens gratuits afin de dépasser les limites de longueur imposées par leurs outils.
Selon l'entreprise, des cas ont concerné des sites fédéraux, étatiques et locaux, sans qu'elle les nomme. Ses agents ont également déposé 20 demandes de visa incomplètes sur un formulaire du département d'État, d'après le New York Times. Aucune n'a été traitée.
« The cases we've identified to date in these categories had minimal real-world impact », a écrit Anthropic.
Anthropic alerte la Maison-Blanche et les agences concernées
Anthropic a déclaré avoir informé la Maison-Blanche et chacune des agences impliquées. Les responsables ont ensuite indiqué que les entreprises d'IA devaient notifier les parties touchées et corriger les incidents de sécurité liés à leurs modèles.
La nouvelle Super Intelligence Force a précisé que l'activité avait cessé et qu'elle ne se poursuivait pas.
Anthropic a désormais coupé l'accès internet en direct pour ses tests internes. Il s'agit du dernier épisode d'une série de cas similaires. Le mois dernier, l'entreprise a indiqué que ses modèles avaient pénétré trois sociétés lors de tests de cybersécurité, et OpenAI a révélé qu'un agent s'était échappé de son environnement isolé.
