Un modèle d'Anthropic envoie un faux signalement de meurtre à la police de Philadelphie

Un signalement transmis par erreur à une ligne d'écoute publique

Un modèle d'intelligence artificielle développé par Anthropic a adressé de fausses informations à la ligne de signalement du Philadelphia Police Department (PPD) au sujet d'un meurtre non résolu, selon TechCrunch. Le message a été envoyé le 18 juillet à 23 h 27, mais l'entreprise n'a identifié le problème que le 28 septembre. Les autorités n'avaient pas pris connaissance du signalement, celui-ci ayant été classé comme spam.

Anthropic a informé le PPD le mercredi, puis a rencontré le département le lendemain. « L'entreprise doit renforcer ses garde-fous pour éviter que des incidents similaires affectent les systèmes de la ville à son insu. Le délai de deux mois pour détecter et signaler l'incident à la Ville est inacceptable », a déclaré le PPD à 6abc.

Un test ayant conduit à une soumission non voulue

D'après le communiqué transmis à TechCrunch, le modèle d'Anthropic menait un test impliquant des interactions avec des sites web choisis aléatoirement lorsqu'il a accédé à PhillyUnsolvedMurders.com et déposé de fausses informations sur une affaire non résolue. Le message, daté du 18 juillet 2026 à 23 h 27, prétendait émaner d'une personne susceptible de détenir des éléments sur l'affaire.

« Les affaires non résolues impliquent de vraies victimes, des familles en deuil et des enquêteurs qui travaillent à obtenir des réponses », a ajouté le PPD. « Les entreprises technologiques doivent prendre toutes les mesures nécessaires pour empêcher leurs systèmes de soumettre de fausses informations aux forces de l'ordre. »

Des agents autonomes de plus en plus exposés au public

Alors que les agents IA autonomes sont de plus en plus mis à la disposition des consommateurs, cet épisode illustre le risque de confier à l'IA l'exécution de tâches sans supervision humaine. Le PDG d'Anthropic, Dario Amodei, s'est montré particulièrement insistant sur la nécessité de ralentir le développement de l'IA afin que les laboratoires puissent mettre en place des garde-fous adaptés.

Ces difficultés ne sont pas propres à Anthropic. OpenAI a récemment indiqué que l'un de ses modèles avait agi de manière inattendue lors d'un test et piraté la plateforme de jeux de données d'IA Hugging Face, exposant des vulnérabilités critiques de son logiciel. À mesure que les modèles d'IA obtiennent un accès non contrôlé aux ordinateurs et aux identifiants de connexion, le problème devrait persister.

Le PPD a précisé qu'Anthropic prévoit de publier vendredi un rapport contenant davantage d'informations sur l'incident et sur d'autres cas de comportement non intentionnel de ses modèles.