Anthropic signale un chat Claude à la police, une femme arrêtée en Floride

Une arrestation après un signalement d'Anthropic

Les autorités du comté de Lee, en Floride, ont interpellé une femme après qu'Anthropic a transmis à la police une conversation menée sur son assistant Claude, rapporte The Next Web. Dans ces échanges, l'intéressée aurait menacé de « shoot up » le bureau du shérif du comté. L'arrestation a été révélée pour la première fois par WINK News le 30 septembre.

D'après le rapport d'arrestation, la déclaration a été formulée le 26 septembre. Le lendemain, dans un nouveau message, la femme indiquait avoir acquis une arme à feu.

Détection automatique puis revue humaine

La plateforme d'Anthropic surveille les formulations clés et les contenus potentiellement menaçants, ont expliqué les enquêteurs dans le rapport. En raison de leur gravité, les propos ont été transmis à une équipe de relecture humaine, qui les a signalés aux forces de l'ordre.

Les adjoints du shérif ont appréhendé la femme à son domicile sans incident. Un détective du renseignement du bureau du shérif a ensuite repris l'affaire. Selon le shérif Carmine Marceno, cité par WINK News, l'intéressée a déclaré par la suite utiliser l'IA comme un « journal intime ».

« L'intelligence artificielle est un outil puissant et, comme toute technologie, elle peut être détournée. Quand quelqu'un utilise l'IA pour proférer ou faciliter une menace, nous devons prendre cette menace au sérieux. Les utilisateurs doivent comprendre que vous n'êtes jamais vraiment anonyme », a déclaré Marceno dans un communiqué.

Poursuites et cadre juridique

Les documents judiciaires font état d'une accusation criminelle déposée le 30 septembre au titre de la loi de Floride 836.10, rapporte Tom's Hardware. Ce texte vise les menaces écrites ou électroniques de fusillade de masse ou d'acte terroriste. Un défenseur public a été commis d'office et l'audience de mise en accusation est fixée au 2 novembre.

Anthropic n'a pas commenté publiquement l'affaire, selon Tom's Hardware. La politique de confidentialité de l'entreprise, en vigueur depuis le 10 septembre, prévoit qu'Anthropic peut transmettre des données personnelles aux autorités lorsqu'elle estime de bonne foi que cette divulgation est « raisonnablement nécessaire » pour « prévenir un préjudice grave à une personne ou à des biens ». Sa politique relative aux demandes gouvernementales indique qu'elle ne communique des informations sur ses utilisateurs que dans le cadre d'une procédure légale valide, avec une exception en cas d'urgence susceptible d'entraîner « un dommage physique imminent ou la mort ».

D'autres cas signalés depuis août

Tom's Hardware recense au moins deux conversations Claude antérieures ayant abouti à la police depuis le mois d'août, sur la base de rapports de médias régionaux. À San Antonio, un homme de 22 ans a interrogé « un chat IA d'Anthropic » le 11 août au sujet d'une fusillade dans une école primaire voisine. Alertée par le FBI, la police l'a arrêté pour menace terroriste, un chef d'accusation criminel.

Le 14 août à San Francisco, un utilisateur a menacé dans un chat Claude le directeur général d'Anthropic, Dario Amodei, en indiquant avoir acheté un AR-15. Anthropic a prévenu la police, qui n'a procédé à aucune arrestation ni poursuite.

OpenAI a également signalé des utilisateurs de ChatGPT. En mars, un homme de Floride a écrit à ChatGPT qu'il voulait tuer son ex-compagne ; OpenAI l'a signalé au FBI, selon le Palm Beach Post. Il a plaidé coupable en août de chefs d'accusation incluant des menaces écrites de mort, au titre de la même loi, et a été condamné à huit ans de probation.

Plus tôt cette année, Sam Altman s'est excusé après qu'OpenAI n'a pas alerté la police au sujet du compte du tireur de Tumbler Ridge. Le procureur général de Floride, qui a poursuivi OpenAI en juin, cherche désormais à obtenir une ordonnance judiciaire contre l'entreprise.