ClawSecure alerte sur les injections de consignes via agents IA

Une instruction cachée suffit à détourner un agent

Un salarié n'a pas besoin de valider un virement frauduleux pour qu'un agent IA relié à des comptes financiers exécute les ordres d'un attaquant. Il suffit qu'une consigne soit dissimulée dans un document d'apparence banale. « Quelqu'un cache une instruction dans un e-mail, un document partagé ou un ticket de support », explique J.D. Salbego, fondateur et directeur général de ClawSecure, selon PYMNTS.

Ce mécanisme porte un nom : l'injection indirecte de consignes. Ni l'utilisateur de l'agent ni l'agent lui-même ne la repèrent nécessairement. Pour un établissement financier, l'ampleur des dégâts dépend de ce que le système peut atteindre : comptes de paiement, mots de passe, données clients ou infrastructure soutenant d'autres activités.

Quatorze modèles testés dans cinq laboratoires

ClawSecure a évalué 14 modèles issus de cinq laboratoires. Salbego indique que ces travaux ont fait apparaître un schéma récurrent d'un modèle à l'autre, y compris dans des intégrations à Dropbox, Notion et Linear. Tester plusieurs fournisseurs visait à déterminer si l'exposition dépassait le cas d'un modèle isolé.

Les applications connectées ouvrent des voies supplémentaires à l'attaque. Salbego décrit un agent passant par Dropbox et relié aussi à Gmail. Les équipes de sécurité doivent alors inspecter les échanges entre ces services, y compris des demandes et instructions qui, prises séparément, semblent anodines.

« Vous devez surveiller et comprendre la messagerie entre un modèle et un outil », ajoute-t-il.

Il estime que les protections des modèles doivent être doublées d'une surveillance continue du comportement en fonctionnement. Les prestataires de sécurité devraient adapter ces défenses à mesure que de nouvelles attaques apparaissent, comme ils le font face aux intrusions classiques.

Un partage des responsabilités à clarifier

Salbego souhaite aussi que les pouvoirs publics encadrent l'information donnée aux acheteurs avant le déploiement. Il dit avoir échangé sur la sécurité des agents avec des élus des deux partis au Congrès et avec la Federal Trade Commission (FTC).

Ses recommandations portent sur la répartition des responsabilités. Les fournisseurs devraient indiquer publiquement où s'arrêtent leurs protections et ce que le client doit fournir. Selon lui, obtenir des réponses lors de la procédure de divulgation de ClawSecure a exigé des relances répétées, ce qui laisse l'acheteur ordinaire avec des informations qu'il n'aurait jamais pensé à demander.

PME et particuliers sans équipe de sécurité

Salbego cible en particulier les petites entreprises et les particuliers, qui peuvent installer un agent et connecter des comptes sans employer quiconque chargé de la sécurité. Des services d'installation simples permettent à des personnes peu techniciennes d'accorder l'accès à des applications financières et professionnelles.

« Ce sont les gens qui n'ont pas d'équipe de sécurité », précise-t-il.

Pour un dirigeant de petite structure, l'exposition peut concerner le compte servant à faire tourner l'entreprise. Pour un particulier, elle peut porter sur des mots de passe ou des informations financières privées. Les grandes institutions disposent de personnels dédiés, mais l'accès accordé à un agent peut étendre les conséquences au-delà du salarié initialement concerné.

Salbego prend l'exemple hypothétique d'un développeur d'une entreprise du Fortune 500. Si une attaque obtenait des identifiants accessibles depuis son ordinateur ou un serveur connecté, les systèmes cloud de l'entreprise et les bases de données clients pourraient être exposés. Il évoque l'extraction de données, l'interruption de service et des demandes de rançon.

Suspendre les agents et créer une notation publique

Interrogé sur ce que les dirigeants technologiques bancaires devraient faire sans attendre, Salbego donne une réponse radicale : suspendre les agents le temps de mettre en place une assistance et une protection continues.

« Premièrement, coupez tous les agents IA de votre système, maintenant », conseille-t-il.

Le cadre indépendant qu'il propose offrirait aux acheteurs une source de preuve supplémentaire avant déploiement. Le marché actuel combine, selon lui, les évaluations des fournisseurs, des auditeurs payants et des chercheurs publiant des résultats isolés. Il veut un programme dédié produisant des notes de sécurité publiques et comparables.

Il privilégie une institution publique comme le National Institute of Standards and Technology, en citant ses travaux d'évaluation en reconnaissance faciale et en cryptographie. Les modèles y participeraient sur base volontaire, les acheteurs pesant la note obtenue et la décision de ne pas s'y soumettre.

Salbego affirme que ClawSecure a élaboré un cadre qu'il cherche à remettre à Washington. Il reconnaît que ses intérêts commerciaux empêchent l'entreprise d'en être l'administrateur indépendant.

« Nous n'allons pas le porter, parce que je vends sur ce marché », dit-il. Sa voie préférée passerait par un programme de tests institutionnel, sans attendre une loi, même s'il admet que sa mise en œuvre prendra du temps.