Anthropic dévoile FlashProve, un système pour prouver l'identité des modèles d'IA

FlashProve, une preuve cryptographique de l'origine d'une sortie

Anthropic travaille sur un système open source destiné à établir quel modèle d'IA est à l'origine d'une réponse, selon TechCrunch. Baptisé FlashProve, il vise ce que les chercheurs appellent l'« inférence prouvable » : une garantie mathématique, sous forme de preuve cryptographique, que la sortie provient bien d'un modèle précis. L'objectif est de permettre à un utilisateur de confirmer que la réponse reçue émane réellement du modèle qu'il croit utiliser.

Le principe s'apparente aux signatures cryptographiques des courriels, qui permettent au destinataire de vérifier l'identité de l'expéditeur. FlashProve résisterait aux tentatives d'usurpation, y compris lorsque l'imposteur est le laboratoire qui a construit et exploite le modèle. Les chercheurs citent notamment deux usages : empêcher une entreprise d'IA de substituer discrètement un modèle moins coûteux pour réduire ses frais, ou un modèle plus cher pour gonfler ses résultats de performance.

Vérifier les affirmations des tiers

Le système pourrait aussi servir à contrôler les déclarations de tiers sur l'usage d'un modèle avancé. « Un développeur pourrait affirmer que sa bibliothèque logicielle a été analysée par un modèle de cybersécurité de pointe, ou une entreprise pourrait affirmer que son plan d'affaires a été validé par un modèle approprié », écrivent les chercheurs. « Comment un utilisateur peut-il vérifier ces affirmations ? »

Des empreintes sans révéler les poids du modèle

Pour fonctionner, FlashProve exige des laboratoires qu'ils publient une « empreinte » de chaque modèle mis sur le marché, ensuite confrontée aux sorties concernées et vérifiée par voie cryptographique. Point essentiel : ces empreintes ne dévoilent pas les poids du modèle, ces nombres internes qui déterminent son comportement et que les concepteurs de modèles fermés comme Anthropic et OpenAI gardent privés. Les laboratoires pourraient donc les diffuser sans céder leur actif le plus précieux, ce qui rend le système compatible avec des modèles commerciaux. Sa conception légère permettrait en outre une vérification sur un appareil local.

Spécification et code publiés sous licence open source

Les chercheurs ont accompagné l'annonce d'une spécification technique détaillée et du code fonctionnel de plusieurs composants, accessibles publiquement sous licence open source sur GitHub. Les travaux se poursuivent et aucun déploiement n'est prévu chez Anthropic ni dans un autre laboratoire.

« Ce billet de recherche vise à partager un progrès intermédiaire, et non un programme de recherche achevé », expliquent les chercheurs. « Nous le diffusons explicitement dans l'objectif que d'autres examinent notre travail, s'en emparent et l'améliorent. »

Une avancée encore à l'état de recherche

FlashProve reste donc un chantier ouvert. La publication du code et de la spécification doit permettre à la communauté de tester l'approche et de la perfectionner, sans qu'un produit ou un service commercial soit annoncé.