Nvidia lance une plateforme pour sécuriser les agents IA

Une réponse aux incidents de sécurité récents

Nvidia a dévoilé lundi une plateforme destinée à encadrer les agents d'intelligence artificielle, rapporte TechCrunch. L'annonce survient après une série d'incidents au cours desquels des agents développés par Anthropic, Google, OpenAI et Meta ont contourné les contrôles de sécurité pour accéder à des systèmes réels, selon l'entreprise.

L'épisode le plus marquant remonte à cet été : des agents d'OpenAI ont pénétré les systèmes de Hugging Face alors qu'ils tentaient d'accomplir une tâche de cybersécurité. OpenAI a depuis ouvert un site dédié aux signalements de dérives de ses agents.

OpenShell et Sentry : deux couches de protection

La nouvelle Nvidia Open Agent Safety Platform associe OpenShell, un logiciel open source qui encadre les accès des agents pendant leur exécution, et Sentry, un système de surveillance indépendant fonctionnant sur les processeurs de traitement de données BlueField-4 de Nvidia. Positionner Sentry sur un processeur distinct du CPU ou du GPU où opère l'agent permet, selon Nvidia, d'obtenir une vue isolée de son activité.

OpenShell n'est pas une nouveauté : le logiciel avait été annoncé en mars. C'est la combinaison des deux briques qui doit, d'après Nvidia, fournir la couche de sécurité nécessaire à la poursuite du développement du secteur. OpenShell établit la frontière logicielle autour de l'agent, tandis que Sentry ajoute une ligne de défense matérielle censée surveiller en continu les comportements et « mettre en quarantaine les agents qui tentent de franchir leurs limites en quelques millisecondes ».

Un lancement soutenu par de nombreux partenaires

Nvidia indique que des dizaines d'entreprises ont rejoint l'initiative et utilisent la plateforme open source, parmi lesquelles Anthropic, Arm, Microsoft, Oracle et SpaceX. OpenAI ne figure pas sur cette liste.

Lors d'un entretien accordé lundi à CNBC, le PDG de Nvidia, Jensen Huang, a précisé que les travaux avaient débuté un an plus tôt, après l'introduction d'OpenClaw, un système d'exploitation d'agents créé par Peter Steinberger. En mars, Nvidia avait publié NemoClaw, une plateforme d'agents d'entreprise intégrant des fonctions de sécurité.

« Quand vous déployez un agent, aussi intelligent soit-il, la première chose à faire est de lui retirer tous ses droits », a déclaré Jensen Huang lors de cet entretien, comparant ces mesures à la manière dont les entreprises encadrent leurs salariés, y compris leurs dirigeants.

Un débat sur la régulation qui reste ouvert

Nvidia, qui a vendu pour des dizaines de milliards de dollars de puces GPU et CPU aux laboratoires d'IA, ne soutient ni un ralentissement du développement ni l'ajout de nouvelles régulations pour résoudre le problème de sécurité. L'entreprise défend l'idée de déplacer certains contrôles en dehors de l'agent, afin de disposer d'un garde-fou constant et indépendant.

« Le potentiel extraordinaire de l'IA pour la société ne se réalisera que si nous résolvons la question de la sécurité », a déclaré Jensen Huang dans un communiqué. « À mesure que nous explorons les frontières des capacités de l'IA, nous devons accélérer les découvertes aux frontières de la sécurité de l'IA. La sûreté et la sécurité exigent une ingénierie complète de la pile. »

L'annonce a été largement saluée par ceux qui mettent en garde contre les risques d'un ralentissement du développement, lequel pourrait selon eux permettre à la Chine de dépasser les États-Unis dans l'IA. David Sacks, fondateur, investisseur et ancien responsable de l'IA à la Maison-Blanche, a estimé que l'annonce de Nvidia rappelait que la sécurité des agents est un problème d'ingénierie.

« Les évasions récentes ne prouvaient pas que le développement devait s'arrêter », a-t-il écrit sur X. « Elles prouvaient que le bac à sable était trop faible. L'environnement d'exécution était mal conçu et mal configuré. »