Nvidia lance OpenShell et Sentry pour sécuriser les agents IA

OpenShell passe en version générale

Nvidia franchit une nouvelle étape dans la sécurisation des agents d'intelligence artificielle. Le fabricant de puces rend OpenShell, son bac à sable destiné à contenir ces agents, accessible à tous les utilisateurs, selon Wired. Le framework avait été présenté en mars lors de la conférence annuelle GTC de l'entreprise.

Son principe : isoler l'activité des agents au niveau du noyau du système d'exploitation, le programme fondamental qui coordonne le matériel et les logiciels d'une machine. Objectif affiché, empêcher un agent de sortir du périmètre qui lui a été assigné pendant l'exécution de ses tâches.

Une plateforme de surveillance adossée au silicium

Nvidia complète cet outil avec Sentry, une plateforme logicielle qui crée un domaine de sécurité isolé sur les puces. Ce dispositif doit surveiller en continu les agents dont l'exécution se prolonge. Il est conçu pour être déployé sur Bluefield, la gamme de DPU (unités de traitement de données) programmables de Nvidia.

Sentry agit comme un mécanisme indépendant, distinct des restrictions imposées par OpenShell, capable de mettre en quarantaine un agent qui tente de franchir ses limites. « Les agents sont très créatifs pour trouver des moyens d'atteindre les objectifs qu'on leur donne », explique Justin Boitano, vice-président et directeur général du calcul d'entreprise chez Nvidia. « Avec cela, les agents n'ont accès qu'à l'intention que l'équipe de sécurité veut bien leur accorder. »

Selon Justin Boitano, Nvidia travaille avec Arm et Intel pour développer une déclinaison de Sentry compatible avec l'architecture x86. « Une fois qu'il tourne sur ces architectures de jeu d'instructions, il peut tourner sur n'importe quelle architecture », ajoute-t-il.

Un écosystème de partenaires encore flou

L'ensemble est présenté comme les briques d'un cadre open source baptisé Open Agent Safety Platform, qui englobe désormais OpenShell et Sentry. Les documents de lancement de Nvidia font état de collaborations en matière de sûreté et de sécurité de l'IA avec des dizaines d'entreprises, parmi lesquelles Anthropic, Cisco, CoreWeave, CrowdStrike, Dell Technologies, Hugging Face, JPMorganChase, Mistral, Microsoft et Palantir.

Nvidia indique que SpaceXAI utilise l'Open Agent Safety Platform pour ses agents Cursor et ses modèles Grok, et qu'Anthropic et Nvidia « intègrent la sécurité dans Claude Managed Agents ». Salesforce, Scale AI et SAP sont confirmés comme intégrant OpenShell à des degrés divers. On ignore toutefois si l'ensemble des partenaires cités ont effectivement adopté l'outil.

Un nom manque à l'appel : OpenAI. Les deux entreprises ont indiqué que le laboratoire participe à l'effort OpenShell, sans préciser pourquoi il était absent de l'annonce.

Une coalition industrielle pilotée par Nvidia

En juillet, Nvidia a lancé une coalition sectorielle sur la sûreté de l'IA, qui réunit aujourd'hui plus de 120 entreprises. Son objectif déclaré : réduire les risques liés à l'IA, notamment via un programme baptisé Shared AI Findings Exchange (SAFE). Le mois dernier, Justin Boitano indiquait que SAFE devait être « gouverné de manière indépendante, sans qu'aucune entreprise ni segment industriel ne contrôle ses conclusions ».

Nvidia reste néanmoins au centre de ces initiatives. L'entreprise, la plus valorisée au monde et dont dépend une grande partie du secteur technologique pour ses puces les plus performantes, semble vouloir renforcer son influence et fixer des standards à plusieurs niveaux de la pile technologique de l'IA, du silicium aux logiciels de sécurité.

Pour Niels Provos, ingénieur et chercheur en sécurité de longue date, qui s'exprime de façon générale sur les outils de confinement et de surveillance des agents : « Tout ce qui facilite le déploiement d'agents avec davantage de garde-fous et de sécurité mérite d'être salué. » Il ajoute que ces outils « aident à dissiper le mythe selon lequel les agents ne peuvent pas être contrôlés ». Niels Provos a lui-même lancé en février un framework open source consacré à ces questions.