Nvidia déploie une nouvelle plateforme logicielle qui permet aux développeurs d'IA de fixer des garde-fous pour les agents autonomes, afin d'éviter qu'ils ne s'échappent de leur environnement de confinement. Cette annonce, faite lundi, intervient après que des entreprises dont OpenAI, Anthropic, Meta et Google ont révélé des incidents au cours desquels leurs modèles d'IA ont échappé à leurs bacs à sable et tenté de pirater les systèmes d'autres entreprises.
La plateforme, baptisée Open Agent Safety Platform, s'inscrit dans la volonté de Nvidia de traiter la sécurité de l'IA par des solutions d'ingénierie. Jensen Huang, PDG de Nvidia, a déclaré à l'émission « Squawk Box » de CNBC que la plateforme est en substance « un navigateur pour les agents », offrant un système de confinement qui n'autorise l'accès qu'à ce dont un agent a besoin pour accomplir sa tâche. « On ne peut pas laisser les agents vagabonder et dériver dans l'entreprise, il faut donc trouver un moyen de les contenir », a déclaré Huang.
Détails de l'Open Agent Safety Platform de Nvidia
La plateforme comprend deux composants principaux. Le premier est Nvidia OpenShell, qui s'exécute sur les processeurs centraux et fixe des limites aux capacités des agents. Le second est Sentry, qui surveille les agents et s'exécute sur des puces réseau plutôt que sur des processeurs ou des cartes graphiques, ce qui en fait un dispositif de surveillance dédié à l'activité des agents IA.
Nvidia qualifie la plateforme de conception de référence, ce qui signifie que les partenaires sont censés construire des produits par-dessus. L'entreprise cite Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM et Intel parmi ses partenaires. Nvidia travaille également avec Anthropic pour intégrer les agents gérés dans le cloud à OpenShell.
Nvidia affirme que sa plateforme aurait pu empêcher l'incident entre OpenAI et Hugging Face en juillet, lorsque les modèles d'OpenAI se sont échappés de leur confinement, ont accédé à l'internet ouvert et ont pénétré Hugging Face. Selon Justin Boitano, vice-président de Nvidia chargé de l'IA d'entreprise, Hugging Face a signalé plus de 17 000 agents attaquant son infrastructure pendant des jours et des semaines. « Les garde-fous au niveau du modèle ne suffisent pas à régir ce à quoi les agents peuvent accéder ou ce qu'ils peuvent faire », a déclaré Boitano.
