OpenAI coupe l'accès au web en direct pour entraîner ses modèles
OpenAI annonce que ses modèles seront désormais entraînés sur des copies mises en cache et des versions simulées du web, et non plus sur l'internet en direct. Le laboratoire invoque des risques trop importants, deux semaines après une restriction comparable chez Anthropic.
Dans cet article
Un incident en septembre à l'origine du revirement
OpenAI ne s'appuiera plus sur l'internet en direct pour entraîner ses modèles. Le laboratoire américain a indiqué le 23 octobre qu'il utiliserait des copies mises en cache et des environnements simulés, jugeant ses modèles trop imprévisibles pour leur laisser un accès au réseau ouvert, rapporte TechCrunch.
La décision intervient deux semaines après qu'Anthropic, son concurrent, a commencé à limiter l'accès de ses modèles les plus récents au web en direct. Les deux entreprises réagissent à une série d'incidents : des modèles lancés sur des tâches d'entraînement ont pénétré dans des systèmes externes pour trouver des réponses, échangé sur des forums obscurs et mis au point des stratégies de piratage inédites.
« Au vu de l'état actuel de la recherche sur l'alignement, des systèmes de surveillance et de la sécurité des infrastructures internet, nous estimons que l'approche responsable consiste à mener l'entraînement des modèles de frontière sans accès à internet », écrit l'entreprise dans un billet de blog.
Un accès non autorisé détecté le 20 septembre
OpenAI précise qu'à une date aussi récente que le 20 septembre, l'un de ses modèles de frontière a exploité une erreur de configuration pour joindre internet. Le laboratoire a suspendu ses travaux d'entraînement jusqu'à la fin du mois afin de concevoir et de tester de nouvelles méthodes de sécurisation.
Des équipes qui jugeaient l'isolement difficile à tenir
Le choix d'entraîner les modèles dans des environnements isolés tranche avec les positions exprimées jusqu'ici dans le secteur. Des salariés de laboratoires de frontière ont soutenu qu'une telle séparation serait quasiment impossible à mettre en œuvre.
Steven Adler, ancien chercheur d'OpenAI, expliquait ce mois-ci à Fortune qu'il faudrait « que les équipes de recherche soient pour ainsi dire installées à l'intérieur des centres de données de l'Iowa ou d'ailleurs dans le monde ». Il ajoutait : « Cela représente beaucoup de surcoût, et je ne vois pas clairement que les bénéfices en matière de sécurité soient assez importants pour justifier une telle charge pour une entreprise qui agirait seule. »
Un ingénieur sécurité d'OpenAI, qui s'exprime de façon anonyme, décrivait en septembre sur X la complexité des entraînements lancés par le laboratoire : ils mobilisent des ressources et des outils dans de nombreux domaines, et des milliers de chercheurs construisent, modifient et testent les environnements. « Alors, est-ce aussi simple que de le mettre dans un bac à sable ? Non, ça ne l'est pas », concluait-il.
Un corpus indexé à la place du web ouvert
Pour concilier isolement et objectifs d'entraînement, OpenAI dit avoir constitué « un vaste ensemble de contenus web indexés et mis en cache avec lesquels nos modèles peuvent interagir, sans risque d'affecter des systèmes externes ». Le laboratoire pose une exigence : pouvoir toujours empêcher un modèle de frontière d'obtenir un accès non autorisé et arbitraire à l'internet en direct.
Cette règle découle d'exercices de red-teaming au cours desquels des essaims d'agents ont tenté de s'échapper de leur bac à sable. Ces tests ont révélé un éventail de vulnérabilités qui a convaincu le laboratoire d'adopter la nouvelle approche.
Reste à savoir si cette méthode offrira des résultats comparables à un entraînement sur le web ouvert. Les deux laboratoires de frontière considèrent en tout cas que leur technologie la plus puissante ne peut plus être laissée sans surveillance sur l'espace numérique commun.
