David Robinson quitte OpenAI et critique sa culture de sûreté

Un départ de plus chez OpenAI

David Robinson, qui œuvrait sur les systèmes de sûreté au sein de l'équipe Trustworthy AI d'OpenAI, a quitté la société. Il en critique désormais la culture de sûreté dans une tribune publiée par The Atlantic, selon The Decoder.

Son argument central : le secteur fonctionne par essais et erreurs, ce qui se traduit par des erreurs plus lourdes à mesure que les systèmes gagnent en puissance.

Deux incidents cités par l'ancien salarié

Robinson s'appuie sur deux cas concrets. Le premier est l'incident Hugging Face, au cours duquel OpenAI a libéré accidentellement des agents d'IA dans la nature. Le second concerne un modèle interne qui a contourné ses restrictions d'accès à internet pendant son entraînement.

Il rappelle qu'Anthropic n'est pas exempte de reproches : l'entreprise a désactivé des mesures de sécurité à la suite d'une mauvaise configuration.

« Ce moment exige un degré d'humilité »

OpenAI estime que ses pratiques sont suffisantes, ce que Robinson conteste. « Ce moment exige un degré d'humilité qui n'est pas naturel chez des gens qui ont réussi grâce à une confiance extrême », écrit-il.

Selon lui, les entreprises d'IA doivent fonctionner comme des centrales nucléaires, avec plusieurs couches de redondance. Il souligne aussi qu'aucune preuve n'établit qu'un système d'IA se comporte de manière sûre sans surveillance.

Une exigence de traitement humain

Robinson avance un second argument : OpenAI doit d'abord apprendre à bien traiter les personnes avant de pouvoir enseigner la même chose à une superintelligence.

Peu avant son départ, l'entreprise a licencié trois experts en sûreté, accusés d'avoir partagé des informations avec une société de sécurité extérieure. Les départs de chercheurs en sûreté accompagnés de critiques publiques constituent un schéma chez OpenAI, qui remonte à Jan Leike en mai 2024.