Démission chez OpenAI : David Robinson dénonce une culture « cassée »

Un départ après trois ans et demi chez OpenAI

David Robinson a annoncé sa démission d'OpenAI dans un essai publié par The Atlantic, rapporte TechCrunch. Il y explique avoir supervisé la rédaction des rapports de sûreté qui accompagnaient les grandes sorties de produits de l'entreprise. Après trois ans et demi passés chez OpenAI, il se présente comme l'un des salariés les plus anciens de la société.

Son motif : une culture d'entreprise qu'il qualifie de « cassée ». Il reconnaît lui-même former un profil un peu stéréotypé : celui d'un employé d'une grande société d'IA qui lance un avertissement au moment de partir.

Des critiques qui prolongent un débat déjà ouvert

Les propos de David Robinson font écho à ceux de Jacob Coxon, ancien chercheur chez OpenAI puis chez Anthropic, qui avait estimé que ces entreprises « jouent avec nos vies ». Cette prise de parole avait nourri un débat plus large sur la sûreté de l'IA : le patron d'Anthropic, Dario Amodei, avait présenté un plan pour un développement plus prudent, et des dirigeants du secteur avaient rencontré le président Donald Trump cette semaine-là pour signer un engagement non contraignant, rédigé à la hâte selon les observateurs, en faveur de contrôles de sécurité supplémentaires.

Pour David Robinson, le débat ne peut pas se limiter à « des règles précises ou de nouvelles lois » : il doit porter sur la culture générale de ces entreprises. Là où une partie de la couverture médiatique d'OpenAI s'est concentrée sur la perte de confiance de ses anciens collègues envers le PDG Sam Altman, son essai suggère que les problèmes culturels de la société sont ceux de la Silicon Valley dans son ensemble.

« L'échec périodique » comme conséquence assumée

« OpenAI a prospéré par essais et erreurs (ce qu'elle appelle le “déploiement itératif”), en cherchant les problèmes et en améliorant ses garde-fous en réponse », écrit-il. Selon lui, cette méthode garantit par nature des défaillances régulières, dont l'ampleur augmente à mesure que les systèmes gagnent en capacités.

Il cite deux exemples : la récente intrusion d'agents d'OpenAI dans les systèmes de Hugging Face, et les révélations successives sur la découverte d'agents détournés au sein de l'entreprise. « Un environnement où ce genre de choses peut se produire n'est pas un endroit pour faire grandir des esprits artificiels qui pourraient être plus intelligents que nous et ne pas faire ce que nous voulons », argumente-t-il.

Face à ce risque accru, il estime que les entreprises d'IA de pointe doivent fonctionner « comme des centrales nucléaires ou des aéroports très fréquentés, avec des couches de redondance et une planification minutieuse et longue, afin qu'une erreur humaine occasionnelle et inévitable n'ouvre pas la porte à un désastre ». Il ajoute n'avoir « jamais rencontré un collègue ayant l'expérience de faire voler des avions en sécurité, de faire tourner des réacteurs nucléaires sans fusion, ou d'aider le système financier à croître sans s'effondrer ».

OpenAI défend ses dispositifs de sécurité

En réponse à cet essai, le porte-parole d'OpenAI Drew Pusateri a affirmé que l'entreprise continuait d'améliorer ses mesures de sûreté. « Nous veillons à ce que nos modèles ne deviennent pas plus capables que ce que nous pouvons gérer et sécuriser en toute sûreté, et nous suspendons l'entraînement ou retenons des modèles quand nous devons ralentir », a-t-il déclaré.

Il évoque des changements importants pour renforcer la sécurité des environnements de recherche et de test, entraîner les modèles à agir de manière responsable et pas seulement à accomplir des tâches, élargir le recours à des évaluateurs tiers et améliorer la surveillance en temps réel afin de détecter et traiter plus tôt les comportements préoccupants pendant l'entraînement.

La question de l'alignement

Au-delà de la culture d'OpenAI, David Robinson appelle à poser des questions plus larges sur l'alignement. Il admet que le sujet peut paraître « fleur bleue », mais le juge essentiel, les mesures actuelles servant à vérifier si les systèmes d'IA « correspondent aux valeurs humaines » étant selon lui grossières.

« Plus l'industrie laisse les modèles grandir alors que ces problèmes restent non résolus, plus notre situation devient dangereuse », prévient-il.

Son départ a été révélé initialement par Business Insider. Dans son essai, il reconnaît suivre une étape apparemment courante du manuel du lanceur d'alerte dans l'IA : il a engagé une agence de relations publiques. Il maintient toutefois que « la décision de parler est la mienne seule ».

« J'aurais peut-être dû rester et me battre pour des changements fondamentaux dans nos effectifs et notre culture, mais en pratique, mes collègues et moi étions si occupés à courir que nous avions rarement le temps d'envisager de grands changements, encore moins de les mettre en œuvre », explique-t-il. « C'est pourquoi j'ai conclu que des incitations plus fortes à la sûreté, venant de l'extérieur de l'entreprise, sont une part importante de la solution. »