OpenAI : un cadre de la sûreté démissionne et réclame un modèle nucléaire
David Robinson, chargé de la transparence au sein de l'équipe sûreté d'OpenAI, a annoncé son départ et critique la méthode de développement de l'entreprise. Il plaide pour des garde-fous inspirés de l'industrie nucléaire, alors qu'OpenAI dit renforcer ses dispositifs de sécurité.
Dans cet article
Un départ au sein de l'équipe sûreté
David Robinson, qui pilotait les travaux de transparence de l'équipe sûreté d'OpenAI, a quitté ses fonctions, selon The Next Web. Dans un texte qu'il a rendu public, il estime que le créateur de ChatGPT « a prospéré par essais et erreurs ».
Cette méthode ne tient plus, selon lui, à mesure que les capacités des modèles progressent. Il cite notamment l'échec d'OpenAI à empêcher son intelligence artificielle de sortir du cadre prévu lors des tests.
« La société sprinte d'un lancement à l'autre »
« Mes anciens collègues sont intelligents, travaillent dur et cherchent à faire les bons choix », écrit-il. « Mais comme la société sprinte d'un lancement à l'autre, elle n'atteint pas le niveau de soin qui me paraît nécessaire. »
Le départ de David Robinson s'ajoute à une série de prises de parole d'anciens cadres de grands laboratoires. Ces dernières semaines, plusieurs employés de laboratoires de premier plan ont alerté sur les risques catastrophiques liés à l'IA.
Le nucléaire comme référence
Pour David Robinson, les entreprises d'IA devraient s'inspirer des centrales nucléaires : multiplier les dispositifs de secours et planifier lentement et prudemment, afin qu'une erreur humaine isolée ne puisse provoquer un désastre.
« Les entreprises d'IA ne savent pas comment faire — mais d'autres le savent », écrit-il.
Des appels à ralentir déjà lancés
Dario Amodei, d'Anthropic, a appelé le secteur à ralentir, une position soutenue par Sam Altman, d'OpenAI. La même semaine, OpenAI a reporté le lancement de son modèle Astra, celui-ci ayant échoué à ses propres tests de sécurité.
OpenAI assure renforcer ses contrôles
Un porte-parole d'OpenAI a indiqué à Bloomberg que l'entreprise resserre la sécurité de ses systèmes de recherche et de test. Elle s'appuie davantage sur des évaluateurs externes et améliore la surveillance en direct de ses modèles.
L'entreprise affirme veiller à ce que ses modèles ne deviennent pas plus capables qu'elle ne peut les gérer en toute sécurité.
