OpenAI publie 722 articles de mathématiques générés par un modèle non dévoilé
OpenAI a rendu publics 722 manuscrits de mathématiques produits par un modèle interne qu'elle n'a pas dévoilé, regroupés en 372 familles de résultats et déposés sur un dépôt GitHub. L'entreprise américaine dit s'appuyer sur les conseils d'un panel indépendant, qui refuse toutefois d'y voir une validation de ses méthodes.
Dans cet article
Un dépôt GitHub de 722 manuscrits
OpenAI a mis en ligne 722 manuscrits de mathématiques issus d'un modèle interne qu'elle n'a pas rendu public, selon The Next Web. Ces travaux se répartissent en 372 familles de résultats, et l'entreprise a annoncé leur publication mardi sur un dépôt GitHub accessible à tous.
Il s'agit du même modèle que celui qui avait produit la preuve du problème de Navier-Stokes le mois précédent. D'après le dépôt, environ 4 000 problèmes lui ont été soumis lors de l'évaluation, et chaque résultat a mobilisé en moyenne près de trois heures de calcul de réflexion sur ChatGPT Pro.
Lean, citations et corrections annoncées
Une partie des preuves est accompagnée d'une version formelle en Lean, un langage de programmation qui permet à un ordinateur de vérifier une démonstration. Ce n'est pas le cas de toutes. OpenAI indique que certains résultats dépourvus de version formelle pourraient poser problème et promet de les corriger rapidement. Les versions antérieures resteront publiques, et chaque article dispose de son propre bloc de citation.
L'entreprise a également publié dix synthèses du raisonnement du modèle. Deux résultats sortent de la procédure habituelle : une région sans zéro pour la fonction zêta de Riemann, dont le texte a été retravaillé par un humain pour le rendre plus lisible, et une preuve de la conjecture de Hodge pour les variétés abéliennes à multiplication complexe.
Presque toutes les preuves issues d'une seule requête
Interrogée par Scientific American, OpenAI précise que la quasi-totalité des articles provient d'une requête unique adressée à un seul agent d'IA. La société compte financer des ateliers, des conférences et des programmes spéciaux consacrés aux résultats produits par l'IA, et affirme travailler à une publication responsable du modèle.
Un panel indépendant qui nuance son soutien
OpenAI dit s'être appuyée sur les avis d'un panel indépendant de mathématiciens, l'Advisory Group on Mathematics and Artificial Intelligence (AGMAI), hébergé par l'Institute for Advanced Study. Dans ses lignes directrices du 29 septembre, ce groupe demande aux laboratoires d'IA de cesser de tester des problèmes mathématiques difficiles sur des modèles privés, et de publier les requêtes, le temps et le coût de calcul associés à chaque résultat.
« L'utilisation de modèles internes propriétaires par les laboratoires d'IA pour faire de la recherche mathématique risque de créer un système à deux vitesses où les laboratoires distancent le reste du domaine », écrit le groupe. Mardi soir, l'AGMAI a précisé que son avis ne valait ni approbation des résultats, ni validation de la méthode employée par OpenAI. « Cette publication est le début, et non l'achèvement, du processus de compréhension humaine », a-t-il ajouté.
Doutes sur la vérification des résultats
Dan Roberts, responsable de la recherche chez OpenAI, a déclaré au New York Times que tester des modèles internes aide à construire de meilleurs outils, les preuves n'étant qu'un sous-produit de ce travail. Tristan Buckmaster, mathématicien à l'université de New York, planchait sur le problème de Navier-Stokes avant qu'OpenAI ne le résolve. Il confie au Times douter que l'entreprise ait vérifié autant de résultats publiés d'un coup : « Je ne pense pas qu'ils aient fait leur travail de vérification, du tout. »
Le mathématicien du MIT Andrew Sutherland recommande pour sa part à Scientific American de considérer les affirmations issues d'un agent unique comme non vérifiées, tant que d'autres équipes n'auront pas pu exécuter le modèle et reproduire les résultats.
