Jack Clark (Anthropic) avance à 2027 l'auto-amélioration de l'IA

Un benchmark pour mesurer le « goût de la recherche »

Jack Clark, cofondateur d'Anthropic, a revu à la hausse ses anticipations sur l'auto-amélioration récursive (RSI), ce processus par lequel des systèmes d'IA concevraient leurs propres successeurs. Il situe désormais cette échéance dès 2027, alors qu'il tablait auparavant sur 2028, rapporte The Decoder. Son pronostic s'appuie sur TasteVal, un nouveau test d'évaluation développé par P-Zero Research.

Ce benchmark mesure ce que le laboratoire nomme le « goût de la recherche » : la faculté de sélectionner les bonnes expériences et d'en tirer les bonnes conclusions. Selon les résultats publiés, cette compétence progresse à un rythme inhabituellement rapide. Le meilleur modèle évalué dépasse un groupe de comparaison de 24 experts humains, pour une fraction du coût.

Trois compétences, deux testées

P-Zero Research décompose le goût de la recherche en trois aptitudes : identifier les questions qui méritent d'être étudiées, concevoir les expériences correspondantes, puis interpréter correctement leurs résultats. TasteVal ne teste que les deux dernières. Le choix de la direction de recherche, souvent considéré comme le cœur de l'intuition scientifique, est fixé à l'avance pour le modèle.

Les huit tâches du benchmark portent chacune sur un objectif de recherche prédéfini en développement de modèles d'IA, assorti d'un score mesurable. Elles couvrent notamment la sélection des données d'entraînement, le pré-entraînement et l'affinage de modèles de langage, l'entraînement sur les préférences humaines et la défense contre les invites adverses.

Le modèle choisit l'expérience suivante et exploite les résultats pour orienter l'étape d'après. Pour éviter que les compétences en programmation ne biaisent la mesure, un agent de codage unique exécute toutes les expériences sur un seul GPU Nvidia H100. Chaque essai s'arrête après 40 heures-GPU de calcul ou 120 heures de temps réel.

La référence humaine provient de 24 spécialistes ayant récemment travaillé chez OpenAI, Google DeepMind, Nvidia ou Microsoft Research. Au moins deux personnes ont traité chaque tâche, et la meilleure tentative humaine a servi d'étalon.

Le calcul comme unité de mesure

Pour rendre la notion quantifiable, P-Zero Research la traduit en efficacité de calcul. Le raisonnement : la puissance de calcul expérimental étant rare en recherche sur l'IA, bien choisir ses expériences et bien lire leurs résultats permet de réduire le nombre d'essais à budget constant.

Le laboratoire s'appuie sur son « AI Futures Model », qui prévoit que le calcul expérimental deviendra le principal goulot d'étranglement une fois la programmation automatisée. TasteVal mesure donc la quantité de calcul nécessaire à un modèle pour égaler les scores des experts. Un modèle qui y parvient avec moitié moins de calcul affiche, selon cette définition, deux fois plus de goût de la recherche. P-Zero Research appelle ce rapport le multiplicateur de calcul.

Le meilleur modèle, Opus 5.5 d'Anthropic, atteint un multiplicateur de 2,3 : il rejoint le niveau des experts avec moins de la moitié du calcul. L'intervalle statistique va toutefois de 1,15 à 4,37, et dans l'hypothèse basse l'avance serait minime. Une exécution coûte environ un trentième de ce qu'engloutit en moyenne une tentative d'expert.

D'une génération de modèles à l'autre, le multiplicateur double approximativement tous les trois mois depuis décembre 2025. L'incertitude reste élevée : la durée de doublement rapportée s'échelonne de 1,7 à 5,0 mois. Les années précédentes, la progression était bien plus lente ; la courbe ne s'est redressée qu'autour du passage de 2025 à 2026.

Des limites reconnues par les auteurs

Un seul benchmark ne permet pas d'établir qu'il s'agit d'une tendance durable. Les auteurs admettent eux-mêmes que leurs résultats peuvent surestimer la vitesse réelle de progression du goût de la recherche. Les tâches sont rapides et peu coûteuses à vérifier, ce qui correspond précisément au type d'épreuve que les laboratoires d'IA optimisent le plus facilement. Le groupe de comparaison ne comptait par ailleurs aucun chercheur de tout premier plan.

Clark voit depuis longtemps dans la créativité le facteur déterminant de la vitesse à laquelle les systèmes d'IA peuvent s'améliorer eux-mêmes. Plus tôt cette année, il écrivait que les modèles n'avaient pas manifesté cette capacité à une échelle significative. Il cite désormais les avancées en mathématiques et des benchmarks comme TasteVal pour signaler un changement.

Dans un long essai publié en mai, il avançait des chiffres plus prudents : environ 60 % de probabilité qu'un système entraîne seul un successeur plus performant d'ici fin 2028, et 30 % d'ici 2027. Cette prévision émane du cofondateur de l'entreprise dont le modèle domine le benchmark, ce qui introduit un biais.

Le point que les sceptiques jugeaient bloquant

TasteVal compte parce qu'il mesure précisément la compétence que des critiques identifiaient comme un obstacle à une percée majeure. La chercheuse Herbie Bradley avait contesté l'essai de mai de Clark : selon elle, si les modèles pouvaient plausiblement reprendre le travail de chercheurs juniors, des aptitudes plus exigeantes — goût de la recherche, créativité, planification cohérente d'un programme de long terme — restaient hors de portée.

Sur la conception et l'évaluation d'expériences, TasteVal contredit cette appréciation, sans rien dire du choix d'un agenda de recherche à long terme. Une étude menée par une équipe de l'université Fudan, consacrée au développement d'un modèle au moyen d'agents d'IA, montre l'écart pratique qui subsiste : les agents ont fourni jusqu'à 55 % des propositions méthodologiques, mais les humains ont pris plus de 85 % des décisions finales. Les auteurs notent qu'on ignore encore comment une IA peut produire des directions de recherche variées et en évaluer la valeur avant d'avoir les résultats — exactement le type de décision que TasteVal retire aux modèles.

Le débat a été ouvert par les grands laboratoires eux-mêmes. En juin, Anthropic écrivait que l'auto-amélioration récursive n'était pas atteinte mais « pourrait survenir plus tôt que la plupart des institutions n'y sont préparées ». Son directeur général, Dario Amodei, réclame aujourd'hui un ralentissement contrôlé du développement de l'IA, tandis qu'OpenAI reconnaît qu'une RSI pleinement autonome n'a pas cours et estime qu'elle ne devrait être poursuivie que sous garantie d'une supervision humaine.

TasteVal déplace la frontière de ce qui compte comme progrès. Longtemps, l'attention s'est portée sur la résolution de tâches bien définies, problèmes de mathématiques ou exercices de programmation. La question devient désormais de savoir si les modèles peuvent prendre les décisions qui font avancer la recherche. Si la tendance mesurée se vérifie sur d'autres tests, les conséquences vont dans les deux sens : le développement de l'IA gagnerait en rapidité et en coût, mais une part croissante des travaux deviendrait difficile à vérifier pour les humains, puisque les modèles planifieraient et évalueraient leurs propres expériences.