Microsoft et CityU HK lancent Taste-Bench pour juger les agents IA

Un benchmark pour juger les étapes, pas seulement le résultat

Les agents d'IA mènent désormais des tâches en plusieurs étapes : rédiger un article de recherche, développer un projet logiciel. À chaque embranchement, ils choisissent une hypothèse à tester, un code sur lequel s'appuyer, une expérience à lancer. Or ces décisions ne livrent presque jamais leur verdict immédiatement : une mauvaise orientation paraît correcte sur le moment et ne coûte cher qu'une fois l'essentiel du budget consommé.

Des chercheurs de Microsoft et de la City University of Hong Kong ont mis au point une méthode pour évaluer cette aptitude, que les auteurs qualifient de « goût » de l'agent, rapporte The Decoder. Les tests existants vérifient surtout qu'une tâche est achevée, pas la qualité du chemin parcouru. Taste-Bench comble ce vide.

Le retour d'expérience comme juge

Impossible de trancher une décision longue sur le moment : une implémentation soignée et une implémentation bâclée peuvent produire le même résultat et passer les mêmes tests. Seules les modifications ultérieures révèlent laquelle était la bonne. Une notation humaine serait coûteuse, exigerait une expertise pointue et ne passerait pas à l'échelle.

Les chercheurs s'appuient donc sur le recul. La trajectoire ultérieure d'une exécution — la trace enregistrée d'un agent avec ses étapes et ses observations — indique si un choix antérieur était pertinent. En pratique, les systèmes d'agents tentent plusieurs fois la même tâche, et ces tentatives finissent par diverger. Le résultat final de chacune désigne la meilleure voie : les exécutions fournissent elles-mêmes une comparaison étiquetée. Les auteurs nomment ce point de divergence « decision fork ». Pour mesurer le goût, ils figent l'exécution à cet embranchement, masquent la suite du travail et demandent à un modèle de choisir entre les deux chemins.

502 questions, deux formats

Taste-Bench compte 502 questions, chacune avec la tâche d'origine, la trajectoire jusqu'à l'embranchement et deux directions possibles. Le premier type provient de deux tentatives indépendantes de la même tâche qui divergent, l'agent ne voyant jamais la mauvaise voie. Le second naît d'un agent qui se corrige en cours d'exécution et fait un détour : la direction d'abord écartée et celle qui a finalement réussi forment les deux candidats. Cette variante vérifie si un modèle repère l'erreur plus tôt que l'agent qui agissait.

Les données brutes viennent de milliers d'exécutions notées sur des tâches de code et de recherche en IA, dont SWE-bench Pro et MALT, la publication publique de transcriptions de METR. Un modèle générateur a filtré les embranchements exploitables, écartant les questions triviales et les cas indécidables. Une relecture humaine a confirmé la quasi-totalité des étiquettes générées automatiquement.

59,7 % au mieux, 21 % quand l'indice arrive tard

L'équipe a testé 14 modèles actuels des familles Claude, GPT, Grok, DeepSeek, GLM, MiniMax et Mistral. Chaque question était posée deux fois, dans l'ordre normal puis avec les options inversées, et ne comptait que si le modèle répondait juste les deux fois. Une réponse au hasard donne 25 %.

Le meilleur modèle, GPT-5.6 Sol, atteint 59,7 % en moyenne, suivi de près par GPT-5.5 à 59,5 %. Tous les autres restent nettement en dessous. Aucun n'approche la résolution du benchmark, alors que chaque question n'est qu'un choix binaire. Les embranchements de type détour se sont révélés systématiquement plus difficiles que les parallèles.

Les chercheurs ont aussi mesuré jusqu'où un observateur doit regarder avant que la meilleure voie devienne évidente. Quand l'indice clé figure déjà dans les étapes antérieures, la précision moyenne atteint 62,3 %. Quand il n'apparaît qu'après un long travail ultérieur, elle tombe à 21 %, proche du hasard. Répondre suppose alors d'anticiper le travail à venir.

Réfléchir plus longtemps n'y change rien. Avec trois niveaux de raisonnement testés sur deux modèles, le passage du plus bas au plus haut modifie à peine la précision. Les modèles ont consommé le plus de tokens de raisonnement sur le palier le plus dur, réfléchissant le plus longtemps sur les questions qu'ils rataient le plus souvent — signe, pour l'équipe, que l'indice nécessaire n'est simplement pas encore là.

Le goût peut s'enseigner

Le benchmark capture une compétence distincte des tests de bout en bout comme SWE-bench Verified : des modèles aux scores comparables sur ce dernier montrent des écarts nets sur Taste-Bench.

Les chercheurs ont également montré que ce jugement s'apprend. Ils ont distillé l'avis d'un modèle enseignant, qui connaît la bonne voie, vers un modèle élève qui ne voit que la question, en prenant Qwen3.6-27B comme base. Sur des tâches inédites, la précision de l'élève est passée de 30 à 47,9 %.

Le gain se vérifie en conditions réelles. En ajoutant l'avis de l'élève au contexte de la tâche à chaque embranchement, puis en laissant un agent distinct résoudre le problème, le taux de réussite sur 41 tâches SWE-bench Pro tenues à l'écart est monté de 14,6 à 33,7 %. Un conseil parfaitement exact aurait atteint 39 %, l'élève captant donc l'essentiel du gain possible.

L'équipe conclut que le jugement des agents de planification longue peut être à la fois mesuré et amélioré. Le benchmark et le code sont publics.