Anthropic : pourquoi l'écriture de Claude décline malgré des modèles plus forts
Les modèles d'IA progressent en mathématiques, en code et en raisonnement, mais leur qualité rédactionnelle stagne, voire recule. Un ingénieur d'Anthropic attribue ce phénomène à l'optimisation des modèles pour les tâches techniques et pour la compréhension par d'autres IA.
Dans cet article
Une écriture calibrée pour les modèles, pas pour les lecteurs
Les grands modèles de langage gagnent rapidement en performance sur les mathématiques, le code et le raisonnement. Leur qualité d'écriture, elle, ne suit pas la même courbe, selon The Decoder. Jackson Kernion, qui travaille chez Anthropic sur l'affinement de Claude, a expliqué pourquoi Opus 4.6 reste, à ses yeux, le dernier bon « modèle d'écriture » de l'entreprise.
La première explication est attendue : les versions récentes ont été optimisées pour les mathématiques et le code. Mais un second facteur pèse davantage. Ces modèles ont aussi été entraînés à produire des explications techniques destinées à d'autres modèles d'IA, ce qui alimente les tournures étranges propres à Claude. Le modèle a été « adapté à la psychologie des LLM », écrit Kernion, et a appris à écrire pour des machines plutôt que pour des humains.
Une comparaison avec la communication humaine
Kernion rapproche ce phénomène de celui de personnes qui n'échangent qu'avec d'autres personnes autistes. Elles développent un style qui fonctionne au sein de ce groupe, mais que les personnes extérieures suivent difficilement, explique-t-il. Les LLM disposent d'une mémoire de travail bien supérieure à celle des humains et repèrent des détails à un niveau beaucoup plus fin. À l'entraînement, il en résulte un style efficace pour les modèles, mais que les lecteurs humains perçoivent comme des accumulations d'informations trop denses.
Le code optimisé au détriment de la langue naturelle
Pour Kernion, le problème tient à la structure des récompenses dans l'apprentissage par renforcement. Certaines récompenses visent la compréhension par les modèles d'IA, d'autres la compréhension par les humains. Plus l'entraînement porte sur les mathématiques et le code, plus il faut corriger activement le tir en récompensant des explications simples, lisibles par un lecteur humain.
Opus 5.5, un meilleur équilibre sans dépassement
Avec Opus 5.5, Anthropic aurait trouvé un meilleur équilibre, toujours selon Kernion, qui indique ne pas avoir été « aussi satisfait de l'écriture d'un modèle depuis Opus 4.6 ». Cela ne signifie pas que la version 5.5 surpasse l'ancienne. « C'est un problème difficile à résoudre, et nous continuerons d'apporter des améliorations », écrit-il.
