En bref
2026 a mis à l'épreuve la crédibilité des benchmarks IA. L'étude The Leaderboard Illusion, publiée en avril 2025 sur deux millions de duels de Chatbot Arena, montre que Google et OpenAI ont reçu environ 19 % et 20 % des données de l'arène pendant que 83 modèles à poids ouverts s'en partageaient 30 %, et que Meta a testé 27 variantes privées de Llama 4 avant de ne publier que la mieux classée. En janvier 2026, Yann LeCun a confirmé au Financial Times que les scores de Llama 4 avaient été « un peu trafiqués », un aveu qui a coûté sa place à l'équipe GenAI de Meta. Le benchmark de mathématiques FrontierMath s'est révélé partiellement financé par OpenAI, qui y avait accès avant tout le monde, sans que ce lien soit déclaré au départ. Le 23 février 2026, OpenAI a cessé de publier ses scores sur SWE-bench Verified après avoir trouvé que près de 60 % des tâches ratées reposaient sur des tests cassés, signe de contamination des données d'entraînement ; son remplaçant SWE-bench Pro s'est à son tour révélé défaillant sur environ 30 % de ses tâches en juillet. Une alternative gagne du terrain : le « time horizon » de METR, qui mesure la durée de tâche qu'un agent peut accomplir seul, double désormais tous les trois mois environ contre sept avant 2023.
Un chiffre qui vend un modèle
Un score sur cent en haut d'un tableau, c'est souvent ce qui décide quel modèle une entreprise choisit, quel outil un développeur installe, quelle IA fait la une d'un article. Les benchmarks sont devenus le langage commun de l'industrie : MMLU pour la culture générale, SWE-bench pour le code, Chatbot Arena pour les préférences humaines, FrontierMath pour le raisonnement mathématique. Chaque laboratoire les cite en gras dans ses annonces.
2026 a mis ce langage à l'épreuve. Coup sur coup, plusieurs affaires ont montré que les scores affichés ne mesurent pas toujours ce qu'ils prétendent mesurer : un classement d'arène manipulable, un benchmark de mathématiques financé en coulisses par l'entreprise qu'il est censé juger, et un test de code que son plus gros utilisateur a fini par déclarer inutilisable. Ce qui suit détaille ces cas, avec les chiffres qui les accompagnent, puis ce qui commence à leur résister.
Quand celui qui finance l'examen est aussi celui qu'on note
Le problème ne se limite pas aux votes humains. FrontierMath, un benchmark de mathématiques de très haut niveau lancé par Epoch AI fin 2024, devait servir de référence neutre pour mesurer le raisonnement des modèles sur des problèmes inédits. En décembre 2024, OpenAI a annoncé que son modèle o3 obtenait 25 % de bonnes réponses sur FrontierMath, contre 2 % pour l'état de l'art précédent, un bond spectaculaire abondamment relayé.
Ce qui n'était pas dit à ce moment-là : OpenAI avait financé la création d'une partie du benchmark, environ 300 des problèmes qui le composent, et conservait un accès aux énoncés et aux solutions, à l'exception d'un lot de 50 questions gardées en réserve. Epoch AI n'a précisé publiquement les termes de cet accord qu'en janvier 2025, après que plusieurs mathématiciens ayant contribué au benchmark ont indiqué ne pas avoir su, au moment de leur travail, qu'OpenAI disposait de ce niveau d'accès. Epoch AI a reconnu le manque de transparence et promis de déclarer systématiquement, pour l'avenir, tout financement ou accès privilégié accordé à un laboratoire avant la publication d'un benchmark.
Rien n'indique qu'OpenAI ait entraîné o3 directement sur les questions de FrontierMath. Mais un évaluateur qui finance une partie de l'examen et y a accès avant tout le monde n'offre plus la même garantie d'indépendance qu'un jury extérieur, même sans tricherie prouvée.
Un évaluateur qui finance une partie de l'examen et y a accès avant tout le monde n'offre plus la même garantie d'indépendance qu'un jury extérieur.
SWE-bench : quand OpenAI cesse de croire à son propre outil de mesure
SWE-bench Verified, construit à partir de vraies pull requests GitHub, s'était imposé comme le test de référence pour juger la capacité d'un modèle à corriger du code sur une base existante. Le 23 février 2026, OpenAI a publié un billet expliquant pourquoi l'entreprise cessait de communiquer ses scores sur ce benchmark.
Son équipe d'évaluation a audité un lot de tâches que ses modèles avaient échouées et trouvé que près de 60 % d'entre elles reposaient sur des tests cassés dès le départ, impossibles à valider correctement quel que soit le correctif proposé. Plus préoccupant : plusieurs modèles frontière, dont GPT-5.2, Claude Opus 4.5 et Gemini 3 Flash, se sont montrés capables de reproduire quasi mot pour mot la solution de référence à partir du seul identifiant de la tâche, signe que cette solution avait fini dans leurs données d'entraînement. OpenAI a recommandé de lui préférer SWE-bench Pro, conçu avec des dépôts privés et des tâches issues d'entreprises réelles pour limiter ce risque : sur ce test plus dur, les scores qui dépassaient 80 % sur Verified retombaient autour de 23 %.
L'histoire ne s'arrête pas là. Un nouvel audit publié par OpenAI le 8 juillet 2026 a trouvé qu'environ 30 % des tâches de SWE-bench Pro étaient elles aussi défectueuses, ce qui a poussé l'entreprise à retirer son propre soutien à ce remplaçant à peine adopté. Même l'organisation qui pousse le plus fort pour des mesures fiables peine à en produire une qui tienne plus de quelques mois.
Ce qui résiste : mesurer une tâche plutôt qu'un examen
Face à ces échecs répétés, une partie du secteur change d'approche : plutôt que de noter un modèle sur des questions à réponse unique, facilement mémorisables, on mesure ce qu'il est capable d'accomplir seul, sur la durée. C'est le principe du « time horizon » développé par METR, une organisation de recherche indépendante spécialisée dans l'évaluation des modèles d'IA : la durée de tâche, mesurée en temps qu'un humain expérimenté mettrait à l'accomplir, pour laquelle un agent a 50 % de chances de réussir seul, sans intervention humaine.
Publiée le 29 janvier 2026, la dernière mise à jour de METR élargit sa suite à 228 tâches, dont 31 dépassant huit heures de travail humain, contre 14 auparavant. Elle confirme surtout une accélération : avant 2023, ce time horizon doublait environ tous les sept mois ; depuis 2024, il double tous les 89 jours, un peu moins de trois mois. Sur cette échelle, Claude Opus 4.5 atteint 320 minutes de tâche autonome à 50 % de réussite, GPT-5 en atteint 214, et o3 121.
L'avantage de cette approche tient à sa nature : une tâche longue, qui implique plusieurs étapes et des données propres à METR, se mémorise beaucoup plus difficilement qu'une question à choix unique recopiée d'un jeu de données public. SWE-bench Pro cherche la même robustesse en gardant une partie de ses dépôts privés, jamais publiés. Aucune de ces méthodes n'élimine totalement le risque de contamination ou de sur-optimisation, mais elles rendent la triche nettement plus coûteuse à mettre en place qu'un entraînement sur un jeu de test qui traîne sur le web.
Comment lire un score sans se faire avoir
Un chiffre isolé, sorti d'un communiqué de presse, ne dit presque rien : il faut savoir sur quel benchmark il porte, si ce benchmark est public ou tenu secret, et depuis combien de temps il existe. Un score élevé sur un test public et ancien, cité depuis plus d'un an, mérite plus de méfiance qu'un score sur un test récent dont les données sont tenues à l'écart de l'entraînement.
Trois réflexes limitent le risque de se faire avoir par un chiffre flatteur. Croiser les sources : un modèle réellement bon se classe bien sur plusieurs benchmarks indépendants, pas sur un seul choisi pour l'occasion. Vérifier qui finance et qui a accès aux données du test : l'épisode FrontierMath a montré que l'absence de déclaration ne veut pas dire l'absence de lien. Et, autant que possible, tester le modèle soi-même sur la tâche réelle qu'on veut lui confier, plutôt que de se fier à un classement générique construit pour un usage moyen qui ne ressemble à aucun usage en particulier.
Les scandales de 2026 n'invalident pas l'idée même de benchmark : mesurer reste indispensable pour comparer des modèles qui progressent chaque mois. Ils rappellent en revanche qu'un classement se construit, avec des choix, des intérêts et parfois des raccourcis, et qu'aucun chiffre ne dispense d'un peu d'esprit critique avant de faire confiance à une IA pour un usage qui compte vraiment.
partager cet article
Comment un classement se fabrique
Chatbot Arena, propriété de LM Arena, fonctionne par duels : deux modèles répondent à la même question, un humain vote pour la meilleure réponse sans savoir laquelle vient de quel modèle. Le principe a longtemps semblé difficile à truquer, jusqu'à la publication en avril 2025 de l'étude The Leaderboard Illusion, menée par des chercheurs de Cohere Labs, Stanford et Princeton sur deux millions de duels, couvrant 243 modèles et 42 fournisseurs.
L'étude documente une asymétrie nette dans l'accès aux données de l'arène, et une pratique de test privé : avant la sortie de Llama 4, Meta a fait passer 27 variantes de son modèle sur l'arène en privé, puis n'a publié le score que d'une seule, la mieux classée. LM Arena a contesté certains aspects de la méthodologie de l'étude, mais pas l'existence de ces tests privés.
La variante de Llama 4 Maverick testée sur l'arène était, selon plusieurs analyses reprises dans la presse spécialisée, optimisée pour la conversation, plus encline aux emojis et aux réponses longues que le modèle réellement publié en open source. Résultat : cette version s'est hissée en deuxième position du classement, avant que la version publique ne retombe en 32ᵉ position pour Maverick, et hors du top 100 pour Scout. En janvier 2026, Yann LeCun, alors chercheur en chef IA de Meta, a confirmé au Financial Times que les résultats de Llama 4 avaient été « un peu trafiqués » en mélangeant des versions différentes du modèle selon les benchmarks. Mark Zuckerberg a dit avoir perdu confiance dans l'équipe responsable, qui a depuis été écartée de la suite du projet.