Ce qu'une évaluation IA mesure vraiment
Un score obtenu à un test de référence mesure la performance sur ce test précis, selon ses règles de notation. Il n'établit pas qu'un modèle fonctionnera sur vos documents ni qu'il prendra les décisions dont votre entreprise a besoin. Avant d'acheter, définissez ce qu'est un bon résultat sur vos propres cas, gardez un jeu de test non vu, et examinez les erreurs autant que le
La barre la plus haute du graphique d’un fournisseur peut être exacte et laisser quand même votre question d’achat sans réponse. Un modèle qui domine sur des questions mathématiques peut buter sur les abréviations de vos billets de soutien. Un extracteur de documents peut bien performer sur des factures propres et échouer sur les numérisations que votre équipe
Cet écart n’est pas de la malhonnêteté marketing. C’est un problème de mesure, et il a été documenté assez soigneusement pour que vous puissiez le
Un test de référence est un instrument, et les instruments ont besoin de validation
Dans les sciences qui mesurent des choses qu’on ne peut pas voir directement, un instrument de mesure doit gagner la confiance. La propriété mesurée doit être définie, et le test doit mesurer cette propriété plutôt que quelque chose qui lui est simplement corrélé. La psychométrie appelle cette relation la validité de construit. Les estimations d’incertitude répondent à une autre question : quelle est la précision
Les tests de référence des modèles de langue sont des instruments de ce genre. Le « raisonnement » et l’« utilité » ne sont pas directement observables, donc un test de référence leur sert de substitut. En 2025, une équipe de 29 réviseurs a examiné la solidité de cette relation sur 445 tests de référence issus de grandes conférences de traitement du langage naturel et d’apprentissage automatique, dans un travail publié dans le volet Datasets and Benchmarks de
Ces chiffres méritent qu’on
- 16,0 % ont utilisé des tests statistiques ou des estimations d’incertitude pour comparer les résultats. Un écart rapporté sans ces vérifications peut être moins significatif qu’il n’y paraît.
- 47,8 % des tests de référence qui définissaient tant soit peu leur cible mesuraient un phénomène contesté, c’est-à-dire quelque chose dont le domaine ne s’entend pas sur la définition.
- 81,3 % ont utilisé la correspondance exacte pour au moins une partie de la notation, et 40,7 % l’ont utilisée exclusivement. Cela peut convenir à une étiquette ou à un nombre précis; pour une réponse ouverte, cela peut rejeter une bonne réponse formulée autrement.
- 42,6 % ont réutilisé des items provenant de tests de référence existants. La réutilisation peut reconduire les limites d’un test autant que ses comparaisons utiles.
Rien de cela ne veut dire que ces tests de référence ne valent rien. Cela veut dire qu’un score obtenu à un test de référence constitue une affirmation plus faible qu’il n’y paraît, et que la force de cette affirmation est rarement énoncée
Le problème de contamination affaiblit encore la portée du chiffre
Un test de performance sur des exemples non vus suppose que ces exemples restent non vus. Avec de grands corpus d’entraînement en partie non divulgués, c’est difficile
Des chercheurs de l’Université Jiao Tong de Shanghai ont testé 31 modèles pour y chercher des preuves de fuite des données des tests de référence sur GSM8K et MATH, deux jeux de données de raisonnement mathématique. Environ la moitié ont montré des signes compatibles avec une exposition aux données de ces tests de référence. Leur procédure de détection échantillonnait cinq positions de départ par exemple et testait la prédiction des segments de cinq jetons qui suivaient. Qwen-1.8B a prédit correctement tous les segments échantillonnés dans 223 exemples d’entraînement de GSM8K, 67 exemples d’entraînement de MATH et 25 exemples de test
Ce sont des indices d’une exposition possible, non un relevé complet de ce sur quoi les modèles ont été entraînés. La mémorisation peut gonfler un score, ce qui rend plus difficile de distinguer la familiarité avec le test de la capacité à résoudre un cas nouveau. Cela n’établit pas que le modèle n’a aucune capacité utile en dehors de
À quoi cela ressemblait dans la recherche
Mon travail doctoral portait sur le fait d’amener des modèles préentraînés à faire des tâches visuelles pour lesquelles ils n’avaient jamais été entraînés, sans exemples étiquetés : trouver des correspondances sémantiques avec un modèle de diffusion à NeurIPS 2023, puis des points clés de la même classe de modèle à la conférence Computer Vision and Pattern Recognition en 2024. Les deux ont été évalués sur les jeux de données étiquetés de référence du domaine, parce que c’est ainsi que le domaine compare
Ces chiffres étaient réels et les comparaisons étaient justes. Ils ne pouvaient pas non plus répondre à la question qu’une entreprise poserait, à savoir si la méthode fonctionne sur ses images, à sa résolution, avec son éclairage, selon sa propre définition d’une bonne réponse. La performance à un test de référence et la performance en déploiement sont des mesures différentes. Quiconque a fait passer un modèle de l’article scientifique au produit a déjà
Bâtissez une évaluation autour de votre décision
La démarche commence par vos propres cas. Avant de vous engager sur un système d’IA, rassemblez des exemples de vos activités et étiquetez le bon résultat à la main. L’évaluation aura ainsi une tâche et une définition de la réussite propres à
Échantillonnez la réalité, pas les cas faciles. Tirez de vraies pistes, de vrais billets, de vraies factures, de vraies photographies, y compris les cas mal formés. Un jeu tiré seulement d’exemples propres mesure un système que vous
Choisissez la taille de l’échantillon en fonction de la décision. Commencez par des cas que votre équipe peut étiqueter soigneusement, puis dimensionnez l’évaluation selon l’écart de performance que vous devez détecter et le risque de tirer une mauvaise conclusion. Les directives du NIST sur les tests de proportions rendent ces choix explicites. Un nombre d’exemples pratique à traiter ne prouve pas, à lui seul, que le test peut répondre à
Écrivez ce que « correct » veut dire avant d’examiner le moindre résultat. Deux personnes de la même équipe sont souvent en désaccord sur le fait qu’une piste était qualifiée ou qu’un document a été classé correctement. Trancher ce désaccord sur papier vaut la peine, que vous achetiez ou non, et le faire après coup veut dire que la définition se plie pour coller
Étiquetez les cas ambigus comme ambigus. Forcer une réponse binaire sur un cas que votre propre équipe ferait monter d’un cran construit un test qui punit le
Gardez-en une part de côté. Gardez une portion non vue par quiconque bâtit ou règle le système, y compris votre fournisseur. Elle vous donne une estimation plus nette de la performance sur de nouveaux cas. Son utilité dépend tout de même d’un échantillonnage représentatif, d’étiquettes fiables et d’un nombre d’exemples suffisant pour soutenir
Examinez les désaccords entre vos propres étiqueteurs. La concordance mesure la cohérence avec laquelle les personnes étiquettent les mêmes cas; l’exactitude compare les réponses à une référence. Réglez les étiquettes contestées ou marquez les cas comme ambigus avant de les utiliser pour juger le système. Pour comparer les personnes au modèle, évaluez les deux avec les mêmes réponses révisées et la même mesure. Le taux de concordance entre étiqueteurs ne suffit pas à établir une performance de niveau humain ni à prouver qu’un fournisseur a vu les réponses
Un cas, avec une définition utilisable du résultat correct
Supposons que vous évaluiez un assistant qui achemine les billets de facturation et rédige des brouillons de réponse. Il s’agit d’un exemple illustratif, non d’un
| Élément de l’évaluation | Ce que le réviseur consigne |
|---|---|
| Message du client | « Ma banque affiche deux débits pour une seule commande. L’un est en attente et l’autre est complété. » |
| Acheminement attendu | Révision de facturation. Le message à lui seul n’établit pas que deux débits ont été réglés. |
| Brouillon acceptable | Reconnaître la préoccupation, distinguer l’entrée en attente du débit complété, et dire que la facturation vérifiera le relevé de paiement. |
| Échec | Promettre un remboursement ou affirmer que le client a été débité deux fois sans vérifier le relevé. |
Un étiqueteur pourrait d’abord inscrire « remboursement nécessaire » pendant qu’un autre inscrit « révision du paiement ». Tranchez ce désaccord en vous appuyant sur la politique de paiement avant de noter le modèle. Si le relevé disponible ne permet pas de trancher, le bon résultat est l’escalade, non une
Une réponse peut paraître excellente et rater quand même ce cas. Dans l’ensemble du jeu d’évaluation, consignez les promesses de remboursement non fondées séparément des mauvais acheminements : ces erreurs n’ont pas les mêmes conséquences. Entendez-vous sur les erreurs qui empêchent un usage automatique et sur celles qui permettent un brouillon révisé par une personne. Jugez ensuite le candidat sur les cas non vus selon ces mêmes règles. Le score moyen ne devrait pas cacher l’erreur qui rend le
Quoi demander à un fournisseur
Les questions utiles portent sur la méthode plutôt que sur
Demandez sur quoi le chiffre rapporté a été mesuré, et si le système a été réglé sur ces mêmes données. Demandez à voir les échecs, regroupés selon leurs conséquences pour votre flux de travail. Fournissez des cas que le fournisseur n’a jamais vus. Demandez des estimations d’incertitude, et des exécutions répétées là où les réponses du système varient. Répéter le même test non représentatif ne corrige pas
Un fournisseur qui peut répondre à cela fait le travail. Un fournisseur qui répond seulement avec une position au palmarès vous a dit où il se classe au test de
Comment nous l’appliquons
Les flux de travail de notre catalogue de systèmes d’IA exigent des tests différents : bien extraire un document et bien qualifier une piste sont des résultats différents. Dans les deux cas, la portée du développement devrait préciser les cas réels servant à l’acceptation, qui révise les réponses attendues et ce qui arrive quand le
Notre audit d’occasions IA est le mandat de planification : un inventaire des flux de travail, des calculs de ROI, des décisions entre développement et achat, une cartographie des données et des accès, et une feuille de route de 90 jours. Ce plan devrait rendre explicite le travail d’évaluation avant qu’une estimation des heures économisées devienne la
L’évaluation est aussi ce qui rend un seuil d’arrêt écrit significatif. Convenir à l’avance d’arrêter à un niveau de performance défini est une promesse vide sans une façon convenue de mesurer
Sources
- Measuring what Matters: Construct Validity in Large Language Model Benchmarks, volet Datasets and Benchmarks de NeurIPS 2025 : arxiv.org/abs/2511.04703
- Benchmarking Benchmark Leakage in Large Language Models, Xu, Wang, Fan et Liu : arxiv.org/html/2404.18824v1