Wat een AI-evaluatie werkelijk meet
Een benchmarkscore meet de prestaties op één bepaalde test, volgens de beoordelingsregels van die test. Hij bewijst niet dat een model werkt op uw documenten of dat het de beslissingen neemt die uw bedrijf nodig heeft. Definieer voordat u koopt wat een juiste uitkomst is op uw eigen gevallen, houd een ongeziene testset achter en bekijk de fouten en niet alleen de
De hoogste balk in de grafiek van een leverancier kan kloppen en uw aankoopvraag toch onbeantwoord laten. Een model dat wint op wiskundige vragen kan moeite hebben met de afkortingen in uw supporttickets. Een documentextractor kan goed presteren op schone facturen en falen op de scans die uw team
Die kloof is geen kwestie van misleidende marketing. Het is een meetprobleem, en het is zorgvuldig genoeg gedocumenteerd dat u het zelf
Een benchmark is een instrument, en instrumenten moeten gevalideerd worden
In de wetenschappen die dingen meten die u niet direct kunt zien, moet een meetinstrument vertrouwen verdienen. De gemeten eigenschap moet gedefinieerd zijn, en de test moet die eigenschap meten en niet iets wat er louter mee samenhangt. De psychometrie noemt dat verband constructvaliditeit. Onzekerheidsschattingen beantwoorden een andere vraag: hoe precies is
Benchmarks voor taalmodellen zijn instrumenten van dit soort. “Redeneren” en “behulpzaamheid” zijn niet direct waarneembaar, dus een benchmark staat ervoor in de plaats. In 2025 onderzocht een team van 29 reviewers de sterkte van dat verband bij 445 benchmarks uit toonaangevende conferenties over natuurlijke taalverwerking en machine learning, in werk dat verscheen in de Datasets and Benchmarks-track van
De cijfers verdienen het om langzaam gelezen
- 16,0% gebruikte statistische toetsen of onzekerheidsschattingen om resultaten te vergelijken. Een gerapporteerd verschil zonder die controles kan minder betekenen dan het lijkt.
- 47,8% van de benchmarks die hun doel überhaupt definieerden, mat een omstreden fenomeen: binnen het vakgebied bestaat geen overeenstemming over de definitie ervan.
- 81,3% gebruikte exacte overeenkomst voor minstens een deel van de beoordeling, en 40,7% gebruikte niets anders. Dat kan passen bij een precies label of getal; bij een open antwoord kan het een geldig antwoord afwijzen dat anders geformuleerd is.
- 42,6% hergebruikte items uit bestaande benchmarks. Hergebruik kan niet alleen de nuttige vergelijkingen van een test meenemen, maar ook de beperkingen ervan.
Dit betekent niet dat de benchmarks waardeloos zijn. Het betekent dat een benchmarkscore een zwakkere bewering is dan hij lijkt, en dat de sterkte van die bewering er zelden
Het besmettingsprobleem ondergraaft de score nog verder
Een test van de prestaties op ongeziene voorbeelden werkt alleen als die voorbeelden ongezien blijven. Bij grote, deels niet-openbaar gemaakte trainingscorpora is dat moeilijk vast
Onderzoekers van de Shanghai Jiao Tong University testten 31 modellen op aanwijzingen voor benchmarklekken bij GSM8K en MATH, twee datasets voor wiskundig redeneren. Ongeveer de helft vertoonde tekenen die passen bij blootstelling aan benchmarkdata. Hun detectieprocedure nam per voorbeeld vijf startposities als steekproef en toetste de voorspelling van de daaropvolgende reeksen van vijf tokens. Qwen-1.8B voorspelde alle bemonsterde reeksen correct in 223 trainingsvoorbeelden van GSM8K, 67 trainingsvoorbeelden van MATH en 25 testvoorbeelden
Dat zijn aanwijzingen voor mogelijke blootstelling, geen volledig overzicht van waarop de modellen zijn getraind. Memorisatie kan een score opblazen, waardoor het moeilijker wordt om bekendheid met de test te scheiden van het vermogen om een nieuw geval op te lossen. Het bewijst niet dat het model buiten die test geen nuttig
Hoe dit er in onderzoek uitzag
Mijn promotieonderzoek ging erover om voorgetrainde modellen visuele taken te laten uitvoeren waarvoor ze nooit waren getraind, zonder gelabelde voorbeelden: eerst semantische correspondenties vinden met een diffusiemodel op NeurIPS 2023, daarna keypoints uit dezelfde klasse modellen op de conferentie Computer Vision and Pattern Recognition in 2024. Beide werden gemeten tegen standaard gelabelde benchmarks, omdat het vakgebied methoden
Die cijfers waren echt en de vergelijkingen waren eerlijk. Ze konden ook niet de vraag beantwoorden die een bedrijf zou stellen: of de methode werkt op zijn afbeeldingen, in zijn resolutie, met zijn belichting, volgens zijn definitie van een juist antwoord. Benchmarkprestaties en prestaties in gebruik zijn verschillende metingen. Wie ooit een model van een paper naar een product heeft gebracht, heeft die
Bouw een evaluatie rond uw beslissing
De oplossing begint bij uw eigen gevallen. Verzamel voorbeelden uit uw bedrijfsvoering voordat u zich vastlegt op een AI-systeem en label de juiste uitkomst met de hand. Zo krijgt de evaluatie een taak en een definitie van succes die bij uw
Trek een steekproef uit de werkelijkheid, niet uit de makkelijke gevallen. Neem echte leads, echte tickets, echte facturen, echte foto’s, ook de voorbeelden met een onjuiste structuur. Een set die alleen uit schone voorbeelden bestaat, meet een systeem dat u
Kies de steekproefomvang op basis van de beslissing. Begin met gevallen die uw team zorgvuldig kan labelen en stem de omvang van de evaluatie vervolgens af op het prestatieverschil dat u moet kunnen vaststellen en het risico op een verkeerde conclusie. De NIST-richtlijnen voor het toetsen van proporties maken die keuzes expliciet. Een praktisch aantal voorbeelden bewijst op zichzelf niet dat de test uw vraag
Schrijf op wat juist betekent voordat u naar enige output kijkt. Twee mensen in hetzelfde team zijn het vaak oneens over de vraag of een lead gekwalificeerd was of een document goed was gearchiveerd. Die onenigheid op papier oplossen is de moeite waard, of u nu iets koopt of niet, en het achteraf doen betekent dat de definitie meebuigt met
Label dubbelzinnige gevallen als dubbelzinnig. Wie een ja-neeantwoord oplegt aan een geval dat uw eigen team zou escaleren, bouwt een test die juist
Houd een deel achter. Bewaar een deel dat niemand ziet die het systeem bouwt of afstelt, ook uw leverancier niet. Dat geeft u een zuiverdere schatting van de prestaties op nieuwe gevallen. De bruikbaarheid daarvan hangt nog steeds af van een representatieve steekproef, betrouwbare labels en genoeg voorbeelden om de beslissing
Onderzoek meningsverschillen tussen uw eigen labelaars. Overeenstemming meet hoe consistent mensen dezelfde gevallen labelen; nauwkeurigheid vergelijkt antwoorden met een referentie. Los betwiste labels op of markeer gevallen als ambigu voordat u ze gebruikt om het systeem te beoordelen. Om mensen met het model te vergelijken, beoordeelt u beide met dezelfde gecontroleerde antwoorden en dezelfde maatstaf. Het overeenstemmingspercentage van de labelaars alleen bewijst geen prestaties op menselijk niveau en bewijst evenmin dat een leverancier de testantwoorden
Eén geval, met een bruikbare definitie van juist
Stel dat u een assistent evalueert die facturatietickets routeert en antwoorden opstelt. Dit is een illustratief voorbeeld, geen resultaat bij
| Onderdeel | Wat de beoordelaar vastlegt |
|---|---|
| Bericht van de klant | “Mijn bank laat twee afschrijvingen zien voor één bestelling. Eén is in behandeling en één is voltooid.” |
| Verwachte routering | Controle door facturatie. Het bericht alleen bewijst niet dat er twee afgewikkelde afschrijvingen zijn. |
| Geschikt concept | Begrip tonen voor de zorg, de boeking in behandeling onderscheiden van de voltooide afschrijving, en melden dat facturatie het betalingsoverzicht nagaat. |
| Fout | Een terugbetaling beloven of stellen dat er tweemaal een bedrag bij de klant is afgeschreven zonder het overzicht te controleren. |
De ene labelaar markeert het geval misschien eerst als “terugbetaling nodig” en de andere als “betaalcontrole”. Los die onenigheid op aan de hand van het betaalbeleid voordat u het model beoordeelt. Als het beschikbare overzicht het niet kan uitwijzen, is de juiste uitkomst escalatie en geen
Een antwoord kan uitstekend klinken en deze casus toch verkeerd afhandelen. Registreer in de hele evaluatieset niet-onderbouwde terugbetalingsbeloften los van verkeerde routering: die fouten hebben verschillende gevolgen. Spreek af welke fouten automatisch gebruik uitsluiten en welke een conceptantwoord toestaan dat een mens controleert. Beoordeel de kandidaat vervolgens op de ongeziene gevallen aan de hand van diezelfde regels. De gemiddelde score mag de fout niet verbergen die ingebruikname
Wat u een leverancier vraagt
De nuttige vragen gaan over de methode, niet over
Vraag waarop het gerapporteerde getal is gemeten en of het systeem op diezelfde data is afgesteld. Vraag om de fouten te zien, gegroepeerd naar hun gevolgen voor uw werkproces. Lever gevallen aan die de leverancier nooit heeft gezien. Vraag om onzekerheidsschattingen en om herhaalde runs waar de antwoorden van het systeem variëren. Dezelfde niet-representatieve test herhalen verbetert de dekking
Een leverancier die hierop kan antwoorden, doet het werk. Een leverancier die alleen met een plek op een ranglijst antwoordt, heeft u verteld waar hij staat in de test van
Hoe wij dit toepassen
De werkprocessen in onze catalogus van AI-systemen vragen verschillende tests: een document correct uitlezen en een lead correct kwalificeren zijn verschillende uitkomsten. In beide gevallen moet de scope van de bouw vastleggen welke echte gevallen voor de acceptatie worden gebruikt, wie de verwachte antwoorden controleert en wat er gebeurt als het
Onze AI Opportunity Audit is de planningsopdracht: een inventarisatie van werkprocessen, ROI-berekeningen, keuzes tussen zelf bouwen en inkopen, een overzicht van gegevens en toegangsrechten en een roadmap voor 90 dagen. Dat plan moet het evaluatiewerk expliciet maken voordat een schatting van bespaarde uren de reden wordt om
De evaluatie is ook wat een schriftelijke stopdrempel zinvol maakt. Vooraf afspreken om te stoppen bij een bepaald prestatieniveau is een lege belofte zonder een afgesproken manier om prestaties
Bronnen
- Measuring what Matters: Construct Validity in Large Language Model Benchmarks, Datasets and Benchmarks-track van NeurIPS 2025: arxiv.org/abs/2511.04703
- Benchmarking Benchmark Leakage in Large Language Models, Xu, Wang, Fan en Liu: arxiv.org/html/2404.18824v1