Qué mide de verdad una evaluación de IA
Un puntaje de benchmark mide el desempeño en una prueba particular, según sus reglas de calificación. No establece que un modelo vaya a funcionar con sus documentos ni que tome las decisiones que su negocio necesita. Antes de comprar, defina cuál es el resultado correcto en sus propios casos, reserve un conjunto de prueba que nadie haya visto y examine los errores además del
La barra más alta del gráfico de un proveedor puede ser exacta y aun así dejar sin responder su pregunta de compra. Un modelo que gana en preguntas matemáticas puede tropezar con las abreviaturas de sus tickets de soporte. Un extractor de documentos puede desempeñarse bien con facturas limpias y fallar con los escaneos que su equipo recibe
Esa brecha no es deshonestidad de marketing. Es un problema de medición, y se ha documentado con suficiente cuidado como para que usted mismo
Un benchmark es un instrumento, y los instrumentos necesitan validación
En las ciencias que miden cosas que no se pueden ver de forma directa, un instrumento de medición tiene que ganarse la confianza. La propiedad que se mide tiene que estar definida, y la prueba tiene que medir esa propiedad y no algo que solo esté correlacionado con ella. La psicometría llama a esa relación validez de constructo. Las estimaciones de incertidumbre responden una pregunta aparte: ¿qué tan preciso es
Los benchmarks de modelos de lenguaje son instrumentos de este tipo. El «razonamiento» y la «utilidad» no son directamente observables, así que un benchmark los sustituye. En 2025, un equipo de 29 revisores examinó la fuerza de esa relación a lo largo de 445 benchmarks extraídos de las principales conferencias de procesamiento de lenguaje natural y machine learning, en un trabajo publicado en el track de Datasets and Benchmarks de
Vale la pena leer estos números
- 16.0% usó pruebas estadísticas o estimaciones de incertidumbre para comparar resultados. Una diferencia reportada sin esas comprobaciones puede significar menos de lo que parece.
- 47.8% de los benchmarks que llegaban a definir su objetivo medían un fenómeno en disputa, es decir, algo sobre cuya definición el campo no coincide.
- 81.3% usó coincidencia exacta para al menos parte de la calificación, y el 40.7% la usó de forma exclusiva. Eso puede servir para una etiqueta o un número preciso; en una respuesta abierta, puede rechazar una respuesta válida formulada de otra manera.
- 42.6% reutilizó ítems de benchmarks existentes. La reutilización puede arrastrar las limitaciones de una prueba junto con sus comparaciones útiles.
Nada de esto significa que los benchmarks sean inútiles. Significa que un puntaje de benchmark es una afirmación más débil de lo que parece, y la fuerza de esa afirmación casi nunca se enuncia junto
El problema de la contaminación le resta todavía más solidez al número
Una prueba de desempeño sobre ejemplos no vistos depende de que esos ejemplos sigan sin haber sido vistos. Con corpus de entrenamiento grandes y parcialmente no divulgados, eso es difícil
Investigadores de Shanghai Jiao Tong University evaluaron 31 modelos en busca de evidencia de filtración de benchmarks en GSM8K y MATH, dos conjuntos de datos de razonamiento matemático. Alrededor de la mitad mostró señales compatibles con haber estado expuesta a datos de benchmark. Su procedimiento de detección muestreó cinco posiciones de inicio por ejemplo y evaluó la predicción de los siguientes tramos de cinco tokens. Qwen-1.8B predijo correctamente todos los tramos muestreados en 223 ejemplos del conjunto de entrenamiento de GSM8K, 67 ejemplos del conjunto de entrenamiento de MATH y 25 ejemplos del conjunto de prueba
Esos son indicadores de una exposición posible, no un registro completo de los datos con los que se entrenaron los modelos. La memorización puede inflar un puntaje y hacer más difícil separar la familiaridad con la prueba de la capacidad de resolver un caso nuevo. No establece que el modelo carezca de capacidad útil fuera de
Cómo se veía esto en la investigación
Mi trabajo doctoral consistió en lograr que modelos preentrenados hicieran tareas visuales para las que nunca se entrenaron, sin ejemplos etiquetados: encontrar correspondencias semánticas usando un modelo de difusión en NeurIPS 2023 y luego obtener puntos clave con la misma clase de modelo en la conferencia Computer Vision and Pattern Recognition en 2024. Ambos se midieron con benchmarks etiquetados estándar, porque así es como el campo
Esos números eran reales y las comparaciones eran justas. Tampoco podían responder la pregunta que haría una empresa, que es si el método funciona en sus imágenes, a su resolución, con su iluminación, bajo su definición de una respuesta correcta. El desempeño en un benchmark y el desempeño del sistema ya en producción son mediciones distintas. Cualquiera que haya llevado un modelo de un paper a un producto ha visto
Construya una evaluación en torno a su decisión
La solución empieza por sus propios casos. Antes de comprometerse con un sistema de IA, reúna ejemplos de su operación y etiquete a mano el resultado correcto. Así la evaluación tendrá una tarea y una definición de éxito propias de
Muestree de la realidad, no de los casos fáciles. Extraiga leads reales, tickets reales, facturas reales, fotografías reales, incluidos los casos mal formados. Un conjunto extraído solo de ejemplos limpios mide un sistema que usted
Elija el tamaño de la muestra según la decisión. Empiece con casos que su equipo pueda etiquetar con cuidado y luego dimensione la evaluación según la diferencia de desempeño que necesita detectar y el riesgo de llegar a una conclusión equivocada. La guía del NIST sobre pruebas de proporciones hace explícitas esas decisiones. Una cantidad cómoda de ejemplos no demuestra, por sí sola, que la prueba pueda responder a
Anote qué significa correcto antes de mirar ningún resultado. Dos personas del mismo equipo con frecuencia no coinciden sobre si un lead estaba calificado o si un documento se archivó bien. Resolver ese desacuerdo por escrito vale la pena independientemente de si compra algo, y hacerlo después significa que la definición se acomoda
Etiquete los casos ambiguos como ambiguos. Forzar una respuesta binaria sobre un caso que su propio equipo escalaría construye una prueba que castiga el
Reserve una parte. Mantenga una porción que no vea nadie que construya o ajuste el sistema, incluido su proveedor. Eso le da una estimación más limpia del desempeño en casos nuevos. Su utilidad sigue dependiendo de un muestreo representativo, de etiquetas confiables y de suficientes ejemplos para sustentar
Revise los desacuerdos entre sus propios etiquetadores. La concordancia mide la consistencia con la que las personas etiquetan los mismos casos; la exactitud compara las respuestas con una referencia. Resuelva las etiquetas en disputa o marque los casos como ambiguos antes de usarlos para evaluar el sistema. Para comparar a las personas con el modelo, evalúe a ambos con las mismas respuestas revisadas y la misma métrica. La tasa de concordancia de los etiquetadores no basta, por sí sola, para establecer un desempeño de nivel humano ni para demostrar que un proveedor ha visto las respuestas de
Un caso, con una definición utilizable de lo correcto
Supongamos que está evaluando un asistente que enruta tickets de facturación y redacta borradores de respuesta. Este es un ejemplo ilustrativo, no el resultado de
| Parte de la evaluación | Qué registra el revisor |
|---|---|
| Mensaje del cliente | «Mi banco muestra dos cargos por un solo pedido. Uno está pendiente y el otro está completado.» |
| Ruta esperada | Revisión de facturación. El mensaje por sí solo no establece que haya dos cargos liquidados. |
| Borrador aceptable | Reconocer la preocupación, distinguir el registro pendiente del cargo completado y decir que facturación revisará el registro de pagos. |
| Falla | Prometer un reembolso o afirmar que se cobró dos veces al cliente sin revisar el registro. |
Un etiquetador podría marcar al principio «requiere reembolso» mientras otro marca «revisión de pago». Resuelva ese desacuerdo con base en la política de pagos antes de calificar al modelo. Si el registro disponible no alcanza para resolverlo, el resultado correcto es escalar, no forzar
Una respuesta puede sonar excelente y de todos modos fallar en este caso. En todo el conjunto de evaluación, registre las promesas de reembolso sin respaldo por separado de los errores de enrutamiento: esos errores tienen consecuencias distintas. Acuerden qué errores impiden el uso automático y cuáles permiten un borrador que revisa una persona. Luego juzgue al candidato en los casos no vistos con esas mismas reglas. El puntaje promedio no debería esconder el error que vuelve inaceptable la puesta
Qué preguntarle a un proveedor
Las preguntas útiles son sobre método, no
Pregunte sobre qué se midió el número reportado y si el sistema se ajustó con esos mismos datos. Pida ver las fallas, agrupadas según sus consecuencias para su flujo de trabajo. Entregue casos que el proveedor nunca haya visto. Pida estimaciones de incertidumbre y corridas repetidas cuando las respuestas del sistema varían. Repetir la misma prueba poco representativa no corrige
Un proveedor que puede responder esto está haciendo el trabajo. Un proveedor que responde solo con una posición en un leaderboard le ha dicho en qué lugar queda en la prueba de
Cómo lo aplicamos
Los flujos de trabajo de nuestro catálogo de sistemas de IA requieren pruebas distintas: extraer correctamente un documento y calificar correctamente un lead son resultados diferentes. En cualquiera de los dos casos, el alcance de la implementación debe especificar los casos reales que se usan para la aceptación, quién revisa las respuestas esperadas y qué pasa cuando el
Nuestra Auditoría de Oportunidad de IA es el proyecto de planificación: un inventario de flujos de trabajo, cálculos de ROI, decisiones de desarrollar o comprar, un mapa de datos y accesos, y una hoja de ruta de 90 días. Ese plan debe dejar explícito el trabajo de evaluación antes de que una estimación de horas ahorradas se convierta en la razón
La evaluación también es lo que hace significativo un umbral de corte por escrito. Acordar de antemano detenerse en un nivel definido de desempeño es una promesa vacía sin una forma acordada de medir
Fuentes
- Measuring what Matters: Construct Validity in Large Language Model Benchmarks, track de Datasets and Benchmarks de NeurIPS 2025: arxiv.org/abs/2511.04703
- Benchmarking Benchmark Leakage in Large Language Models, Xu, Wang, Fan y Liu: arxiv.org/html/2404.18824v1