AI 평가가 실제로 측정하는 것

공급업체 차트에서 가장 높은 막대는 정확할 수 있고, 그래도 여러분의 구매 질문에는 답하지 않을 수 있습니다. 수학 문제에서 앞서는 모델이 여러분의 고객 지원 티켓에 쓰인 약어 앞에서는 헤맬 수 있습니다. 문서 추출 도구가 깔끔한 청구서에서는 좋은 성과를 내면서도, 실제로 여러분 팀에 들어오는 스캔본에서는 실패할 수 있습니다.

이 간극은 마케팅의 부정직함이 아닙니다. 측정의 문제이며, 여러분이 직접 확인할 수 있을 만큼 꼼꼼하게 기록되어 있습니다.

벤치마크는 측정 도구이고, 측정 도구에는 검증이 필요하다

직접 볼 수 없는 것을 측정하는 학문에서는 측정 도구가 신뢰를 얻어야 합니다. 측정하려는 속성이 정의되어 있어야 하고, 테스트는 그 속성과 단순히 상관관계가 있는 다른 무언가가 아니라 그 속성 자체를 측정해야 합니다. 심리측정학에서는 이 관계를 구성 타당도라고 부릅니다. 불확실성 추정은 별개의 질문, 즉 그 결과가 얼마나 정밀한가에 답합니다.

언어 모델 벤치마크는 바로 이런 종류의 측정 도구입니다. ‘추론’과 ‘유용성’은 직접 관찰할 수 없으므로 벤치마크가 이를 대신합니다. 2025년, 29명의 검토자로 구성된 팀이 자연어 처리와 머신러닝 주요 학회에서 가져온 벤치마크 445개를 대상으로 그 관계가 얼마나 튼튼한지 살펴보았습니다. 이 연구는 NeurIPS 2025의 Datasets and Benchmarks 트랙에 발표되었습니다.

수치는 천천히 읽어 볼 만합니다.

• 16.0% 가 결과를 비교할 때 통계 검정이나 불확실성 추정을 사용했습니다. 그런 확인 절차 없이 보고된 차이는 보이는 것만큼 의미 있지 않을 수 있습니다.
• 목표를 조금이라도 정의한 벤치마크 중 47.8% 는 논란이 있는 현상, 즉 해당 분야가 정의에 합의하지 못한 무언가를 측정하고 있었습니다.
• 81.3% 가 채점의 적어도 일부에 정확 일치 방식을 사용했고, 40.7%는 그 방식만 사용했습니다. 정해진 라벨이나 숫자에는 적합할 수 있지만, 자유 응답에서는 표현만 다른 올바른 답을 오답으로 처리할 수 있습니다.
• 42.6% 가 기존 벤치마크의 문항을 재사용했습니다. 재사용은 유용한 비교 가능성뿐 아니라 그 테스트의 한계까지 그대로 이어질 수 있습니다.

그렇다고 벤치마크가 무가치하다는 뜻은 아닙니다. 벤치마크 점수는 보이는 것보다 약한 주장이며, 그 주장의 강도가 점수와 함께 제시되는 경우는 드물다는 뜻입니다.

오염 문제는 숫자를 더욱 약하게 만든다

보지 않은 예제에서의 성능을 측정하는 테스트는 그 예제가 계속 보지 않은 상태로 남아 있다는 전제에 의존합니다. 규모가 크고 일부가 공개되지 않은 학습 말뭉치에서는 이를 확인하기가 어렵습니다.

상하이 교통대학교의 연구자들은 수학적 추론 데이터셋인 GSM8K와 MATH에서 31개 모델에 벤치마크 유출의 흔적이 있는지 테스트했습니다. 약 절반이 벤치마크 데이터에 노출된 것과 일치하는 징후를 보였습니다. 연구진의 탐지 절차는 예제마다 다섯 개의 시작 위치를 표본으로 뽑아, 그 뒤에 이어지는 다섯 토큰 길이의 구간을 예측하는지 시험했습니다. Qwen-1.8B는 GSM8K 학습 예제 223개, MATH 학습 예제 67개, MATH 테스트 예제 25개에서 표본으로 뽑힌 구간 전부를 정확히 예측했습니다.

이는 노출 가능성을 시사하는 지표이며, 해당 모델들이 무엇으로 학습했는지에 대한 완전한 기록은 아닙니다. 암기는 점수를 부풀릴 수 있고, 그러면 테스트에 익숙한 것과 새로운 사례를 풀어내는 능력을 구분하기가 더 어려워집니다. 그렇다고 그 모델이 해당 테스트 밖에서 쓸 만한 능력이 전혀 없다는 뜻은 아닙니다.

연구 현장에서는 어떻게 보였나

제 박사 연구는 사전 학습된 모델이 라벨링된 예제 없이, 학습한 적 없는 시각 작업을 수행하도록 만드는 것이었습니다. 먼저 NeurIPS 2023에서 확산 모델을 이용한 의미적 대응점 찾기를, 이어서 2024년 Computer Vision and Pattern Recognition 학회에서 같은 종류의 모델에서 키포인트 찾기를 발표했습니다. 두 연구 모두 표준 라벨링 벤치마크로 측정했습니다. 이 분야가 방법을 비교하는 방식이 그렇기 때문입니다.

그 수치는 진짜였고 비교는 공정했습니다. 하지만 기업이 묻는 질문, 즉 그 방법이 자사의 이미지에서, 자사의 해상도로, 자사의 조명 조건에서, 자사가 정의한 정답 기준으로 작동하느냐는 질문에는 답할 수 없었습니다. 벤치마크 성능과 실제 운영 성능은 서로 다른 측정입니다. 모델을 논문에서 제품으로 옮겨 본 사람이라면 누구나 이 간극을 보았을 것입니다.

여러분의 결정을 중심으로 평가를 설계하라

해결은 자사의 사례에서 시작합니다. AI 시스템 도입을 결정하기 전에 자사 업무의 사례를 모으고 올바른 결과를 직접 라벨링하세요. 그러면 평가에 자사 업무에 속한 과제와 성공의 정의를 부여할 수 있습니다.

쉬운 사례가 아니라 현실에서 표본을 뽑으세요. 형식이 깨진 것까지 포함해 실제 리드, 실제 티켓, 실제 청구서, 실제 사진을 가져오세요. 깨끗한 예제로만 만든 세트는 여러분이 갖고 있지 않은 시스템을 측정합니다.

의사결정에 맞게 표본 크기를 정하세요. 팀이 신중하게 라벨링할 수 있는 사례부터 시작한 뒤, 감지해야 할 성능 차이와 잘못된 결론을 내릴 위험에 맞춰 평가 규모를 정하세요. 비율 검정에 관한 NIST 지침은 이러한 선택을 명시합니다. 다루기 편한 수의 사례를 마련했다는 사실만으로 그 테스트가 여러분의 질문에 답할 수 있다고 볼 수는 없습니다.

결과를 하나라도 보기 전에 정답이 무엇인지 적어 두세요. 같은 팀의 두 사람도 어떤 리드가 적격이었는지, 어떤 문서가 제대로 처리되었는지를 두고 자주 의견이 갈립니다. 그 불일치를 문서로 정리하는 일은 무엇을 사든 사지 않든 가치가 있으며, 나중에 하면 정의가 결과에 맞춰 휘어집니다.

모호한 사례는 모호하다고 라벨링하세요. 자사 팀이라면 상부에 올렸을 사례에 양자택일의 답을 강요하면, 올바른 행동을 벌하는 테스트가 됩니다.

일부는 따로 보관하세요. 공급업체를 포함해 시스템을 만들거나 조정하는 누구도 보지 못하도록 일부를 남겨 두세요. 그러면 새로운 사례에서의 성능을 더 깔끔하게 추정할 수 있습니다. 다만 그 유용성은 표본이 대표성을 갖는지, 라벨이 신뢰할 만한지, 의사결정을 뒷받침할 만큼 사례가 충분한지에 여전히 달려 있습니다.

자사 라벨링 담당자 사이의 의견 차이를 검토하세요. 일치도는 사람들이 같은 사례에 얼마나 일관되게 라벨을 붙이는지 측정하고, 정확도는 답을 기준 답안과 비교합니다. 시스템 평가에 사용하기 전에 이견이 있는 라벨을 조정하거나 사례를 모호한 것으로 표시하세요. 사람과 모델을 비교하려면 동일하게 검토된 답안과 동일한 지표로 둘 다 평가해야 합니다. 담당자 간 일치율만으로 사람 수준의 성능을 확정하거나 공급업체가 테스트 답안을 봤다고 입증할 수는 없습니다.

사례 하나, 실제로 쓸 수 있는 정답 정의와 함께

청구 관련 티켓을 분류하고 답변 초안을 작성하는 어시스턴트를 평가한다고 가정해 봅시다. 이는 고객 사례의 결과가 아니라 설명을 위한 예시입니다.

한 라벨링 담당자는 처음에 ‘환불 필요’로 표시하고 다른 담당자는 ‘결제 검토’로 표시할 수 있습니다. 모델을 채점하기 전에 결제 정책을 기준으로 그 불일치를 해소하세요. 확인할 수 있는 기록으로 판단이 서지 않는다면, 올바른 결과는 억지 추측이 아니라 상부 이관입니다.

답변이 아주 훌륭하게 들려도 이 사례에서는 실패일 수 있습니다. 평가 세트 전체에서, 근거 없는 환불 약속은 잘못된 분류와 따로 기록하세요. 두 오류가 낳는 결과는 다릅니다. 어떤 오류가 자동 처리를 불가능하게 하고, 어떤 오류라면 사람이 검토하는 초안까지는 허용되는지 합의하세요. 그다음 보지 않은 사례에서 바로 그 기준으로 후보 시스템을 판단하세요. 평균 점수가 도입을 받아들일 수 없게 만드는 오류를 가려서는 안 됩니다.

공급업체에 물어볼 것

유용한 질문은 점수가 아니라 방법에 관한 것입니다.

보고된 숫자를 무엇으로 측정했는지, 그리고 시스템을 그 같은 데이터로 조정했는지 물어보세요. 실패 사례를 여러분의 업무 흐름에 미치는 결과별로 묶어서 보여 달라고 요청하세요. 공급업체가 한 번도 본 적 없는 사례를 직접 제공하세요. 불확실성 추정을 요청하고, 시스템의 답이 매번 달라지는 경우에는 반복 실행을 요청하세요. 대표성 없는 같은 테스트를 반복해도 그 테스트의 포괄 범위가 나아지지는 않습니다.

이런 질문에 답할 수 있는 공급업체는 제대로 일하고 있는 것입니다. 순위표의 자리로만 답하는 공급업체는 다른 사람의 테스트에서 자신이 몇 위인지 알려 준 것에 불과합니다.

저희가 적용하는 방식

저희 AI 시스템 카탈로그에 있는 업무 흐름들은 서로 다른 테스트를 필요로 합니다. 문서를 정확히 추출하는 것과 리드를 정확히 선별하는 것은 다른 결과이기 때문입니다. 어느 쪽이든 구축 작업 범위에는 인수 검증에 사용할 실제 사례, 기대 답안을 검토하는 담당자, 시스템이 실패했을 때의 처리 방식을 명시해야 합니다.

저희 AI Opportunity Audit는 계획 수립 서비스입니다. 업무 흐름 목록, ROI 계산, 자체 구축과 구매 중 선택, 데이터 및 접근 권한 지도, 90일 로드맵을 제공합니다. 절약되는 시간 추정치가 구매 이유가 되기 전에, 그 계획에서 평가 작업을 명시해야 합니다.

평가는 서면으로 정한 중단 기준을 의미 있게 만드는 요소이기도 합니다. 정해진 성능 수준에서 멈추기로 미리 합의하더라도, 성능을 측정하는 방법에 합의하지 않았다면 빈 약속입니다.

출처

• Measuring what Matters: Construct Validity in Large Language Model Benchmarks, NeurIPS 2025 Datasets and Benchmarks 트랙: arxiv.org/abs/2511.04703
• Benchmarking Benchmark Leakage in Large Language Models, Xu, Wang, Fan, Liu: arxiv.org/html/2404.18824v1