더 작은 AI 모델로 충분할 때

청구서에서 항목을 뽑아내는 추출기와 분쟁이 생긴 청구서를 조사하는 어시스턴트는 하는 일이 다릅니다. 앞의 것은 익숙한 양식에서 필드 여섯 개를 찾아내면 되는 수준일 수 있습니다. 뒤의 것은 기록을 대조하고, 특이한 계약 조건을 이해하고, 불일치를 설명해야 할 수 있습니다. 둘을 같은 모델에 올리는 편이 편하지만, 그렇게 하면 유용한 질문 하나를 검증하지 않은 채 남겨 둡니다. 어느 부분이 그 모델의 더 넓은 능력을 실제로 필요로 하는가입니다.

반복되는 작업은 특화의 기회가 됩니다

분류, 추출, 라우팅, 구조화된 도구 호출은 전체적으로는 복잡한 워크플로 안에서도 반복될 수 있습니다. 입력은 다양하지만, 기대되는 출력은 따로 훈련하고 평가할 만큼 정밀하게 정해질 수 있습니다.

NVIDIA의 한 팀은 이 주장을 Small Language Models are the Future of Agentic AI에서 공식적으로 제시했습니다. 2025년 6월에 처음 게시되었고 같은 해 9월에 개정되었습니다. 이들이 실무적으로 정의하는 소형이란 일반 소비자 기기에 들어가고 유용할 만큼 빠르게 응답하는 모델로, 2025년 기준으로는 대략 10B 파라미터 미만의 모든 모델을 뜻합니다.

이 입장 논문은 7B 파라미터 모델이 70B~175B 파라미터 모델보다 서빙 비용이 10~30배 낮다고 인용하며, 이를 지연 시간, 에너지 소비, 부동소수점 연산으로 표현합니다. 이 비교는 더 작은 모델을 테스트해 볼 근거로 받아들이세요. 청구될 비용을 추산하기 전에 하드웨어, 활용률, 재시도, 사람의 검토, 유지 관리를 포함한 전체 워크플로 비용을 측정하세요.

능력 면에서는 2.7B 파라미터의 Phi-2 같은 모델이 같은 세대의 30B 파라미터 모델에 견줄 만한 상식 추론과 코드 생성 점수를 낸다는 점을 들었습니다. 특정 작업에서 작다는 것이 자동으로 약하다는 뜻은 아닙니다.

눈에 띄는 파인튜닝 결과가 실제로 입증하는 것

파인튜닝은 모델에 특정 작업의 패턴을 가르칩니다. 어떤 결과가 그 작업 안에서는 인상적이면서도, 운영 투입 여부에 대한 판단은 여전히 열어 둔 상태일 수 있습니다.

연구진은 350M 파라미터 모델인 facebook/opt-350m을 ToolBench로 파인튜닝해 77.55%의 통과율을 보고했습니다. 이들이 쓴 ChatGPT 사고의 사슬(chain-of-thought) 기준선은 26.00%였습니다. 이 평가는 실제 API 실행을 요구하지 않고 ChatGPT가 풀이 경로를 판정하는 방식을 썼습니다.

이제 평가에 관한 이전 글의 원칙을 이 숫자에 적용해 보세요. 어떤 업체의 차트와도 똑같은 검증을 받을 만하기 때문입니다.

이 모델은 ToolBench의 작업 분포 안에서 훈련되고 평가되었습니다. 저자들은 이 모델이 벤치마크에 밀접하게 맞춰져 있어서 다른 도구나 실제 API 환경으로는 이전되지 않을 수 있다고 인정합니다. 이는 그 평가에서 보고된 우위이며, 2026년에 쓸 수 있는 최고 모델들과의 비교도 아니고 더 작은 모델이 여러분의 운영 워크플로를 완수할 수 있다는 증거도 아닙니다.

구매자에게 유용한 다음 실험은, 실제로 사용할 도구와 검증 절차를 붙인 대표적인 작업으로 후보 모델들을 돌려 보는 것입니다. 그럴듯해 보이는 도구 호출이 곧 완료된 일은 아닙니다.

판단 기준

필요한 결과와 받아들일 수 없는 오류에서 출발하세요. 그다음에 그것을 달성하는 방법들을 비교하세요.

소형 모델을 테스트할 때는 작업의 입력이 제한되고, 출력을 검증할 수 있으며, 그 변동 폭을 담아낼 만큼 대표적인 예시가 충분할 때입니다. 추출, 티켓 라우팅, 분류가 후보입니다. 지연 시간 요건이나 로컬 처리 제약은 근거를 강화해 주지만, 둘 중 어느 것도 모델이 충분히 정확하다는 것을 입증해 주지는 않습니다. 필요한 라벨링 데이터의 양은 작업과 잡아내야 하는 실패 유형에 따라 달라집니다.

더 역량 있는 모델은 그 값을 하는 곳에 두세요. 익숙하지 않은 입력, 복잡한 추론, 까다로운 글쓰기는 그 모델의 더 넓은 능력에서 이득을 볼 수 있습니다. 실제 출력을 비교하세요. 산문이 자동으로 소형 모델의 능력 밖인 것은 아니며, 구조화된 답이 자동으로 쉬운 것도 아닙니다.

둘 다 쓸 때는 일이 여러 부분으로 나뉘고 언제 에스컬레이션이 필요한지 감지할 수 있을 때입니다. NVIDIA 논문은 이런 식의 혼합 시스템을 제안합니다. 라우팅도 모델만큼 꼼꼼히 테스트하세요. 어려운 사례를 확신에 찬 채로 일상적인 경로로 보내 버리면 설계가 무너집니다.

실제로 따져 본 판단: 청구서 읽기

검토용으로 청구서 필드를 정리해 주는 예시 워크플로를 생각해 보세요. 이 워크플로가 지급을 승인하지는 않습니다. 같은 보류(held-out) 문서 집합으로 후보들을 비교하고, 다음 항목을 각각 따로 기록하세요.

소형 모델이 익숙한 청구서에서 합의된 필드 정확도와 에스컬레이션 요건을 충족한다면, 그 부분집합은 맡을 수 있습니다. 모호한 사례를 놓친다면, 평균 정확도가 높다는 이유만으로 통과한 것은 아닙니다. 예외는 더 큰 모델이나 사람이 검토할 수 있지만, 그렇게 결합된 경로에는 그 경로 자체에 대한 평가가 필요합니다. 정보가 빠져 있는 경우에는 다른 모델이 추측하는 대신 누군가 그 기록을 확보해야 할 수도 있습니다.

전체 워크플로가 통과한 뒤에만 옮기세요

1. 역량 있는 기준선을 세우세요. 그 작업을 잘 수행하는 모델과 워크플로를 쓰세요. 이미 있는 더 작은 모델이 요구를 충족한다면 가장 큰 모델부터 시작할 필요는 없습니다.
2. 쓸 수 있는 예시를 모으세요. 허용된 입력, 출력, 검토를 거친 수정 사항을 보관하세요. 라벨링과 데이터 처리에 예산을 잡으세요. 기록이 저절로 믿을 만한 훈련 자료가 되지는 않습니다. 평가용 사례는 훈련에서 빼 두세요.
3. 전체 경로를 비교하세요. 오류, 놓친 에스컬레이션, 사람의 수정, 응답 시간을 재시도와 대체 모델까지 포함해 측정하세요. 독자가 읽을 출력이라면 검토자가 정확하고 명확하며 유용한지 평가하게 하세요.
4. 운영 비용을 비교하세요. 품질이 요건을 충족한 다음에, 모델 사용료와 함께 호스팅, 검토, 유지 관리, 재훈련을 포함하세요. 누군가 고쳐야 한다면 더 싼 예측이 더 비싼 일을 만들어 낼 수 있습니다.
5. 변화를 지켜보세요. 새로운 문서 형식, 작업, 실패 패턴을 다시 점검하세요. 재훈련할지 모델을 바꿀지 결정하는 동안 작동하는 대체 경로를 유지하세요.

특화된 모델은 작업이 학습한 범위를 벗어나면 우위를 잃을 수 있습니다. 더 큰 모델도 익숙하지 않은 사례에서는 실패합니다. 워크플로 평가는 그 판단에 쓸 증거를 제공하며, 작업이 달라졌다면 다시 테스트할 이유가 됩니다.

유용한 결과는 요구된 일을 계속 해내는 시스템입니다. 더 낮은 지연 시간이나 운영 비용은 그 결과와 함께 입증해야 할 이점입니다.

저희가 적용하는 방식

모델 선택은 워크플로를 이해한 뒤 구축 과정 안에서 이뤄집니다. 저희 AI 시스템 카탈로그에 설명된 작업에서는 범위가 한정된 작업과 서면 성공 지표가 모델 비교에 분명한 목적을 줍니다. 저희 운영 리테이너에는 출력을 매달 기준값과 대조해 검증하는 일이 포함되는데, 이는 특화된 모델이 변해 가는 작업에서 멀어지는 것을 감지하는 한 가지 방법입니다.

그 서면 성공 지표가 모델 판단의 출발점입니다. 증거가 뒷받침할 때 더 작은 모델이 시스템 안에 자리합니다.

출처

• Small Language Models are the Future of Agentic AI, Belcak, Heinrich, Diao, Fu, Dong, Muralidharan, Lin, Molchanov: arxiv.org/abs/2506.02153
• Small Language Models for Efficient Agentic Tool Calling: Outperforming Large Models with Targeted Fine-tuning, Jhandi, Kazi, Subramanian, Sendas: arxiv.org/html/2512.15943v2