何时较小的 AI 模型就够用

发票提取器与调查一张有争议发票的助手，工作并不相同。前者可能只需在熟悉的格式中识别六个字段。后者可能需要核对记录、理解一份不寻常的合同，并解释一处差异。把两者放在同一个模型上很方便，但这样会留下一个未经检验的有用问题：哪些环节真正需要那个模型更广泛的能力？

重复出现的任务带来专用化的机会

分类、提取、路由与结构化工具调用，可能在一个整体上复杂的工作流内部反复出现。它们的输入各不相同，但预期输出可能足够精确，可以单独训练与评估。

NVIDIA 的一个团队在 Small Language Models are the Future of Agentic AI 中正式提出了这一论点，该文初次发布于 2025 年 6 月，并在当年 9 月修订。他们给「小」下的操作性定义是：能装进常见消费设备、且回答速度快到足以有用的模型；按 2025 年的情况，大致指 10B 参数以下的模型。

这篇立场论文引用的数据是：7B 参数模型的服务成本比 70B 至 175B 参数模型低 10 至 30 倍，以延迟、能耗与浮点运算量来表示。把这个比较当作测试小模型的理由。在估算你的账单之前，先度量完整工作流的总成本，其中包括硬件、利用率、重试、人工复核与维护。

在能力方面，他们指出像 Phi-2（2.7B 参数）这样的模型，在常识推理与代码生成上取得了与同代 30B 参数模型相当的分数。更小并不自动意味着在某项具体工作上更弱。

一个亮眼的微调结果究竟证明了什么

微调让模型学会某一特定任务的模式。一个结果可以在该任务范围内令人印象深刻，同时仍然没有解决生产上的决策。

研究人员在 ToolBench 上微调了 facebook/opt-350m（350M 参数的模型），并报告了 77.55% 的通过率，而他们的 ChatGPT 思维链基线为 26.00%。该评估使用 ChatGPT 判定解法路径，不要求真实的 API 执行。

现在，用前一篇关于评估的文章里的同一套检验方法来看这个数字，因为这个数字同样需要像供应商图表一样接受仔细审查。

该模型是在 ToolBench 的任务分布内训练与评估的。作者承认，它与该基准的紧密贴合可能无法迁移到不同的工具或真实 API 环境。这是在该评估上报告的优势，既不是与 2026 年最好的可用模型的比较，也不能证明这个较小的模型可以完成你的生产工作流。

对买方而言，有用的下一步实验是：让候选模型在有代表性的任务上运行，并使用它们实际会用到的工具与检查。一次看起来很像样的工具调用，并不等于一件完成的工作。

决策规则

先从所需的结果，以及你无法接受的错误出发。然后再比较交付它的各种方式。

在以下情况测试小模型： 任务的输入范围有限、输出可检查，并且有足够多有代表性的样例覆盖其变化。提取、工单路由与分类都是候选。延迟要求或本地处理的限制可以让理由更充分，但两者都不能证明模型足够准确。所需标注数据的量，取决于任务本身以及你需要检出的失败类型。

在更有能力的模型确实能发挥价值的地方保留它。 不熟悉的输入、复杂的推理或高要求的写作，可能受益于它更广泛的能力。要比较真实输出。成段的文字表达并不自动超出小模型的能力范围，正如结构化答案也并不自动就容易。

在以下情况两者都用： 工作可以拆分成若干环节，而且你能检测出何时需要升级。NVIDIA 的论文提出的正是这类混合系统。要像测试模型一样仔细地测试路由：如果一个困难案例被高置信度地判给常规路径，整个设计就失效了。

一个决策示例：读取发票

设想一个用于说明的工作流，它为复核准备发票字段，并不批准付款。在同一批留作测试的文档上比较各候选方案，并分别记录以下各项：

如果较小的模型在熟悉的发票上达到了约定的字段准确率与升级要求，它或许可以负责这一部分案例。如果它漏掉了含糊的案例，那么仅因为平均准确率高并不意味着它通过了。更大的模型或一个人可以复核这些例外，但这条组合路径需要自己的评估。缺失的信息可能需要有人去取得那份记录，而不是让另一个模型去猜。

只有在完整工作流通过之后再迁移

1. 建立一个有能力的基线。 使用能把这项任务做好的模型与工作流。如果已有的较小模型已经满足需求，就不必从最大的模型开始。
2. 收集可用的样例。 保留允许保留的输入、输出与经过复核的修正。为标注与数据处理留出预算；这些记录不会自己变成可靠的训练材料。把评估案例排除在训练之外。
3. 比较完整的路径。 度量错误、漏掉的升级、人工修正与响应时间，并把重试与回退模型计入。对面向读者的输出，请复核者评估它是否准确、清晰、有用。
4. 做运营层面的比较。 一旦质量满足要求，就把托管、复核、维护与再训练与模型使用成本放在一起核算。一个更便宜的预测，如果需要有人去修补，整件事反而更贵。
5. 留意变化。 对新的文档格式、任务与失败模式重新检查。在决定是再训练还是更换模型期间，保留一条可用的回退路径。

当任务移出它所学到的范围时，专用模型可能失去自己的优势。更大的模型在不熟悉的案例上也会失败。对工作流的评估能为这个决定提供证据，而任务一旦发生变化，就是再次测试的理由。

有用的结果是一个能持续完成所需工作的系统。更低的延迟或运营成本，是要与这一结果一并证明的好处。

我们如何运用这一点

模型选择是建设工作的一部分，发生在工作流被理解之后。对于我们 AI 系统目录中所描述的工作，一个边界清晰的任务加上一条书面的成功指标，能让模型比较有明确的目的。我们的生产阶段长期服务包含每月对照基线核验输出，这是发现专用模型偏离一个正在变化的任务的一种方式。

那条书面的成功指标，是模型决策的起点。当证据支持时，小模型就应该在系统中有一席之地。

来源

• Small Language Models are the Future of Agentic AI, Belcak, Heinrich, Diao, Fu, Dong, Muralidharan, Lin and Molchanov: arxiv.org/abs/2506.02153
• Small Language Models for Efficient Agentic Tool Calling: Outperforming Large Models with Targeted Fine-tuning, Jhandi, Kazi, Subramanian and Sendas: arxiv.org/html/2512.15943v2