便宜模型先判、拿不准再交给 Opus:准确率接近 Opus,成本降到四分之一

Hacker News 上有一篇近 600 分的文章:数据公司 Hightouch 发布了一份自己做的测试(原文,11 月 4 日),思路对所有在意 API 成本的人都有参考价值。

他们要解决的问题:判断一组客户记录到底是不是同一个人(「身份解析」)。比如两个记录名字很像、地址一样,是同一个人,还是一对双胞胎?以前要人工抽查,一小时只能看大约 50 个。

测试结果(每 1,000 次判断的成本,作者公司自测):

方案 准确率 成本
Claude Opus 5.5 单独判 99.0% $3.86
GPT-6 Sol 单独判 98.3% $2.50
便宜的「决策模型」Jev 单独判 95.6% $0.05
Jev 先判,信心在 30%–90% 之间的交给 Opus(约 22% 被转交) 98.8% $0.88

换成专挑疑难案例的更难测试,Opus 单独判是 95.1%、$5.39,「Jev 先判、拿不准的交给 Opus」是 95.3%、$2.94。准确率持平,成本少了将近一半。

关键在于小模型「知道自己什么时候不确定」:

  • Jev 判错的时候,给出的信心大多在 50% 左右,信心和准确程度对得上;所以把「拿不准」的那部分转给 Opus,正好转对了。
  • 另一个便宜模型 GPT-6 Luna 单独判比 Jev 还准(97.3%),但它判错时常常信心很高(90%–100%)。转给 Opus 的那部分,没能覆盖它真正判错的地方,所以组合起来,在难的测试上只有 91.6%。

对写代码、做应用的启发

  • 不一定所有请求都用最贵的模型。先让便宜模型处理,把它不确定的部分交给强模型,常常能省下大头。
  • 能这样做的前提,是便宜模型能可靠地告诉你它「没把握」。选模型时,不只看准确率,还要看它在出错时有没有自知之明。
  • 在 Claude Code 里,类似的思路是:主力用 Sonnet,规划用 Opus(opusplan),简单的子任务交给 Haiku,见 /t/113。

聊聊:你的应用里有没有「先用小模型、拿不准再升级」的设计?用什么判断要不要升级?

参考来源: