2025 年,一家客户拿着另一家供应商的 POC 报告来找我们:合同审核准确率 92%,比我们高 4 个点。我们问了一句:这 92% 是按份算的,还是按条款算的?高风险条款的召回率是多少?对方答不上来。
后来他们上线三个月,法务抽查时发现一份 380 万的采购合同,违约金条款被判为「无风险」,而实际条款把上限写成了合同总额的 100%。
总分为什么不可信
样本分布决定分数。一份采购合同里,真正有风险的条款通常只占 10%–15%,其余是定义、交付、通知这类标准化条款。一个「全部判为无风险」的模型,按条款算就能拿到 85 分以上。
总分还把三类错误混在一起算:漏掉一个高风险条款、误报一个低风险条款、把中风险判成低风险,在分母里都只是「一个」。但对业务的代价完全不同。
- 高风险漏检:可能直接带来赔付或合规风险,一次就够。
- 误报:法务多点开一次,浪费 3–5 分钟,量大时人力扛不住。
- 等级判错:影响复核优先级,短期不致命,长期会让人不再相信分级。
我们怎么设计评测
先把条款按「风险等级 × 条款类型」切成二维格子,每个格子单独统计召回率和精确率。风险等级用客户自己的制度定义,不由我们发明。
然后定一个唯一对外的指标:高风险条款漏检率。口径是:标注为高风险的条款中,系统没有标出的比例。这个数字直接对应业务风险,法务能听懂,也能用来做上线决策。
举一个我们做过的项目:
- 评测集 1,000 份历史合同,人工标注高风险条款 120 个。
- 系统标出 138 条,其中 114 条命中标注过的高风险条款。
- 高风险漏检率 5%(6 个),误报 24 条。
这个结果比「准确率 92%」有用得多:它告诉法务,每 100 份合同大约会漏掉 0.6 个高风险条款,需要靠人工抽查兜底。抽查比例可以据此算出来,不用凭感觉定。
上线之后看什么
准确率是上线前的指标。上线后要看另外三个:
- 标红采纳率:法务复核时保留了多少条系统标红。低于 60% 说明误报太多,人会开始无视提示。
- 坏例回流数:每周人工发现的漏检是否都进了评测集。没有回流,模型三个月就会退步。
- 单份处理时长:从上传到出结果,包含人工复核。这是客户真正感知到的效率。
经验
经验:把「准确率」拆成你能承担的损失,再决定要不要上线。如果高风险漏检率超过业务能兜底的比例,92 分也不能上;如果它足够低,80 分也可以先跑起来。
我们现在把高风险漏检率写进验收标准。这件事会让项目前期慢两周,但后面省掉的扯皮更多。