金帆树人KINGFASTER
010-64425981 预约场景诊断
能力AI 应用开发数据与 BI低代码与流程自动化FDE 交付模式解决方案采购与供应链人力与员工服务财务与费控制造与质量行政后勤与工会IT 与资产行业案例资源洞察文章数字化人才培训技术市场服务关于我们预约 AI 场景诊断 →
首页/资源/合同审核评测

合同审核 AI 的准确率,
不能只看一个「准」字

92% 的总分,可能藏着 3 个高风险条款全部漏检。我们怎么设计评测,让法务敢拿它做上线决策。

AI 落地7 分钟2026

2025 年,一家客户拿着另一家供应商的 POC 报告来找我们:合同审核准确率 92%,比我们高 4 个点。我们问了一句:这 92% 是按份算的,还是按条款算的?高风险条款的召回率是多少?对方答不上来。

后来他们上线三个月,法务抽查时发现一份 380 万的采购合同,违约金条款被判为「无风险」,而实际条款把上限写成了合同总额的 100%。

总分为什么不可信

样本分布决定分数。一份采购合同里,真正有风险的条款通常只占 10%–15%,其余是定义、交付、通知这类标准化条款。一个「全部判为无风险」的模型,按条款算就能拿到 85 分以上。

总分还把三类错误混在一起算:漏掉一个高风险条款、误报一个低风险条款、把中风险判成低风险,在分母里都只是「一个」。但对业务的代价完全不同。

  • 高风险漏检:可能直接带来赔付或合规风险,一次就够。
  • 误报:法务多点开一次,浪费 3–5 分钟,量大时人力扛不住。
  • 等级判错:影响复核优先级,短期不致命,长期会让人不再相信分级。

我们怎么设计评测

先把条款按「风险等级 × 条款类型」切成二维格子,每个格子单独统计召回率和精确率。风险等级用客户自己的制度定义,不由我们发明。

然后定一个唯一对外的指标:高风险条款漏检率。口径是:标注为高风险的条款中,系统没有标出的比例。这个数字直接对应业务风险,法务能听懂,也能用来做上线决策。

举一个我们做过的项目:

  • 评测集 1,000 份历史合同,人工标注高风险条款 120 个。
  • 系统标出 138 条,其中 114 条命中标注过的高风险条款。
  • 高风险漏检率 5%(6 个),误报 24 条。

这个结果比「准确率 92%」有用得多:它告诉法务,每 100 份合同大约会漏掉 0.6 个高风险条款,需要靠人工抽查兜底。抽查比例可以据此算出来,不用凭感觉定。

上线之后看什么

准确率是上线前的指标。上线后要看另外三个:

  • 标红采纳率:法务复核时保留了多少条系统标红。低于 60% 说明误报太多,人会开始无视提示。
  • 坏例回流数:每周人工发现的漏检是否都进了评测集。没有回流,模型三个月就会退步。
  • 单份处理时长:从上传到出结果,包含人工复核。这是客户真正感知到的效率。

经验

经验:把「准确率」拆成你能承担的损失,再决定要不要上线。如果高风险漏检率超过业务能兜底的比例,92 分也不能上;如果它足够低,80 分也可以先跑起来。

我们现在把高风险漏检率写进验收标准。这件事会让项目前期慢两周,但后面省掉的扯皮更多。

看合同审核案例 回到全部文章
下一步

看合同审核案例

4000 份合同、3 天到 4 小时,案例里有完整的评测设计与上线过程。