2024 年底,我们给一家制造企业上线知识库。POC 阶段用了 30 份文档,问答效果惊艳,客户当场拍板。上线后接了 8,000 份文档,命中率掉到 61%。
客户没有发火,只是问了一句:「那我们现在该信它还是不信它?」这句话比任何 KPI 都难受。
先别换模型
第一反应是换更大的模型。我们差点就换了——那是当时最直觉、也最贵的选项。
但在换之前,我们把 120 条错误样本逐条拆开看了。结果是这样的:
- 70% 的错误,检索召回的文档本身就是错的版本(同一份规范有三个版本在库里)。
- 18% 的错误,召回对了文档,但切分把一个表格切断了,模型看到的是半张表。
- 9% 的错误,型号编码(XX-3200A / 3200B)检索混淆。
- 只有 3% 是「模型理解能力不足」。
换句话说,换模型最多能解决 3% 的问题,却要多付 4 倍 token 成本。这个账算清楚之后,方向就变了。
四件事,按这个顺序做
第一件:文档治理(占 40% 工作量)
8,000 份文档里,1,900 份是过期版本。先把它们按「产品线 × 版本 × 密级」建台账,清理重复与过期,统一命名规则。
这一步不写一行 AI 代码,也不产生任何可演示的界面。它是整个项目里最难向客户解释价值的部分——我们靠一张「已清理 1,900 份过期文档」的清单撑过了四周。
经验:这一步的所有工作量,都要提前在项目计划里写清楚,并且让客户高层知晓。否则第 3 周一定有人问「项目是不是停摆了」。
第二件:混合检索
纯向量检索在「型号、编号、专有名词」上表现很差。3200A 和 3200B 在向量空间里几乎是同一个点。
改成关键词检索(BM25)与向量检索并行召回,再合并去重。这一步把型号类问题的准确率从 52% 拉到 89%。
经验:凡是有编码、型号、料号、合同号的场景,关键词通道不能省。它不是「加分项」,是必需品。
第三件:重排
混合召回会带来一个问题:召回数量变多,噪声也变多。我们召回 top 50,用重排模型压到 top 5,再交给生成模型。
重排模型不需要很大,一个轻量的 cross-encoder 就够。效果是把「答非所问」的比例从 22% 降到 7%。
经验:召回求全,重排求准。这两件事不要用同一个模型硬扛。
第四件:评测集
最后做的这件事,本应最先做。
我们从真实售后工单里抽了 300 题,人工标注标准答案与出处,并且按难度分层:
- 基础事实题(120 题):答案在一份文档里,直接可查。
- 专有名词题(90 题):涉及型号、编码、术语。
- 跨文档推理题(90 题):需要合并 2 份以上文档的信息。
有了这个评测集,后面每一次改动的效果都是可量化的。61% → 74% → 86% → 92%,每一步都知道是哪一项起了作用。
经验:没有评测集的项目,所有优化都是猜的。哪怕只有 100 题,也比没有强。
什么时候才该换模型
我们的判断标准是三条同时成立:
- 检索召回的相关性已经稳定在 90% 以上(说明输入是干净的)。
- 错误样本里,「理解/推理不足」占比超过 20%。
- 业务方愿意为提升的准确率付 3 倍以上的推理成本。
三条不同时成立,换模型就是浪费钱。我们这个项目最后没有换模型,最终命中率 92%,单次成本还降了 40%(因为上下文裁剪和缓存)。
最后一点
客户后来评价说,最有价值的是「趁机把文档版本清了一遍」。这句话我们记了很久——因为它说明,AI 项目真正的价值往往不在 AI 本身,而在于它给了组织一个必须整理旧账的理由。
如果你正在评估 RAG,先把文档台账拉出来看一眼。如果里面有三个版本在同时流转,那你的第一件事不是选模型。