金帆树人KINGFASTER
010-64425981 预约场景诊断
能力AI 应用开发数据与 BI低代码与流程自动化FDE 交付模式解决方案采购与供应链人力与员工服务财务与费控制造与质量行政后勤与工会IT 与资产行业案例资源洞察文章数字化人才培训技术市场服务关于我们预约 AI 场景诊断 →
首页/资源/RAG 准确率

RAG 上线后准确率只有 60%,
我们改了四件事

这是一次真实的返工记录。四件事的顺序比内容更重要——我们一开始做反了,浪费了三周。

AI 落地8 分钟2026

2024 年底,我们给一家制造企业上线知识库。POC 阶段用了 30 份文档,问答效果惊艳,客户当场拍板。上线后接了 8,000 份文档,命中率掉到 61%。

客户没有发火,只是问了一句:「那我们现在该信它还是不信它?」这句话比任何 KPI 都难受。

先别换模型

第一反应是换更大的模型。我们差点就换了——那是当时最直觉、也最贵的选项。

但在换之前,我们把 120 条错误样本逐条拆开看了。结果是这样的:

  • 70% 的错误,检索召回的文档本身就是错的版本(同一份规范有三个版本在库里)。
  • 18% 的错误,召回对了文档,但切分把一个表格切断了,模型看到的是半张表。
  • 9% 的错误,型号编码(XX-3200A / 3200B)检索混淆。
  • 只有 3% 是「模型理解能力不足」。

换句话说,换模型最多能解决 3% 的问题,却要多付 4 倍 token 成本。这个账算清楚之后,方向就变了。

四件事,按这个顺序做

第一件:文档治理(占 40% 工作量)

8,000 份文档里,1,900 份是过期版本。先把它们按「产品线 × 版本 × 密级」建台账,清理重复与过期,统一命名规则。

这一步不写一行 AI 代码,也不产生任何可演示的界面。它是整个项目里最难向客户解释价值的部分——我们靠一张「已清理 1,900 份过期文档」的清单撑过了四周。

经验:这一步的所有工作量,都要提前在项目计划里写清楚,并且让客户高层知晓。否则第 3 周一定有人问「项目是不是停摆了」。

第二件:混合检索

纯向量检索在「型号、编号、专有名词」上表现很差。3200A 和 3200B 在向量空间里几乎是同一个点。

改成关键词检索(BM25)与向量检索并行召回,再合并去重。这一步把型号类问题的准确率从 52% 拉到 89%。

经验:凡是有编码、型号、料号、合同号的场景,关键词通道不能省。它不是「加分项」,是必需品。

第三件:重排

混合召回会带来一个问题:召回数量变多,噪声也变多。我们召回 top 50,用重排模型压到 top 5,再交给生成模型。

重排模型不需要很大,一个轻量的 cross-encoder 就够。效果是把「答非所问」的比例从 22% 降到 7%。

经验:召回求全,重排求准。这两件事不要用同一个模型硬扛。

第四件:评测集

最后做的这件事,本应最先做。

我们从真实售后工单里抽了 300 题,人工标注标准答案与出处,并且按难度分层:

  • 基础事实题(120 题):答案在一份文档里,直接可查。
  • 专有名词题(90 题):涉及型号、编码、术语。
  • 跨文档推理题(90 题):需要合并 2 份以上文档的信息。

有了这个评测集,后面每一次改动的效果都是可量化的。61% → 74% → 86% → 92%,每一步都知道是哪一项起了作用。

经验:没有评测集的项目,所有优化都是猜的。哪怕只有 100 题,也比没有强。

什么时候才该换模型

我们的判断标准是三条同时成立:

  • 检索召回的相关性已经稳定在 90% 以上(说明输入是干净的)。
  • 错误样本里,「理解/推理不足」占比超过 20%。
  • 业务方愿意为提升的准确率付 3 倍以上的推理成本。

三条不同时成立,换模型就是浪费钱。我们这个项目最后没有换模型,最终命中率 92%,单次成本还降了 40%(因为上下文裁剪和缓存)。

最后一点

客户后来评价说,最有价值的是「趁机把文档版本清了一遍」。这句话我们记了很久——因为它说明,AI 项目真正的价值往往不在 AI 本身,而在于它给了组织一个必须整理旧账的理由。

如果你正在评估 RAG,先把文档台账拉出来看一眼。如果里面有三个版本在同时流转,那你的第一件事不是选模型。

聊聊你的场景 回到全部文章
下一步

先做一次 90 分钟场景诊断

我们不带 PPT 来。带上你的一个真实业务场景,现场判断可行性、投入与 30 天能拿到什么结果。