金帆树人KINGFASTER
010-64425981 预约场景诊断
能力AI 应用开发数据与 BI低代码与流程自动化FDE 交付模式解决方案采购与供应链人力与员工服务财务与费控制造与质量行政后勤与工会IT 与资产行业案例资源洞察文章数字化人才培训技术市场服务关于我们预约 AI 场景诊断 →
首页/案例/高科技
旗舰案例 AI 知识库制造

命中率 61% → 92%:我们没换模型,先花了 4 周治理文档

第一版上线命中率只有 61%,其中 70% 的错误来自文档本身存在三个版本。这个案例的重点不是 RAG 技术,而是上 AI 之前先做文档治理是否值得。

客户名称按保密要求匿名 · 界面与数据已脱敏

客户某高科技制造企业(匿名)
行业高科技制造
知识规模8,000+ 份文档 · 6 条产品线
使用角色售后工程师 40 人 · 新员工
交付形态FDE 半驻场
周期文档治理 4 周 + 系统 3 周
92% 问答命中率 实测 300 题评测集,含 90 题高频工单
-65% 重复咨询量 推算 上线前后 3 个月工单量对比
3 周 系统上线 不含 4 周文档治理
8,000+ 入库文档 实测 治理后口径,已剔除过期版本

数字口径:实测来自客户后台或验收报告;推算为样本外推;基准为公开研究。

售后知识助手 · 界面示意 · 数据已脱敏
售后知识助手界面示意
先给结论,再给出处;已废止的旧版本会被检索拦截,并在回答里明确提示。
Why now

如果不做,会发生什么

  1. 01

    售后现场要查工艺规范,平均 25 分钟才能确认手上这份是不是最新版。查错版本导致的返工,一年 30 多次。

  2. 02

    6 条产品线的文档散在共享盘、邮件和个人电脑里。老师傅一退休,一段工艺知识就没了。

  3. 03

    新员工上手要 6 周,方式是「问老同事」。同一个问题,三个人给三个答案,新人不知道信谁。

What we got wrong

我们判断错的两件事

我们当时以为

先上模型,靠调切分策略和提示词把准确率拉上去。

现场告诉我们

首版命中率 61%。把错误样本拆开看,70% 是「文档本身有三个版本,检索召回了错的那份」。模型再准,喂进去的是过期规范也只能答错。

我们当时以为

关键词检索够用,向量检索只是加分项。

现场告诉我们

型号编码(如 XX-3200A)在向量空间里几乎不可分,纯向量检索会把 3200A 和 3200B 的规范混起来。最终必须保留关键词通道,做混合召回。

Trade-offs

关键取舍

1

先做 4 周文档治理,再写一行 AI 代码

为什么这么选

8,000 份里有 1,900 份是过期版本。删掉错版本,比任何检索优化都有效。

代价是什么

整整 4 周没有可演示的界面,客户内部一度质疑「项目是不是停滞了」。这 4 周必须提前和客户高层对齐,否则撑不过去。

2

混合检索 + 重排,而不是换更大的模型

为什么这么选

检索准了,小模型也答得对;检索不准,大模型只会更自信地答错,还更贵。

代价是什么

链路更长,响应时间从 1.2s 涨到 2.4s。靠缓存与并行召回压回 1.6s,工程量翻了一倍。

3

每条回答强制带原文段落与文档链接

为什么这么选

售后工程师是站在客户面前回答问题的,他需要自己判断可信度,不能替客户承担一个「AI 说可以」的结论。

代价是什么

前端不能做「一句话结论」的漂亮形态,界面看起来比同类产品笨重。

Timeline

落地节奏

W1
文档盘点

按产品线 × 版本 × 密级建台账,标出重复、过期、无人维护三类。

W2–W4
治理

清理 1,900 份过期文档,统一命名与版本号,补齐密级标注。

W5
建评测集

从真实售后工单里抽 300 题,人工标注标准答案与出处。

W6–W7
检索链路

关键词 + 向量混合召回,加重排,出处回填到段落级。

W8
上线与权限

按部门隔离知识库,检索前后各做一次权限过滤,日志可审计。

Results

结果

指标 之前 → 之后 问答命中率 61%(首版) 92%(300 题评测集) 重复咨询量 基准 -65% 新员工上手 约 6 周 约 3 周
关键指标的前后对比,口径与统计周期见上表
指标之前之后
问答命中率61%(首版)92%(300 题评测集)
重复咨询量基准-65%
新员工上手约 6 周约 3 周
过期文档引用偶发且无法发现版本强校验,命中即提示
Not good enough

一项没达到预期的

表格类文档(工艺参数表)的问答仍不稳定,跨表推理经常错行。我们试过表格结构化方案,成本高于收益,最终只支持单表查询,暂不承诺多表推理。

最有价值的不是那个聊天框,是趁机把文档版本清了一遍。这件事我们内部提了三年没做成,借着上 AI 做成了。现在回头看,那 4 周才是这个项目的主体。
知识管理负责人上线 2 个月回访 · 应客户要求匿名
Reusable

这个项目留下了什么

  • 文档台账模板:产品线 × 版本 × 密级三维清单
  • 300 题分层评测集:基础事实 / 专有名词 / 跨文档推理
  • 混合检索参考实现:关键词 + 向量 + 重排三段式
  • 权限过滤中间件:检索前后双校验,可复用到任何多租户场景
Next

这套做法还能用在哪

  • 同一套检索链路已用于 IT 服务台与 HR 政策问答,换的是语料和权限模型。
  • 文档台账模板可直接复用于 ISO / GxP 审计前的资料整理。
  • 评测集方法可迁移到客服知识库与投标资料库——凡是有「标准答案」的问答都适用。

模板与连接器可以直接复用,相邻场景不必从零开发。

Stack
RAG 平台向量数据库重排模型SSO / 权限多租户
聊聊我的场景
下一步

你们的情况可能不同

同样的场景,行业不同、系统不同、人不同,做法会差很多。90 分钟诊断,我们给出针对性的判断——包括该不该做。