先说结论:先上 RAG,微调只补你能说清的缺口

仓库知识库要回答 SOP、故障手册、客户问答,先上 RAG。调模型还是 RAG,这个问题我做过 30 多个上线项目,见过三支团队先烧钱做微调,六周后再老老实实改回 RAG。这条路不是没用,是适用面比销售话术里窄得多,对大多数仓库来说,它不该是第一步。

结论先拍在这里。下面讲为什么、账怎么算、以及上线前夜检查清单 上到底要勾哪些项。

为什么仓库知识库更适合 RAG

仓库知识库不是通用聊天机器人。它的活很窄:从正确的文档里找到正确的段落,照着回答,文档里没有就直说不知道。RAG 干的就是这件事:先检索你的文档,再让模型根据检索到的内容回答。SOP 一改,你改文档就行,不用动模型。

调模型不一样。它把知识烤进模型权重里。听着优雅,等第一版 SOP 修订下来就露馅了。我一个俄亥俄州的 3PL 客户,四个仓,SOP 库 400 多页,拿去年的流程调了一个模型,三月改了循环盘点流程,模型连续几周还在按旧流程回答,语气还特别肯定。没人给再训练留预算,后来团队在显示器边上贴了张纠错纸条。这不是知识库,这是一张很贵的便利贴。

第二点是证据。RAG 的每个答案都能带出处:文档名、章节、页码,主管点进去就能核对。调过参数的模型,答案没有收据。在仓库里,一个错的扭矩值、一步错的危化品操作,后果是真实的,没有出处的答案是风险,不是功能。

下面这张表是我带客户过账时用的版本。数字是场景示意,按我见过的小项目常见报价估算,不是厂商价目表。你自己的数字会不一样,但账单的形状不会变。

项目 RAG 微调
搭建周期 2~4 周:切分文档、建检索、测召回 4~8 周:攒训练对、训练、评估、修回归
必须准备的数据 干净的文档、清晰的标题、版本管理 500~2,000 条高质量问答对,要专家逐条审
改一条 SOP 改文档、重建索引,一小时搞定 补样本、再训练、再测试、再发布
幻觉风险 较低:模型按检索到的文本回答 较高:训练数据外的事实,模型照样说得很肯定
持续成本 检索与托管,基本平稳 再训练周期,外加同样的托管费

最容易漏掉的一行是训练数据。好的训练问答对不是从 PDF 里爬出来的,得是真懂业务的人写问题、写正确答案、再核对边界情况。有个项目我们计划做 300 条,做到 900 条模型才不再把两种相似的输送机故障搞混。那是高级工程师三周的时间,计划里根本没写。

微调还是 RAG,决策框架:三个维度打分

三个维度,每个 1~5 分,加起来就是答案。

第一,知识变多快? 每天或每周都更新,打 5 分,选 RAG;一年几乎不动,打 1 分。

第二,准确率要求多严? 答错会损坏设备、耽误出货、违反安全规则,打 5 分,选 RAG,因为你需要可追溯的出处;答错只是回得别扭一点,分就往低打。

第三,你真有多少干净的训练数据? 经过验证的问答对不到 300 条,打 5 分,选 RAG;超过 1,000 条、还是由干这行的人写的,打 1 分。

总分 10 分及以上,先建 RAG;6 分及以下,微调值得认真考虑;7~9 分之间,先建 RAG,等它跑起来,再只对 RAG 补不上的具体缺口做微调,比如固定的行文风格或某个分类任务。我还没见过哪个仓库项目第一次打分低于 7 分。反常识的地方就在这里:最想上微调的团队,往往文档变得最快、训练数据最少,恰恰是 RAG 最占便宜的画像。

一个跑通的 RAG 项目是这样的。得州一家 3PL,两个仓,120 人左右,想让客服直接回答库存问题,不用每次都打电话问仓库现场。我们用 RAG 接了他们的 SOP、承运商截单时间表和一年的已解决工单,搭建花了三周。测试集是工单队列里的 200 个真实问题。

结果不神奇:200 道题,168 道一次答对,24 道回答“不知道,并附上相关章节”,8 道答错。8 道的修复办法是改源文档,不是再训练。一个月后,按团队自己的通话记录,打到现场的电话少了大约三分之一。重点不是这个百分比,而是每次修复都是一次文档编辑,文档的负责人自己就能动手。

上线后第一个月,我们每周开半小时复盘会,只看一件事:这周答错的题。答错的题分三类:文档里根本没有、文档里有但检索没捞到、文档写得前后矛盾。第一类补文档,第二类调切分和检索词,第三类最要命,说明两份文档在打架,得先让业务负责人拍板哪份作准,再改。一个月下来,200 道测试题里答错的 8 道清零了,新增的 40 道真实问题里只错了 3 道。这个复盘会就是 RAG 真正的维护成本,一周半小时,比再训练便宜得多,也比贴在显示器边上的纠错纸条体面得多。

模型翻车的那一次,这个坑我见过三次,第三次最贵。一家设备商把产品手册拿去微调模型,让现场技术员查扭矩参数和保养周期。训练数据不错,演示也不错。后来新机型上市,扭矩规格变了,手册更新了,调过的模型没再训练。技术员按旧数字拧,拧裂了一个壳体。人没事,但维修加停机让客户丢了一周时间。

复盘很直白:知识变了,模型没变,再训练这一步没人负责。RAG 不能保证不出错,但技术员眼前会是新版手册那一页,带着新数字和日期。系统是慢慢变旧、还是悄悄烂掉,差别就在这里。

上线前夜检查清单

上线前一晚逐项勾,没勾完不许开。

  • 测了 200 道真实问题,不是自己编的演示题
  • 每个答案都链到源文档和章节
  • “不知道”的回答已经定义好、测过、运营也接受
  • 每份源文档都有具名负责人和复核日期
  • 更新链路端到端测过:改文档、重建索引、验证新答案
  • 系统挂了有兜底:谁来答、怎么答
  • 每周复盘答错的问题,修复落到文档上,不是落到模型上

常见翻车点有三个。第一个是脏文档。扫描版 PDF 没有标题,同一份 SOP 五个版本同名,故障手册和培训课件互相打架。RAG 检索到什么就引用什么,喂进去一团乱麻,它会很准确地引用那团乱麻。

第二个是只测模型写作、不测检索。检索返回错的三段话,模型写得再好答案也是错的。检索要单独测,用那些长得很像、答案却不同的问题去测。

第三个是没有负责人。知识库没有文档负责人,一个季度就过时。负责人在上线前定好,别等第一封投诉来了再定。

我的建议就一句:先把 RAG 建起来,用真实问题证明它,再让精调去解决一个你能一句话说清的缺口。说不清缺口,就说明你现在还不需要调模型。

作者:林晓|WMS 实施顾问