今年三月，我去加州安大略看一栋 18 万平方英尺的 3PL 仓，80 来个一线员工。IT 经理掏出手机给我看刚上线的"智能知识问答助手"：扫码就能问 SOP、设备参数、客户特殊要求，号称覆盖仓库 95% 的日常问题。
我随口问："你们 SOP 最新到哪个版本？""应该是 v3。"助手答得飞快：托盘堆叠限高 5 层，引用"SOP v3.2 第 4 章第 12 条"。经理盯着屏幕愣了三秒："我们最高就到 v3.0，v3.2 哪来的？"
更险的是前一天。一名叉车司机问某高值货区的人行、叉车通道最小净宽，助手给了组数字，斩钉截铁。经理翻 OSHA 原文和客户合同核对——两个都不对，其中一个差了整整两英尺。幸亏司机多问了句老员工，否则按 AI 说的划线，查验那天就是罚单加返工。
"老米，这东西比新员工还自信，还比新员工更能编。"
过去一年我看了四个仓库上知识问答助手，demo 个个惊艳，上线第一个月答错率全在两成以上。错法还都差不多。
病根有三处，跟模型关系不大
先说个很多人不信的结论：答错多数时候不是模型笨，是工程没做对。
第一处是检索召回差。SOP、设备手册埋进向量库时，很多按固定字数一刀切。操作员问"冷链区叉车能不能在库内充电"，召回回来的是三年前写的室外充电房规范，根本不适用。chunk 切碎了上下文，embedding 只认识字面相似，答得似是而非，语气却极其笃定。
第二处是文档版本。仓库文档更新比 IT 想象的快，SOP 从 v2 到 v3 可能就是客户经理一句话、墙上贴张新表格。旧版 PDF 还躺在知识库里，无作废标记，无生效日期过滤。模型分不清哪个最新，只会拼检索分高的碎片。安大略那家就是这样：v3.2 根本不存在，是模型把 v2 第 3 章和 v3 第 2 章缝在一起，自己编了个版本号。幻觉的素材，恰恰是检索给的半真半假的碎片。
第三处是知识边界。员工会问库外的问题：加州最低工资涨没涨、隔壁仓临时工时薪多少。好的助手该回"知识库没有这条，建议问主管"。但默认配置的模型不爱说不知道，它爱编，编出的数字还带着小数点，可信度拉满。
先攒 50 到 100 道"送命题"
我的建议很直接：别先谈模型，先攒评测集。
让班组长和安全主管各列 20 个"答错会出事"的问题：堆叠限高、通道净宽、危化品隔离距离、冷链报警阈值、客户特殊包装要求。再去 IT 那要过去三个月员工真实提问记录，挑频率最高的 30 到 50 个。凑 50 到 100 条，每条配"黄金答案"——资深员工和合规负责人签字确认，精确到条款编号和生效版本。
这套题三重用处。上线前跑一遍，逐字核对，答对率低于 85% 别上线。每次换模型、改检索、更新文档都重跑，防止改 A 坏 B。最重要的是写进供应商合同：验收答对率、拒答率、引用覆盖率，写进付款条款。
我见过最实在的一份合同：试点 30 天，日均问答不低于 50 条；黄金集答对率不低于 90%，拒答率在 5%～15% 之间，才算验收通过。拒答率为什么要有下限？从不说"不知道"的助手，比偶尔拒答的危险十倍。拒答是健康指标，不是失败。
黄金答案的维护也有讲究。指定两个人负责：一个懂现场的老员工，一个懂合规或客户要求的人。SOP 每次改版，两人要在 5 个工作日内把受影响的题目更新掉，不然评测集自己先过期，测出来的分数就是自欺欺人。安大略那家后来把这条写进了安全主管的季度 KPI，执行得比 IT 盯得还紧。
别换模型，先修"找答案"
一答错就想换更大模型，我的经验是八成问题出在检索。
分块先改。别按固定字数切，按文档自然结构切：SOP 按章节条款，设备手册按"故障现象—排查步骤"整段保留。条款被拦腰切断，embedding 再强也救不回来。这是成本几乎为零、效果最明显的一步。有一家 12 万平方英尺的电商仓做过对比：固定 500 字切块时，高危问题的首轮答对率只有 71%，改按条款切分后提到 89%，没换模型，没加算力。
然后加元数据过滤。文档入库打标签：版本号、生效日期、适用仓库、适用区域。检索先按最新生效版本过滤，再做语义匹配。旧版别删，审计可能用得上，但标记作废，默认不参与检索。安大略那家就这么改完，版本号幻觉基本消失。
还有个被低估的动作：高频高危问题做"标准答案直达"。堆叠限高、通道宽度、报警阈值，总共二三十条，直接做精确匹配问答对，绕过向量检索。把最危险的问题从概率系统里摘出来，放进确定性系统。
让它必须认怂的三条规矩
检索修好，模型偶尔还是会编。治幻觉靠三条硬规矩。
第一，强制引用来源。每条回答必须带来源文档和条款编号，点进去能对上原文。评测里无可验证引用的回答直接判错。这一条逼着供应商把检索做扎实。
第二，不确定就拒答。检索相关性低于阈值，或多份文档互相矛盾，直接回"知识库没有明确答案，已转交班组长"，并推送人工。阈值宁可保守。仓库里答错的代价，永远大于没答上来的代价。
第三，人工抽检要有节奏。首月每天随机抽 20 条真实问答人工核对，次月降到每周 30 条，稳定三个月后每周 10 条。抽检发现答错就回炉：检索问题修分块和标签，文档问题更新知识库，边界问题加拒答规则。记录留档，安全审计用得上。
试点验收前，我会让客户对照一张清单逐项打勾：黄金集跑分达标、拒答链路有人接单（转交班组长的消息不能石沉大海）、旧版文档已标记作废、抽检前两周零高危答错。有一项没打勾，就不签字。供应商催上线的话术听听就好，出了事背锅的是仓库，不是供应商。
哪种仓库不值得上
最后说点得罪人的。30 人以下的小仓不值得：SOP 没几页，老师傅都在现场，喊一嗓子比掏手机快。SOP 本身写不清楚的仓不值得：文档又错又过期还互相打架，AI 只会把混乱加速，还包装得很可信。日均问答不到 20 条的仓也不值得：评测集、抽检、文档治理的人力，比省下的答疑时间贵。
值得上的，是百人以上、多班次、多客户 SOP 差异大的仓。新人流动率高、夜班没人可问、客户特殊要求多，价值才立得住。但定位摆正：它是"随时能查的电子老师傅"，不是替你做判断的经理。
上 AI 问答之前先回答我一个问题：你们 SOP 的最新版本，老员工不翻电脑找得出来吗？找不出来，AI 也一样找不到，只会更快地给错答案，再编一个看起来很真的出处。
