7B 小模型进仓：仓库知识问答，能不能离线跑起来

先交代一句：这篇讲的是 7B 小模型在仓库里搞离线知识问答的真实经历。别指望技术细节——我压根不是技术咖，就是个三千平小仓的老板，账上每一分钱都得掰成两半花。

上个月，一个大厂的销售上门，PPT 第一页写着"大模型赋能智慧仓储"。我听了十分钟，问了句："得花多少钱？"对方说硬件加实施，"也就"小几万美金。我当时就笑了："那算了，我们小仓可烧不起大模型。"

但"烧不起"不等于"用不起"。大模型用不起，7B 小模型呢？就那种能装在自己电脑里、不联网也能干活的小个子。过去两个月，我还真在我们仓里折腾了一套：把 40 多份 SOP 和客户操作手册喂给一个本地跑的 7B 小模型，做了个仓库知识问答，断网都能用。今天跟同行们聊聊，这事到底靠不靠谱。

我们仓最大的知识库，在老师傅脑子里

我们这种小仓，知识管理基本靠人肉。

去年 11 月，黑五旺季前最忙的两周，我们一个干了四年的老员工被隔壁大仓挖走了。他走的第三天，夜班新来的小哥凌晨两点给我打电话："老板，A 客户的退货标签到底贴左边还是右边？贴错了客户要扣钱的。"我睡得迷迷糊糊，硬是从被窝里爬起来翻微信聊天记录，翻了二十多分钟，才找到半年前老员工发过的一张照片。

那一刻我就明白了：小仓请不起专职培训，一个 SOP 问三遍，老师傅的耐心就磨没了；问到第四遍，新人干脆不问了，自己瞎猜——猜错的代价，比问问题的代价贵十倍。

后来我粗算过：我们仓十几个人，每年走两三个新人，每个新人前两个月，带他的人每天至少花一小时答疑。时薪乘以小时数，这笔隐性成本细算下来比买台电脑贵多了，还不算答错返工的钱。这钱花得，肉疼。

土办法：7B 小模型塞进小主机，断网也能答

思路土得掉渣，分三步：

第一步，把 SOP、客户操作手册、安全规程这些文档整理成电子版，扔进一个本地知识库；第二步，在一台小主机上装个开源的 7B 小模型——我们用的是 Ollama，免费开源，模型下载一次之后，断网也能跑；第三步，员工有问题，在手机或电脑上问一句，模型先去知识库里翻到相关文档，再组织成大白话回答。

核心就一句话：模型和文档全在自己屋里，数据不出仓。

为什么是 7B？因为 7B 的 4-bit 量化版本，整个模型文件只有约 4GB，8GB 内存的电脑就能跑起来——这是公开的硬件门槛，真不是什么黑科技。我们那台小主机，16GB 内存，买的时候两百美元上下，巴掌大，塞在办公室角落里，风扇声比叉车倒车时的"滴滴"声小多了。

仓库员工在货架通道中用手机查询操作规范

实测两个月：问 SOP 是真香，问"为什么"是真翻车

先说好的。

9 月中旬，一个周二的下午，客户 B 的货到了，3 个托盘，200 多箱，外箱唛头和系统里的 PO 对不上。新来的收货员小赵以前没见过这种单子，搁以前他得先打电话问组长，组长再翻半天手册。那天他直接在手机上问了一句："B 客户唛头对不上怎么处理？"十几秒后，模型甩出三步：拍照留存、先按实物收货并备注差异、当天发邮件给客户确认——每一步还标了出自哪份文档。小赵照着做，全程没打一个电话，客户那边零投诉。

再说翻车的。

同一周，我手贱，问了个超出它能力范围的问题："上个月我们退货率为什么涨了？"模型想了几秒，一本正经地给我编了个答案：因为"某大客户促销导致退货增加"。可我们上个月根本没做促销，退货涨是因为换了家快递，破损多了。它答得越自信，我后背越凉。

这就是 7B 小模型的效果边界，一句话：问 SOP 行，复杂推理不行。 它是个"开卷考试"的优等生：答案在文档里，它找得又快又准；答案不在文档里、需要跨好几份材料推理的，它就开始"自由发挥"——AI 行话叫"幻觉"，用我们的话说，就是一本正经地胡说八道。

所以我们现在给它立了条铁规矩：只许回答"怎么做"（SOP 类问题），不许回答"为什么"（分析类问题）。凡是涉及数字归因、原因分析的，一律转人工。这条边界，写进了我们仓操作手册的第一页。

算一笔账：本地 7B 小模型 vs 云端大模型

	本地 7B 小模型（我们这套）	云端大模型 API
硬件投入	一台 16GB 小主机，两百美元上下，一次性	零（但大厂"企业级方案"开口小几万美金）
模型费用	开源免费，零 token 账单	GPT-4o 级别约 2.5 美元/百万输入 token、10 美元/百万输出 token
数据	不出仓，断网照用	要上传云端，断网罢工
回答速度	纯 CPU 跑，复杂问题等十几秒	快，几秒出答案
维护	自己折腾，搭起来一下午	交钱就行，有人伺候
效果上限	问 SOP 够用，推理别指望	天花板高，但小仓九成问题用不上

有较真的朋友会问：云端 API 按量其实不贵啊，每天一两百次问答，一个月也就几十美元，小仓也烧得起。没错——小仓烧不起的从来不是那几十美元 token 费，而是两样东西：第一，数据出仓的风险。 客户报价单、操作手册全在文档里，上传给第三方，等于把底裤递给人家看。第二，被绑住。 今天调价、明天改政策，你的问答系统说停就停。离线这套，一次投入之后，命攥在自己手里。

反常识的判断来了：小模型的"笨"，恰恰是它适合干这活的原因。 问 SOP 这种"开卷考试"，要的不是聪明，是老实——只照着文档答，不许发挥。大模型太聪明了，给它三份文档，它能给你"推理"出第四份不存在的。你品品，仓库里要的是标准答案，不是创意写作。

还有句大实话：这套系统里真正值钱的不是模型，是你喂进去的文档。 模型是嘴，文档是脑。嘴笨点没关系，脑子得是自己的，还得是干净的。我们花了整整一个周末，把 40 多份文档里的过期版本、互相打架的条款先清理了一遍——这一步不做，神仙模型也救不了你。反过来，文档整理好了，哪怕以后换模型，也是现成的资产。