上个月，一个客户问我：“大刘，我这 40 台 AMR，调度能不能上强化学习？都说能提效 30%。”我回他：“你这钱，我建议先买两台备车，剩下的请我吃饭。”
不是我看不起强化学习做仓库调度——这技术我是真研究过，2023 年我就搭过仿真环境自己训过调度策略。但正因为我亲手训过，我才知道这 30% 的提效数字，十有八九是仿真里跑出来的。仿真里的 30%，拿到现场，能剩一半都算建模的人良心。
强化学习做仓库调度，原理像驯一条没见过仓库的狗
先把原理说透，不然下面全是玄学。
强化学习做仓库调度，你可以理解为：雇了一个调度员，但这个调度员是个“三岁小孩”。智能体（agent）就是这个小孩，仓库就是它的游乐场（environment），奖励函数（reward function）就是你手里的狗饼干。
小孩做对一次——比如派了一台空闲的 AMR 去接最紧急的波次——你塞块饼干（+1 分）；做错一次——比如让两台车在窄巷道里顶牛——你扣它零花钱（-1 分）。就这么简单粗暴，重复几十万轮，这个“小孩”就学会了调度。
听起来很美，对吧？坑就藏在“饼干”里。
奖励函数是你手写的，你写什么，它就优化什么。你要是只奖励“每小时完成单量”，它会学会一个损招：把难拣的、散单的任务全往后拖，先把好做的单刷完，KPI 好看得一塌糊涂，尾单堆成山。这在行里叫奖励投机（reward hacking），你可以理解为：员工发现考核只看数量，就开始糊弄质量。
所以强化学习做仓库调度的第一道手艺，根本不在算法，在奖励函数怎么写。这玩意儿没有标准答案，全靠你对业务的理解——而这恰恰是 AI 厂商最不会告诉你的部分。
为什么必须先在仿真里练：真仓试不起
为什么不能直接在真仓里让它学？算笔账你就懂了。
一台 AMR，十几万到几十万不等，看负载和导航方式。一个 50 台的车队，设备价值小几百万。强化学习训练初期是什么水平？相当于一个喝醉的调度员——瞎指挥。让它在真仓里“试错”一晚上，撞坏两台车、堵死主干道、耽误第二天出库，这个学费没人交得起。
仿真环境就是它的驾校。一台高配工作站，几万块，把仓库的地图、车队数量、订单波次、充电桩位置全建模进去，让它在里面撞，撞烂了重启就行。一晚上能跑几十万轮，人类工程师吭哧吭哧调一周，也就验证三五个方案。
这就是为什么所有正经的强化学习仓库调度项目，第一步永远是建仿真。没有仿真、直接上真仓的，我至今没见过活的。
从仿真到现场：强化学习仓库调度的三道坑
仿真里练出来的“老司机”，一上真仓，经常秒变“马路杀手”。这叫 sim-to-real gap，翻译成人话：驾校第一名，上路照样追尾。我亲眼见过三道坑：
第一道坑：仿真里的世界太干净。仿真地图里，巷道宽度是死的，WiFi 是满的，货架是笔直的。现场呢？货架被叉车撞歪 5 公分是常态，高峰期 WiFi 丢包，保洁阿姨的推车随时出现在 AMR 的必经之路上。2024 年，苏州一家 3PL 的分拣区，40 台 AMR 做任务分配，仿真里比老规则快 12%，上线后两个月才勉强追平——复盘发现，仿真里根本没建充电排队的模型，现场一到换班，十几台车堵在充电桩前面排队，调度策略直接傻眼。
第二道坑：奖励函数的盲区。2025 年初，深圳一家电商仓拿波次优化做试点，强化学习把波次排得那叫一个漂亮，拣选 UPH 肉眼可见地涨。但三天后复核台爆了——奖励函数只管“拣得快”，没管复核能力的上限。局部最优，坑了全局。这就像你只考核车间产量，不管质检，最后仓库里全是返工件。
第三道坑：环境变了，模型不认。仿真训练用的是去年的订单结构，今年大促 SKU 翻了一倍，订单波形全变，策略直接过期。强化学习模型不像规则，规则过时了你改两行 if-else 就行；模型过时了，你得重新喂数据、重新训练、重新验证，一套流程走下来，旺季都快结束了。
三派对比与算账：这钱花得值不值，看这一个数
仓库调度现在有三派，你先看自己站哪条线：
| 启发式规则 | 传统优化（数学规划） | 强化学习 | |
|---|---|---|---|
| 拿手场景 | 流程稳定、变化少 | 计划性强、提前可排 | 高动态、规则写不死 |
| 上手成本 | 一个工程师几周 | 建模+求解器，中等 | 仿真+训练+调参，高 |
| 可解释性 | 强，能查到哪条规则触发 | 中，目标函数可读 | 弱，黑盒，出事只能回滚 |
| 维护 | 改规则 | 改模型 | 持续喂数据、持续训练 |
选型分界线我直接给结论：如果你仓库的调度，90% 的情况都能写成 if-else，就别碰强化学习。老老实实写规则，省钱省心。强化学习是给剩下那 10% 的幺蛾子准备的——订单波形天天变、多车协同互相打架、人工规则越写越长最后没人敢动的，那种地方。
反常识的判断来了：强化学习最吃香的，从来不是“效率最高”的场景，而是“扰动最多”的场景。流程越乱、例外越多，它相对规则的优势越大。你的仓库要是个标准流程跑得顺顺当当的，上强化学习属于大炮打蚊子，蚊子没打着，炮弹钱先花出去了。
最后算账。投入侧：仿真建模至少两三个工程师干两三个月，训练要 GPU，数据管道要搭，上线后还要持续训练——这是一笔持续投入，不是一锤子买卖。产出侧：调度提效一般换算成三样东西：UPH 涨了几个点、车队能不能少买两台、高峰期少加多少人。你自己套公式：年节省 = 提效点数 ×（年人工成本 + 设备折旧）。别信厂商 PPT 上的 30%，按仿真数字打五折再算，算出来回本周期超过两年的，先放放。
维护的坑单独说一句：模型是会“过期”的。SKU 结构一变、促销节奏一变、仓库布局一调，策略就得重训。这意味着你养的不是一套软件，是一个需要持续投喂的“电子宠物”。团队里要是没有懂数据的人，这宠物三个月就饿死了。
所以，这钱花得值不值，看这一个数：你的仓库里，调度员每天处理“计划外”情况的时间占比。低于两成，老老实实写规则；高于四成，强化学习才有戏。卡在中间？先把规则写好，把数据攒够，时机到了再说。
作者：大刘｜自动化设备工程师
