先说结论:接口监控告警没做好,接口挂了,仓库永远是最后一个知道的——不是因为没人盯着屏幕,而是因为大家盯的都是“有没有报错”,没人盯“该来的东西没来”。接口监控告警的核心就一句话:盯住“没发生的事”。
这个坑我见过三次。第三次最惨,2023 年黑五前夜,一家做家居电商的客户仓,WMS 对接的快递面单接口在凌晨 1 点多悄悄断了。不是报错断的,是面单服务商那边 token 过期,请求直接被静默拒绝,连一条错误日志都没落到我们这边。值班的人看了一眼监控大屏:全绿。没有报错,没有异常,没有告警。
早上 6 点,拣货组到岗,发现待打单队列是空的。第一反应是“今天单量少”,没人当回事。7 点半,客服电话打进来,客户问为什么昨晚下的单到现在还没发货。翻出来一看:凌晨 1 点到早上 7 点半,六个半小时,积压了 1,800 多单,面单一单没打出来。当天全仓停下手里的活,先抢这 1,800 单,晚发赔了运费升级的钱不说,平台店铺的延迟发货率直接爆了表。
复盘的时候,所有人都在问同一个问题:六个半小时,系统就没发现少了 1,800 单吗?答案是没有。因为当时的监控只接了“接口报错率”,报错率是零,监控就觉得一切正常。没人给“订单流”本身装一个水表——水龙头开着,水表不动,这才是最该报警的事。
接口监控要盯四层,少一层都是摆设
这个坑我见过三次,每次的教训都一样:只盯一层,等于没盯。我现在给客户搭监控,都是四层一起上,缺一层不签字上线。
第一层是心跳检测。每个外部接口每 5 分钟 ping 一次,返回的不是 200 就报警。注意,ping 的必须是真实业务接口,不是服务商的官网首页。首页活着、业务接口死了,这种事我见过不止一次。心跳失败两次就发告警,别等第三次。
第二层是订单流断点告警。这是黑五那次事故后我最坚持的一层。给每条订单链路设一个“静默阈值”:正常情况下,ERP 到 WMS 的订单流每 15 分钟至少有几单;超过 30 分钟一单没有,不管报错率是多少,直接发 P1 告警。旺季把阈值按时段调,凌晨 2 点到 5 点单量本来就少,阈值放宽到 60 分钟,但绝不能关掉。很多仓的订单流断点告警就是死在“凌晨没单很正常”这句话上——没错,凌晨没单正常,但六个半小时没单,绝对不正常。
第三层是 EDI 997 回执。走 EDI 的客户注意了:997 回执只证明对方的翻译器收到了你的文件、结构能解析通过,它不证明对方的业务系统接受了这单,更不证明货会按时发。850 采购单拿了个干净的 997,照样可能因为价格不对、停产、交期接不住而被业务上拒绝。我见过一个客户,997 全绿,三个星期后财务问为什么 810 发票没人付——单子在对方 ERP 里卡住了,根本没人处理。正确的做法是把“传输状态”和“业务状态”分开盯:997 管前者,855 订单确认、856 提前发货通知、810 发票管后者,两张表都要有人看。
第四层是面单接口丢单排查链路。面单丢单最难查,因为它卡在 WMS 和快递服务商中间,两边都说自己没问题。我的做法是给每个面单请求留三段日志:WMS 发出时间、服务商返回时间、面单号回填时间。三段对不上,立刻能定位卡在哪一段。黑五那次如果有这三段日志,凌晨 1 点半就能发现请求根本没发出去,而不是等到早上 7 点半。
告警太多,等于没有告警
反常识的判断来了:告警不是越多越好。告警太多,等于没有告警。
我接手过一个客户,监控接了 40 多个告警项,值班手机一天响 200 多次。第三天开始,值班的人把所有告警都设成了静音。第四天,真正的 P1 故障来了,手机静悄悄的,仓库停了 3 个小时才发现。告警疲劳比没有告警更危险,因为它给了管理层一种“我们已经监控了”的幻觉。
所以告警必须分级,而且分级要狠。P1 只有一种:影响出库、影响打单、影响客户承诺的故障。P1 直接打电话给值班负责人,15 分钟没人接就升级给经理,30 分钟没人处理就升级给总监。P2 是“现在不影响出库、但 2 小时内会出问题”的苗头,比如某个接口响应时间翻倍、某个队列开始积压。P2 只发短信和群消息,不打电话。P3 是趋势类提醒,比如某接口本周超时次数比上周多了三成,P3 只进日报,不打扰任何人。
分级的标准不是技术严重程度,是业务影响。接口返回 500 错误但自动重试成功了,业务没受影响,那就是 P3,不是 P1。订单流断了 30 分钟,报错率是零,那是 P1。这个判断标准要在上线前写下来,贴在值班表旁边,别让值班的人半夜自己猜。
值班表本身也有讲究。三个人轮值是底线,两个人轮值,迟早有一天两个人同时请假。值班表要写清三件事:谁是第一响应人、谁是升级联系人、什么情况下可以直接叫醒开发。最后一项最重要——我见过值班的人半夜发现故障,不敢叫醒开发,自己在那折腾了 4 个小时,最后还是得叫醒开发。上线前夜检查清单里必须有一条:所有值班人亲手打通过一次升级电话,确认号码是对的。
上线前夜检查清单,照着抄就行
每次上线前,我都让客户照着这张表过一遍,缺一项不上线:
- 每个外部接口的心跳检测已接通,故意断一次,确认告警 5 分钟内到达。
- 每条订单链路的静默阈值已设好,旺季和凌晨用两套阈值。
- EDI 客户的 997 回执监控和业务单据对账分开两张表,都有人认领。
- 面单接口三段日志已打通,能按单号查到发出、返回、回填三个时间点。
- P1/P2/P3 分级标准已写下来,值班表上的三个人都签字确认过。
- 升级电话亲手打通过一次,号码有效,半夜能叫醒人。
- 做一次故障演练:拔掉一个接口,看多久有人发现、多久有人处理、多久恢复。
第七条最容易被跳过,也最重要。黑五那个客户,演练是上线后第三个月才做的,演练结果是:发现故障用了 40 分钟——比真实事故的六个半小时强,但还是太慢。后来他们把静默阈值从 60 分钟改成 30 分钟,演练成绩进了 15 分钟以内。
接口监控这件事,说到底不是技术问题,是责任问题。系统不会自己告诉你它病了,你得先教会它在什么时候喊疼。把四层监控搭好,把告警分级定死,把值班表写清楚——然后做一次演练,亲眼看它喊一次,你才算真的有监控。
作者:林晓|WMS 实施顾问







