先说结论:接口挂了,最先知道的人不应该是客户,也不应该是仓库现场,而应该是你的监控系统。如果你的团队是靠客户投诉才发现接口断了,那监控就是摆设。这句话我讲过很多次,每次上线前夜我都会再讲一遍,因为这个坑我见过三次,每次的代价都不一样,但每次的根子都一样:没人把告警当成正经事来配。

第一次是在一个电商仓的项目上。WMS 和电商平台之间的订单接口,凌晨两点断了,没人知道。早上八点仓库开工,拣选员发现今天的单子比平时少了一大半,以为是淡季,还在群里说今天能早点下班。一直到上午十点,客服接到客户投诉"为什么我的单子两天了还没发货",大家才反应过来接口断了八个小时。那个上午,仓库积压的订单超过一千单,客服电话被打爆,运营经理在现场急得直转圈。这个坑我见过三次,第一次就是它。

第二次更典型。接口没完全断,是断断续续地丢单。系统显示一切正常,监控面板全是绿色,但每天总有百分之几的订单悄悄丢了。客户零星投诉,仓库以为是客户自己下单失败,拖了快两周才发现是接口在高峰期超时,导致部分订单没有回写成功。断断续续的故障比彻底断掉更难查,因为它不会触发任何一个简单的告警阈值。

第三次是反过来的:告警配得太多,手机一天响几十次,全是无关紧要的提示。运维同学被吵烦了,直接把告警群静音了。结果真正出事的那天,告警发出来了,没人看。监控配了等于没配。

三次坑,三种死法,但教训只有一个:WMS 对接的监控告警怎么配,决定了接口挂了之后谁先知道,以及知道之后多快能动手。

WMS 对接的监控告警,要看哪四个信号

WMS 对接的监控告警,第一步是先定好看什么。我做项目的时候,要求客户至少盯住四个信号。

第一个是连通性。接口能不能通,是最基础的信号。定时去探一下对方接口,通了就记一次,不通立刻告警。这个探活不能只看网络通不通,还要看业务层面通不通:能拿到一个真实的返回结果,才算通。很多项目只探网络,结果对方服务返回错误码,网络却是通的,监控就漏掉了。

第二个是成功率。订单推送、库存同步、物流回传,每一种接口都要单独算成功率。成功率一掉,哪怕只掉几个百分点,也要告警。前面说的断断续续丢单,就是成功率在悄悄下滑,但没人设阈值,所以没人发现。我的做法是按接口分开设阈值,核心接口的阈值设得更严,辅助接口可以放宽一点。

第三个是延迟。接口没断,但响应时间从一秒变成十秒,这就是出事的前兆。高峰期尤其要盯延迟,延迟一上去,超时丢单马上就跟着来。延迟告警的阈值要按业务高峰和低谷分开设,同一个阈值管全天,低谷期会误报,高峰期又报得太晚。

第四个是积压量。消息队列里堆了多少没处理完的单子,这是最直观的信号。正常情况下积压量应该在几十单以内波动,一旦超过几百单并且还在涨,说明下游处理不过来了。这个信号的好处是,它不依赖对方接口的返回,哪怕对方服务完全没响应,积压量也会自己涨起来。

这四个信号要同时看,少一个就有盲区。连通性告诉你通没通,成功率告诉你丢没丢,延迟告诉你快不快,积压量告诉你堵没堵。四个信号凑在一起,接口的健康状况才算看全了。

WMS 对接的监控告警怎么配:分级、分人、分时间

信号有了,下一步是告警怎么配。我的原则是三句话:分级、分人、分时间。

分级,就是把告警分成三级。一级是核心接口断了、成功率暴跌、积压量持续上涨,这种情况要立刻电话加短信通知值班负责人,半夜也要叫醒。二级是延迟超标、成功率小幅下滑,这种情况发消息到工作群,值班同学在上班时间处理就行。三级是提示类,比如对方接口偶尔一次超时但自动重试成功了,这种只记日志,不用打扰人。

分人,就是不同级别的告警通知不同的人。一级告警要通知到能拍板的人,不只是运维同学,还要包括运营负责人。接口断了影响的是发货,运营负责人必须第一时间知道,才能决定要不要启动手工应急方案。二级告警通知运维和实施同学就够了。三级告警谁也不用通知,记下来复盘的时候看。

分时间,就是白天和夜里的处理方式不一样。白天一级告警要立刻响应,夜里一级告警也要立刻响应,但二级告警可以等到早上再处理。很多团队的告警之所以被静音,就是因为不分时间,半夜三点为了一条提示类消息把人吵醒,吵两次人就烦了,烦了就静音,静音了真出事也没人看。

上线前夜的检查单:照着一项一项过

每次上线前夜,我都会拉着客户把下面这张检查单过一遍。这个坑我见过三次,所以这张单子上的每一项,都是拿真金白银换来的。

第一项,探活任务有没有跑起来?手动断一次接口,看告警能不能在几分钟内发出来。没演练过的告警,等于没配。

第二项,成功率阈值按接口设好了吗?核心接口和辅助接口是不是用的同一个阈值?是的话,分开。

第三项,延迟阈值按高峰低谷分开了吗?拿上周高峰期的延迟数据对一下,阈值设得合不合理,一眼就能看出来。

第四项,积压量的告警线是多少?超过多少单、持续多久才告警?这个数字要写下来,贴在运维值班表旁边。

第五项,告警通知的人对不对?一级告警的电话能不能打通?半夜换了值班人,通知名单更新了吗?名单过期是最常见的翻车点。

第六项,有没有静默期和去重?同一个故障五分钟内不要重复告警十次,重复告警是逼人静音的最快办法。

第七项,应急方案写好了吗?接口断了,仓库手工怎么发货?库存不同步,运营怎么核对?告警的终点不是"知道了",而是"有人按方案动手了"。

这七项过完,我才敢让项目上线。少一项,我都会要求先补上再上线,宁可晚上线一天,也不要上线之后半夜被客户投诉叫醒。

常见翻车点:这三个最容易被忽略

最后说三个最容易被忽略的翻车点。第一个是只监控自己的系统,不监控对方的接口。WMS 这边一切正常,不代表对方没出问题。对接是两个系统的事,监控也要覆盖两边,至少要探到对方的业务返回。

第二个是告警配好了没人认领。告警发到群里,人人都能看见,人人都不处理。每个级别的告警都要有一个明确的负责人,值班表要写到人、写到电话,群里发消息不等于有人负责。

第三个是上线之后再也不复盘告警。告警日志要定期看,误报多的阈值要调,漏报的场景要补。监控不是配一次就完事的,它要跟着业务量、接口数量、合作方变化一起长。

接口挂了谁先知道,这个问题的答案,决定了你的仓库是主动救火还是被动挨骂。监控配好了,接口断了三分钟你就知道,动手修,客户还没发现就修好了。监控没配好,接口断了八小时你才知道,那时候修什么都晚了,客户已经投诉了,订单已经积压了,损失已经造成了。

上线前夜,把这张检查单过一遍。花一个小时,省的可能是八个小时的故障和一千单的积压。这笔账,怎么算都值。

作者:林晓|WMS 实施顾问,做过 30+ 上线项目