先说结论:上线一套 WMS 或自动化系统,告警通道要按**一级(短信+电话)→二级(企业微信@群)→三级(企业微信普通消息)→四级(邮件日报)**四档配,响应时限分别是 5 分钟、30 分钟、4 小时、次日。所有告警都发短信的方案,我见过三次,三次都死在"告警疲劳"上——值班的人第 47 条短信开始就不再看了,第 48 条恰好是真火警。

为什么告警分级是实施问题,不是运维问题

很多项目把告警当成"上线后运维的事",实施顾问拍拍屁股就走。我做过 30 多个上线项目,负责任地说:告警规则必须在 UAT 阶段就定死,因为告警分级直接决定了异常处理流程,而异常处理流程是 WMS 蓝图里必须签字的部分。

2023 年 11 月,深圳一家做跨境电商的客户,WMS 上线第二个月。凌晨 2 点 14 分,系统因为接口队列积压触发了库存冻结告警——告警只发了邮件。值班主管的手机开了勿扰,邮件躺在收件箱里。第二天早上 8 点开工,2000 多个订单因为库存冻结发不出去,客服电话被打爆。直接损失:当天少发约 18000 单,按他们平均客单价 22 美元算,一天流水蒸发近 40 万美元,还不算平台延迟发货的罚款。这个坑我见过三次,每次都是"告警发了,但没人看"。

反常识的判断来了:告警漏看,90% 不是通道问题,是分级问题。 我见过另一个极端——美东一家 3PL,冷链仓的温度探头每 5 分钟波动一次就发一条短信,值班经理一晚上收到 60 多条短信,第三天直接把告警号码拉黑了。告警太多等于没有告警。分级的本质是保护值班人员的注意力,只让真正要命的事情吵醒他。

分步做法:四步配好告警触达链

第一步:先定义分级,一级告警不超过 5 类。

分级标准只看两个维度:影响范围 × 可挽回时间。一级告警的定义是"现在不处理,一小时内必出生产事故"。我给客户的模板一般是这样:

级别 定义 通道 响应时限 典型例子
一级 一小时内必出生产事故 短信+电话 5 分钟 WMS 宕机、冷链断电、消防联动
二级 影响部分作业,可撑几小时 企业微信@值班群 30 分钟 接口积压超阈值、AGV 大面积离线
三级 需要处理但不紧急 企业微信普通消息 4 小时 打印机缺纸、单台 PDA 故障
四级 统计类、趋势类 邮件日报 次日 昨日异常汇总、磁盘使用率 70%

注意:一级告警清单必须短。我定的铁律是不超过 5 类。超过 5 类,说明你没分清主次,等于没分级。

第二步:配值班轮班表,一个人最多连值两周。

值班表用"主+备"双岗:主值班负责响应,备值班只在主值班 10 分钟无应答时被电话叫醒。轮换周期建议一周一换,最长不超过两周——我见过让一个人连值一个月的,第三周他的响应速度明显变慢,问就是"习惯了,看到告警先 assuming 是误报"。

WMS 告警监控大屏与值班人员处理异常的仓库控制室

值班表要进系统:告警平台(如企业微信机器人、短信网关)必须能按日期自动路由到当班人,不能靠人工转发。人工转发是最大的单点故障——2024 年 3 月,华东一家 3PL 的值班主管请假,告警短信发到了他手机上,他在高铁上没信号,备值班压根不知道自己是备选。那次是一级告警:立库堆垛机故障,停线 3 小时,少出 9000 箱。

交接班也要有仪式感:每周一早上 9 点,当班人在企业微信群里发一条交接消息——上周几条一级告警、分别怎么处理的、有没有遗留问题。别小看这条消息,我见过不交接的仓,新值班的人对着一条凌晨的未读告警,完全不知道前任已经处理到一半,重复折腾两小时才发现是误会。

第三步:做升级链,超时自动往上捅。

升级链是这套设计里最容易被省略、也最救命的部分。规则很简单:

  1. 一级告警发出后 5 分钟,主值班未在系统里点"确认",自动电话打给备值班;
  2. 再过 10 分钟无人确认,自动电话打给运营经理;
  3. 再过 15 分钟,直接打给总经理,同时在企业微信管理群@所有人。

每一级升级都要留记录:谁在几点确认的、处理动作是什么。这个记录不是为了追责,是为了复盘——没有记录的告警流程,下次还会以同样的方式翻车。

第四步:上线前夜 checklist,把告警当成功能测。

这是我的口头禅,也是我每个项目上线前夜必做的事。告警测试清单:

  • 每类一级告警,人工触发一次,看短信+电话是否 1 分钟内到达当班人手机
  • 模拟主值班不接电话,看 5 分钟后是否自动升级到备值班
  • 企业微信机器人 token 是否为生产环境(测试环境的机器人发到测试群,上线后要切)
  • 短信网关余额是否充足(别笑,真有客户上线第三天短信发不出,欠费了)
  • 值班表是否已排到未来 4 周,且系统里路由正确
  • 四级邮件日报的收件人列表是否包含甲方 IT 负责人

常见翻车点:告警分级落地最容易踩的三个坑

翻车点一:测试环境和生产环境的告警混在一起。 测试人员半夜压测,触发一堆告警短信,值班人员被吵醒三次后,开始把所有告警当误报。解法:测试环境告警只走企业微信测试群,绝不碰短信通道。

翻车点二:一级告警清单越加越长。 上线半年后,各部门都来提需求:"我们这个也很重要,也加一级吧。"半年下来一级告警 20 多类,短信通道又堵死了。解法:分级清单的变更要走评审,实施顾问离场前把评审机制写进运维手册——新增一级告警,必须运营经理和 IT 负责人双签。

翻车点三:只管发,不管收。 告警发出去了,系统显示"已发送",但短信网关其实丢了 30%。解法:每月做一次"告警健康度"检查——统计发出数 vs 触达数,触达率低于 95% 就换网关。这个检查写进月度运维例会,别靠自觉。

算一笔账:配这套东西的成本,一年下来短信费用加告警平台费用,小仓大概 5000~8000 元,大仓 2~3 万元。而一次凌晨漏看一级告警的损失,前面两个案例摆在那:40 万美元流水蒸发、停线 3 小时少出 9000 箱。这笔账不用我多算。

最后给个可执行的建议:如果你正在做 WMS 选型或实施,把"告警分级方案"写进合同附件,和蓝图一起签字。别等到上线后半夜被电话吵醒,才想起来这事没人定。

作者:林晓|WMS 实施顾问