結論を先に言います。倉庫システム統合監視アラートが決めるのは、障害を数分で見つけるか、顧客から数時間後に知らされるかです。倉庫はいつも最後に気づきます。誰も画面を見ていないからではなく、皆がエラーを監視していて、起きるはずだったのに起きなかったことを誰も監視していないからです。倉庫システム統合監視アラートの仕事は、ひとことで言えばこうです。起きなかった出来事を監視せよ。
私はこの失敗をちょうど3回見てきました。最悪だったのは、2023年のブラックフライデー前夜、ある家庭用品EC倉庫での出来事です。WMSと宅配キャリア間のラベルAPI接続が、午前1時過ぎに静かに死にました。エラーで死んだのではありません。キャリアのトークンが期限切れになり、リクエストは黙って却下されていました。エラーログには何も残りませんでした。当番の担当者が監視ダッシュボードをちらっと見ました。すべて緑。エラーなし、異常なし、アラートなし。
午前6時にピッキングチームが出勤すると、ラベルキューが空っぽでした。最初の考えは「今日は受注が少ないだけだろう」というものでした。誰も心配しませんでした。7時30分にカスタマーサービスの電話が鳴り始めました。昨夜の注文がなぜ出荷されていないのか。調べてみると、原因が見つかりました。午前1時から7時30分までの6時間半、1,800件を超える注文がたまり、ラベルは1枚も印刷されていなかったのです。倉庫全体がすべてを止めて、その1,800件の処理に追われました。特急配送へのアップグレードが利益を食いつぶし、店舗の遅延出荷率は上限を突破しました。
事後分析で、皆が同じ質問をしました。6時間半のあいだ、システムは本当に1,800件の注文が欠けていることに気づかなかったのか。答えはノーでした。監視していたのはインターフェースのエラー率だけ。エラー率はゼロだったので、監視はすべて正常だと思い込んでいたのです。受注フローそのものにメーターをつけた人は誰もいませんでした。蛇口は開いているのに、メーターが動いていない。それこそがアラームを鳴らすべき事態です。
統合監視:4層なければやる意味なし
私はこの落とし穴に3回はまり、教訓はいつも同じです。1層だけ見るのは、まったく見ていないのと同じです。今ではクライアント向けに構築する監視はすべて4層あり、どれか1つでも欠けたまま本番稼働の承認はしません。
第1層はハートビートチェックです。すべての外部インターフェースを5分ごとにpingし、成功応答が返ってこなければアラートを出します。大事なポイントが1つあります。ベンダーのホームページではなく、実際の業務エンドポイントをpingすることです。業務APIが死んでいるのにホームページは生きているのを、私は何度も見てきました。ハートビートが2回連続で失敗したらアラートです。3回目を待ってはいけません。
第2層は受注フロー沈黙アラートです。あのブラックフライデーの一件以来、私が最も強く求める層です。すべての受注パイプラインに沈黙のしきい値を設けます。通常時、ERPからWMSへのフローは15分ごとに少なくとも数件の注文を運ぶはずです。30分間何も届かなければ、エラー率が何と言おうとP1アラートを出します。ピークシーズンは、時間帯ごとにしきい値を設定します。午前2時から午前5時までは量が自然に少ないので、しきい値を60分に広げます。ただし、決してオフにしてはいけません。「夜に注文がないのは正常だ」と言って沈黙アラートを切る倉庫は多いものです。その通りです。しかし6時間半も注文がないのは、決して正常ではありません。
第3層はEDI 997確認応答です。EDIを使っているなら、ここに注意してください。997が証明するのは、ごく狭い1つのことだけです。取引先のトランスレーターがファイルを受け取り、その構造を解析できたということだけです。取引先の業務システムが注文を受け入れたことは証明しませんし、商品が期日どおり出荷されることも当然証明しません。850の発注書は、完璧にクリーンな997を得ても、商業的には拒否されることがあります。価格が間違っている、商品が廃番になっている、売り手が守れない出荷期間になっている。あるクライアントが、997が緑のまま3週間座り込んでいるのを見ていました。財務が「なぜ810の請求書が一度も支払われていないのか」と尋ねるまで。注文は取引先のERPの中で止まっていて、確認応答が皆の頭の中でチケットを閉じてしまったので、誰もその層を見ていなかったのです。対策は、2つの状態を別々に追うことです。997が担う輸送状態と、855の受注確認応答、856の出荷通知、810の請求書が担う業務状態です。両方に責任者が必要です。
第4層はラベルAPIの追跡チェーンです。ラベル紛失は、WMSとキャリアのあいだに位置するため、診断が最も難しい障害です。両者とも「自分たちは何もしていない」と主張します。私の対策は、ラベル要求ごとに3つのタイムスタンプを記録することです。WMSが送信した時刻、キャリアが応答した時刻、ラベル番号が書き戻された時刻です。この3つがそろわなくなった瞬間、どの区間が詰まっているかが正確に分かります。あのブラックフライデーの倉庫にこの3つのタイムスタンプがあれば、誰かが午前1時30分に、リクエストが建物の外に出ていないことに気づいていたはずです。午前7時30分ではなく。
監視アラートが多すぎるのは、アラートがないのと同じ
直感に反する話がここにあります。アラートが多ければ監視が良いわけではありません。アラートが多すぎるのは、アラートがまったくないのと同じです。
私が引き継いだあるクライアントでは、監視が40種類以上のアラートを発し、当番の電話は1日に200回以上鳴っていました。3日目には、当番エンジニアはすべてをミュートしていました。4日目に本物のP1障害が発生しましたが、電話は沈黙したままで、誰も気づくまで倉庫は3時間止まったままでした。アラート疲れは、アラートがないことよりも危険です。監視が存在するという錯覚を経営層に与えるからです。
だからアラートには段階分けが必要で、その段階分けは容赦ないものでなければなりません。P1が意味するのは、ただ1つのことです。出荷、ラベル印刷、あるいは顧客への約束を何かが止めている、ということです。P1は当番リーダーに直接電話をかけます。15分以内に応答がなければ、マネージャーへエスカレーションします。30分間何も対応がなければ、ディレクターへ上がります。P2は、まだ出荷を傷つけていないが、2時間以内に傷つける、という意味です。インターフェースの応答時間が倍になった、キューがたまり始めた。P2はテキストとグループメッセージを送り、電話は決してかけません。P3はトレンドレベルです。あるインターフェースのタイムアウトが、先週より今週は30パーセント多くなった。P3は日報に入り、誰の邪魔もしません。
段階分けの基準は、技術的な重大度ではなく、業務への影響です。インターフェースがサーバーエラーを返しても、自動リトライが成功し、注文に影響がなければ、それはP1ではなくP3です。受注フローがエラー率ゼロのまま30分間沈黙しているなら、それはP1です。このルールは本番稼働の前に書き出し、当番表の横に貼ってください。午前3時に誰も推測しなくて済むように。
当番表そのものにも気を配る必要があります。ローテーションは3人が最低限です。2人だと、遅かれ早かれ同じ日に2人とも休みになります。当番表は3つの質問に答えなければなりません。誰が最初に対応するか、エスカレーション先は誰か、そして開発者を起こしてよいのはどんな条件か。最後の1つが最も重要です。開発者を起こすのが怖くて、夜に障害と4時間も1人で格闘した当番エンジニアを見たことがあります。そして結局、開発者を起こすのです。
本番稼働の夜のチェックリスト
本番稼働の前には、必ずクライアントにこのリストを歩かせます。1つでも欠ければ、本番稼働はありません。
- すべての外部インターフェースでハートビートチェックが稼働していること。1つを意図的に壊し、5分以内にアラートが届くことを確認する。
- すべての受注パイプラインに沈黙のしきい値が設定されており、ピーク時間用と夜間用の2セットがあること。
- EDIパートナーについては、997確認応答の監視と業務文書の照合が別々のビューになっており、それぞれに責任者が指名されていること。
- 3つのタイムスタンプによるラベル追跡が機能しており、任意の注文番号で送信・応答・書き戻しの時刻を確認できること。
- P1/P2/P3の段階分けルールが文書化され、当番表の3人全員が承認していること。
- エスカレーション用の電話番号を手でダイヤル済みであること。つながり、夜に人を起こせること。
- 障害訓練を実施すること。1つのインターフェースを止め、誰かが気づくまで、対応するまで、復旧するまでにどれだけかかるかを測ること。
7番目が最もよく飛ばされる項目で、最も重要です。ブラックフライデーのクライアントは、本番稼働の3か月後に初めて訓練を行いました。障害に気づくまで40分かかりました。実際の事故の6時間半よりはるかに良いですが、それでも遅すぎました。沈黙のしきい値を60分から30分に絞り、次の訓練では15分を切りました。監視は技術の問題ではありません。責任の問題です。そして訓練こそ、それを本当に持っていることの唯一の証明です。
Lin Xiao(WMS導入コンサルタント)著 英語版からの翻訳。内容に相違がある場合は英語版を優先します。








