まず結論から言います。連携がダウンしたとき、最初に知るべき人は顧客でも倉庫の現場でもありません。監視システムであるべきです。顧客からの苦情で初めてチームが気づくようなら、監視は飾り物です。本番稼働の前に毎回こう言い、本番稼働の夜にも繰り返します。なぜなら、この失敗を三回見てきたからです。コストは毎回違いましたが、根本原因は毎回同じでした。誰もアラートを真剣な仕事として扱っていなかったのです。

一回目は、EC倉庫でのことでした。WMSとマーケットプレイスの間の受注インターフェースが午前二時にダウンしました。誰も気づきませんでした。八時に倉庫が開き、ピッカーたちがその日の注文がいつもよりはるかに少ないことに気づき、誰かが早く帰れると冗談を言いました。十時になって、カスタマーサービスに「注文が二日間発送されていないのはなぜか」という問い合わせの電話が入り始めて、初めてインターフェースが八時間ダウンしていたことに誰かが気づきました。その頃には滞留は千件を超え、サポートの電話はパンクしていました。これが、この失敗を初めて見たときでした。

二回目はより典型的で、見つけるのがより難しいものでした。インターフェースは完全には止まらず、注文を断続的に落としていました。ダッシュボードは緑のままでしたが、毎日数パーセントの注文が静かに消えていきました。顧客は散発的に苦情を言い、倉庫は注文し損ねたのだろうと思い込み、ピーク時にインターフェースがタイムアウトし、一部の注文が書き戻されていなかったことに気づくまでほぼ二週間かかりました。断続的な障害は、完全な停止よりも見つけるのが難しいのです。なぜなら、単一のアラートしきい値を一度も超えないからです。

三回目は逆の問題でした。アラートが多すぎたのです。電話が一日に何十回も振動し、そのほとんどがノイズでした。運用エンジニアはうんざりしてアラートグループをミュートしました。だから本当に何かが壊れた日、アラートは送られたのに誰も見ませんでした。ミュートされた監視は、監視がないのと同じです。

三つの失敗、三つの死に方、しかし教訓は一つです。WMSの監視とアラートをどう設定するかが、連携がダウンしたときに誰が最初に気づくかを決めます。

WMS連携監視が見るべきもの:四つのシグナル、すべて必要です

WMS連携の監視とアラートの設定は、何を見るかを決めることから始まります。私のプロジェクトでは、クライアントに少なくとも四つのシグナルを見るよう求めています。

一つ目は接続性です。インターフェースにそもそも到達できるかどうか。パートナーのインターフェースを定期的にプローブします。成功したプローブは記録され、失敗したプローブは即座にアラートを出します。そしてプローブは、ネットワーク接続だけでなく業務接続を確認しなければなりません。健全だと言える前に、実際に返ってくる応答が必要です。多くのプロジェクトはネットワークしかプローブせず、ネットワークが生きている間にパートナーのサービスがエラーコードを返しても、監視はそれを完全に見逃してしまいます。

二つ目は成功率です。注文送信、在庫同期、出荷コールバック、それぞれのインターフェースに独自の成功率が必要です。成功率が下がったら、たとえ数パーセントでも、アラートを出すべきです。先ほど説明した断続的な注文の消失は、誰もしきい値を監視していない中で成功率が静かに下がっていったものでした。私のやり方は、インターフェースごとにしきい値を設定し、コアのインターフェースは厳しく、支援的なインターフェースは緩くすることです。

三つ目はレイテンシです。インターフェースは動いていますが、応答時間が一秒から十秒に伸びました。これは警告サインであり、ピーク時に最も重要です。レイテンシが上がれば、タイムアウトによる損失がすぐに続きます。レイテンシのしきい値は、ピーク時とオフピーク時で分ける必要があります。一日を通して一つのしきい値では、静かな時間帯に誤報を出し、ピーク時に遅すぎるアラートになります。

四つ目は滞留です。キューに未処理のまま何件のメッセージが溜まっているか。通常の状態では、滞留は数十件の範囲で変動するはずです。数百件を超えてさらに増え続ければ、下流側が追いつけていません。このシグナルの利点は、パートナーの応答に依存しないことです。パートナーのサービスが完全に無言でも、滞留はそれ自体で増え続けます。

四つのシグナルがすべて一緒に必要です。一つでも欠ければ死角ができます。接続性は動いているかどうかを、成功率は何かが失われていないかを、レイテンシは十分に速いかを、滞留は詰まっていないかを教えてくれます。四つそろって初めて、連携の健全性の全体像が得られます。

WMS連携の監視とアラートの設定方法:重大度、担当者、時間帯

何を見るかが決まったら、次はアラートをどう設定するかです。私のルールは三つの言葉です。重大度、担当者、時間帯。

重大度とは、アラートを三つのレベルに分けることです。レベル一は、コアインターフェースのダウン、成功率の崩壊、あるいは止まらない滞留の増加です。これは真夜中でも、オンコールのリーダーに電話とテキストですぐに送ります。レベル二は、しきい値を超えたレイテンシや成功率の小さな低下で、勤務時間中にオンコールエンジニアが対応できるよう作業グループに送ります。レベル三は情報提供のみで、例えば自動リトライで成功したパートナーの一度きりのタイムアウトです。これはログに残すだけで、誰の邪魔もしてはいけません。

担当者とは、レベルによって送る相手が違うことです。レベル一のアラートは、運用エンジニアだけでなく、意思決定できる人に届かなければなりません。運用リーダーにも届くべきです。インターフェースの停止は出荷に影響するので、運用リーダーはすぐに知り、手動のフォールバック計画を開始するかどうかを決めなければなりません。レベル二のアラートは運用エンジニアと実装エンジニアに送れます。レベル三のアラートは誰にも送りません。レビュー会議のためにあるものです。

時間帯とは、夜は昼と違って扱うことです。レベル一は昼夜を問わず即座に対応し、レベル二は朝まで待てます。午前三時に情報メッセージで人を二回起こせば、その人はグループをミュートします。そしてミュートされれば、誰も本物のアラートを見ません。

本番稼働の夜のチェックリスト:項目ごとに確認する

本番稼働の夜は毎回、クライアントと一緒に座って下のリストを一つずつ確認します。この失敗を三回見てきたので、リストの各項目は実際のお金で支払われたものです。

第一に、ヘルスプローブは実際に動いているか。インターフェースを手動で壊し、数分以内にアラートが届くか確認します。一度もテストされていないアラートは、アラートではありません。

第二に、成功率のしきい値はインターフェースごとに設定されているか。コアと支援のインターフェースが一つのしきい値を共有しているなら、分けてください。

第三に、レイテンシのしきい値はピーク時とオフピーク時で分けられているか。先週のピーク時のレイテンシデータと比較してください。

第四に、滞留のアラートラインは何か。何件で、どのくらいの期間でアラートを出すのか。その数字をオンコールの当番表の横に書き留めてください。

第五に、アラートの宛先は正しいか。レベル一の電話番号に連絡できるか。オンコールの当番は変わっていないか、通知リストは更新されたか。期限切れの連絡先リストは、最もよくある障害ポイントの一つです。

第六に、静寂期間と重複排除はあるか。同じ障害が五分間に十回アラートを出すべきではありません。繰り返しアラートを出すことは、チャンネルをミュートさせる最も早い方法です。

第七に、フォールバック計画は書き留められているか。インターフェースがダウンしたら、倉庫はどうやって手動で出荷するのか。在庫が同期を外れたら、運用はどうやって照合するのか。アラートの終点は「分かった」ではありません。「誰かが計画に従って行動する」です。

この七つの項目がすべて合格して初めて、プロジェクトを本番稼働させます。

人々が最も見落としがちな三つの障害ポイント

最後に、人々が最も見落としがちな三つの障害ポイントで締めくくります。一つ目は、自分のシステムだけを監視し、パートナーのインターフェースを監視しないことです。パートナーがダウンしている間、WMS側はすべて順調に見えることがあり、監視は両側をカバーしなければなりません。少なくともパートナーの業務応答までは。

二つ目は、担当者のいないアラートです。アラートがグループに届き、誰もが見られて、誰も対応しません。アラートの各レベルには名前のある担当者が必要で、当番表に名前と電話番号が載っていなければなりません。グループへのメッセージは、誰かが責任を持つことと同じではありません。

三つ目は、本番稼働後にアラートを一度も見直さないことです。アラートログは定期的に見直す必要があります。誤報が多すぎるしきい値は調整し、すり抜けたシナリオは追加します。監視は一度きりの設定ではありません。量、インターフェースの数、パートナーの変化とともに成長しなければなりません。

連携がダウンしたとき、誰が最初に気づくのか。その答えが、倉庫が先手を打って火を消すのか、受動的に責任を負うのかを決めます。監視が正しく設定されていれば、三分以内に気づき、顧客が気づく前に修正できます。なければ、被害が出てから八時間後に気づくことになります。

本番稼働の夜、このリストを確認してください。一時間の作業が、八時間の停止と千件の滞留を防げます。

Lin Xiao(WMS導入コンサルタント)著 英語版からの翻訳。内容に相違がある場合は英語版を優先します。