WMSがダウンしても倉庫は止まってはならない：WMS災害復旧・RPO・訓練プレイブック

まず結論から：WMSの災害復旧は、買って忘れるバックアップ製品ではない。実行可能な3つの問いへの答えである。システムがダウンしたとき、倉庫は出荷を続けられるか。どれだけのデータを失ってもよいか。そして、再び注文を受けられるようになるまでどれくらいかかるか。この3つの答えが文書化されていなければ、本番稼働前夜のチェックリストにチェックは入らない。私はこの失敗をちょうど3回見てきたが、関係した倉庫はすべてバックアップがあると信じていた。

WMSの災害復旧が実際にカバーしなければならないこと

WMSがダウンすると、チェーン全体が止まる。入荷は最初のゲートで滞る。荷物は置き場タスクなしに到着するため、パレットがドックに積み上がる。ピッキングは崩壊する。タスクがリリースされず、ベテランは記憶に頼って作業し、新人は待つ。出荷が最も痛い。ラベルが印刷できず、運送会社のトラックは空で出発し、カットオフを逃すと注文は翌日にずれ込む。請求は忘れられがちな失敗である。出庫記録が書き戻されていない出荷済み商品は、月末に在庫消失と未照合の売上として表面化する。

したがって復旧計画は、1つのデータベースではなく4つの業務を守らなければならない。入荷、ピッキング、出荷、そして請求である。4つすべてが止まっているあいだディスク上のバックアップファイルは安心材料にすぎず、安心材料は注文を出荷しない。

午前3時の教訓：バックアップは存在したが、リストアは存在しなかった

2024年11月、中国東部のサードパーティ倉庫から障害の最中に電話がかかってきた。3 a.m.ごろ、システムディスクが故障し、WMSが起動しなくなった。トラック6台が荷降ろしを待ち、4,000件超の注文がピッキング待ちだった。当直マネージャーはまず正しいことをした。バックアップからのリストアである。だが途中で止まった。最新のフルバックアップは3日前のもので、その間の増分バックアップはディスク満杯のため2日間失敗していた。

さらに悪いことに、フルリストアを端から端まで歩いた者は誰もいなかった。エンジニアはデータベースの認証情報、バックアップファイルの場所、リストアツールのバージョンを探し回った。その3点を見つけるだけでもうすぐ2時間かかった。システムは10 a.m.ごろ復旧したが、データは3日前で止まっており、3日分の記録を紙の伝票と運送会社ラベルのコピーから手作業で再入力しなければならなかった。経理は丸1週間照合に費やした。

覚えておくべき文が2つある。3日前のバックアップはバックアップがないのと同じであり、1人のエンジニアの頭の中にだけあるリストア手順は手順がないのと同じである。私はこの落とし穴を3回見てきた。変わるのはドアの名前だけである。

平易な言葉でのRPOとRTO、計算例付き

RPOはどれだけのデータを失ってもよいかに答える。RTOはどれだけダウンしていてよいかに答える。RPO、すなわち目標復旧時点は、障害とリストアされたデータが到達する時点との間隔であり、その中にあるものはすべて失われる。RTO、すなわち目標復旧時間は、システムが再び注文を受け、ピッキングをリリースし、ラベルを印刷できるようになるまでに許される時間である。

自分の数量で計算してみよう。倉庫が12時間シフトで1日6,000件の注文を処理し、1時間平均500件と仮定する。RPOが24時間なら、最悪の場合は丸1日分、約6,000件を再入力することになる。RPOを1時間に絞れば、最悪の場合は約500件に減る。これらの数字は例示であってベンチマークではないが、方法はそのまま使える。自分の数量とシフト長を入れれば、作業量が現れる。

RTOも同じであり、技術チームだけでは決められない。運送会社のカットオフが4 p.m.で、システムが10 a.m.に故障した場合、8時間のRTOでは復旧が6 p.m.に終わり、すべての注文がカットオフを逃した後になる。カットオフ、集荷時間帯、顧客への出荷約束がRTOの上限を決める。ここに直感に反する判断がある。小さいことは必ずしもよいことではない。小さな倉庫が15分のRTOを書き留めれば、決して達成できない目標を掲げることになり、本当の障害時には何をまず守るべきか誰も分からなくなる。

バックアップ手法の選択：3つの選択肢の比較

まずRPOを決め、次にそこからバックアップ頻度を導くこと。one hourのRPOは日次フルバックアップでは満たせない。そして、当たり前に聞こえるが失敗するまで分からないことを1つ確認すること。バックアップは本番と同じマシンや部屋に置いてはならない。両方を一緒に奪った事故を私は見たことがある。分離したストレージと、ファイルが実際に開くことの定期チェックは、より高価な製品に勝る。

バックアップが機能することを証明するWMS災害復旧訓練

訓練は年に一度の催しではない。手順が体に染み込むまで繰り返す、リハーサルされた手順である。すべてのステップに担当者と経過時間を記録すること。

1. 訓練の時間枠を1週間前に設定し、繁忙期とカットオフを避ける。カスタマーサービスと運送会社に通知する。
2. 訓練はコピーデータのみを使うことを確認する。本番記録には一切触れない。
3. 書面のマニュアルに従ってバックアップファイルからリストアし、RTO目標に対する実際のステップごとの時間を記録する。
4. 3種類のデータをスポットチェックする。前日の入荷記録、未完了のピッキングタスク、出荷済みだが請求戻しされていない注文。
5. フルサイクルを1回実行する。入荷タスクを作成し、ピッキングタスクをリリースし、テストラベルを印刷する。3つすべてに合格しなければならない。
6. 24時間以内にレビューを書く。経過時間、停滞したステップ、不足している認証情報、ギャップごとの修正日。

2023年6月、中国南部の自動車部品倉庫が、ステップ5がなぜ重要かを示した。そのバックアップは数か月間きれいに動いていたが、初めての本当のリストアで、製品バーコードの相互参照テーブルが欠けていることが判明した。システムは起動したが、すべてのスキャンが製品と一致しなかった。訓練で見つかったため、修正は1日午後の作業で済んだ。本当の障害時であれば、丸1日の出荷を失うところだった。一度もリストアされたことのないバックアップはバックアップではない。

ドックを動かし続ける紙のフォールバック

優れた復旧でも時間はかかるし、そのあいだドックは止まれない。紙のフォールバックキットを事前に印刷して現場に置いておくこと。白紙の入荷ログ、白紙のピックシート、白紙の出荷レジスター、そしてその日の未処理注文を印刷する手段。

紙の手順を事前に固定する。入荷は仕入先、製品、数量、ロケーションを記録する。ピッキングはシートに従い、注文ごとにチェックを入れる。出荷は注文番号、運送会社、ラベル番号を記録する。復旧後、すべての紙の記録を順番に再入力し、再入力が完了するまで伝票は1枚も破棄しない。再入力には2人目の目を付ける。プレッシャーの中で1人が再入力すると、誤った注文が復旧したシステムに焼き付けられるからである。

紙のフォールバックは、復旧時間を買う緩衝材である。2時間の停止を2時間の紙のフローでカバーすれば出荷約束は守られるが、2時間のアイドル時間に滞留を加えれば4かかる。

本番稼働前夜のチェックリスト：チェックなしに承認なし

これは私がすべての導入を締めくくるチェックリストである。空のボックスがある状態で本番稼働を承認してはならない。

• RPOから導かれたバックアップ頻度。頻度、保持期間、場所を文書化。
• 本番とは別に保管されたバックアップ。オフサイトコピーがダウンロード可能で開けることを検証済み。
• リストアマニュアルに認証情報、ツールバージョン、ファイルパスがあり、誰にも尋ねずに見つけられる。
• 本番稼働前にフルリストア訓練を完了。経過時間をRTOと照合し、超過を修正済み。
• 紙のキットを印刷し、入荷と出荷に配置済み。監督者が場所を知っている。
• 再入力と2人目のチェッカーのルールを夜間と早朝のシフトにも周知し、日勤シフトだけにしない。
• 通知チェーンをテスト済み。誰が障害を見つけ、ベンダーに連絡し、顧客に通知するか、それぞれに予備の連絡先あり。

よくある失敗点：最後のチェック

失敗は誰も所有していない隙間に潜む。バックアップジョブは監視されずに動き、ディスク満杯が2日間気付かれない。リストアマニュアルはある1人のノートパソコンにあり、その人が障害時に休暇中である。訓練はデータベースを年に1回リストアするが、フルビジネスサイクルを一度も回さないため、欠けた参照テーブルが隠れたままになる。紙のキットは印刷された後、監督者のキャビネットに施錠され、夜間は手が届かない。

復旧は、リストアが 日常になるまで練習されたかどうかにかかっている。今夜、コストゼロの行動が3つある。先週のバックアップジョブにエラーがないか確認し、リストアマニュアルの認証情報とパスが完全であることを確認し、夜間監督者に紙のキットがどこに保管されているか尋ねること。そうすれば計画は紙から現場へ移り、それこそが計画が意味を持つ唯一の場所である。

Lin Xiao（WMS導入コンサルタント）著 英語版からの翻訳。内容に相違がある場合は英語版を優先します。