あるベンダーは、自社のビジョンピッキングAIは「99.9%正確」だと言った。私は聞いた。「どこの現場で、どのSKUで、どんな照明の下で？」沈黙。するとピッチデッキが出てきて、ラボの数字が並んでいた。米国で20年倉庫業に携わってきた私は、ベンダーの数字をその場で翻訳することを覚えた。ラボ精度は、モデルがあなたの建物、あなたのSKU、そしてあなたの繁忙期を生き抜くまで、何の意味もない。
だから倉庫でAIを本番投入する際の私のルールはこうだ。ビッグバン切り替えはしない。AIはまず30日間シャドーとして並走する。見て、記録して、何も触らない。そして、その後—その時になって初めて—本番投入を話し合う。
シャドーモードはTeslaから盗んだアイデア
私の発明ではない。2019年4月、TeslaのAutonomy Dayで、同社は新しい自動運転ソフトの検証方法を説明した。顧客の車両上で「シャドーモード」で動作させるのだ—バックグラウンドで静かに動作し、車両の制御には一切触れず、ただ「私ならこうする」を記録し、実際の運転手の操作と比較する。Teslaは後にカリフォルニア州DMVに文書でこう記した。シャドーモードの機能は車両の制御を作動させず静かに動作するため、新しい挙動はフリートに届く前に実環境の条件で実証される、と。
倉庫版もまったく同じ形だ。AIが動き、人がオペレーションを動かし、AIの出力は記録されるだけで実行されない。たとえばAI補充提案を評価しているとしよう。シャドーモードでは、AIは毎日提案リストを生成するが、リストは外に出ない。ピッカーは元のプロセスで作業する。シフト終了時に、システムはAIの提案とベテランオペレーターが実際に行った作業を1行ずつ突き合わせる。一致、不一致、そして「AIが正気を失った」の3区分だ。
最後の区分が重要で、だからこそシャドーモードは「パイロット」ではない。パイロットは小規模とはいえ実ビジネスを実リスクにさらす—間違えば代償を払う。シャドーモードは全オペレーションをゼロリスクでカバーする—間違ってもログの1行に過ぎず、翌朝には出荷が続く。その30日間は、安心ではなく証拠を買う時間だ。ベンダーが99.9%と言ったら、30日間の差分ログを見せろと言おう。出せないなら、話すことは何もない。
30日間、3つの数字
30日が過ぎたら、手元に3つの数字があるはずだ。私のチェックリストはこの3つだけを見る—それ以外はノイズだ。
一つ目は一致率。AIの判断が、最終的に人間のオペレーターが行った判断とどれだけ一致するか。私の基準は、連続2週間で99%以上だ。言い回しに注意—「30日平均」ではなく「連続2週間」だ。平均は罪を隠す。2週間95%に続いて2週間100%なら、平均は立派な97.5%になるが、最初の2週間の問題はどこへ行ったのか。連続したクリーンな2週間こそ、モデルが運が良いのではなく安定していることを証明する。そして一致率はシナリオ別に記録する。標準SKU、異形アイテム、冷蔵・冷凍品は別々に採点する。混ぜれば弱点が平均の中に消える。
二つ目はレイテンシ。AIがデータを受け取ってから出力を出すまでの時間だ。私の基準は、人間が同じ判断にかける時間の3分の1以下に収まるP95レイテンシだ。人間より遅いAIに本番の席はない—現場は待てない。これはシャドーモード中に、本番データ量でしか正直に測れない。本番投入後、レイテンシはライン横の待ち時間になり、その時に発見するのでは遅すぎる。数千行のテストデータベースでベンチマークするなと誰かに言わせるな。
三つ目は支離滅裂率。AIの出力のうち、完全におかしいものの割合だ—冷蔵・冷凍品を常温保管に回せと提案したり、廃番SKUを発注したり、1つの注文を3つのウェーブに分割したり。ベテランなら絶対にしない間違いだ。私の基準は、30日間でゼロだ。一致率は交渉可能だが、支離滅裂は交渉不可だ。おかしな出力が1つでもあれば、モデルはあなたの業務の境界を理解していないということだ。そのAIはいずれ必ず痛い目に遭わせる。
ゴー／ノーゴー会議
データを手に、会議を1回開く。4者固定席だ。倉庫オペレーション責任者、IT、AIベンダー、そして信頼できる独立した声—外部アドバイザーか、現場を本当に知るベテラン社内人材だ。この会議の仕事は一つだけ。3つの数字と基準を突き合わせ、ゴーかノーゴーかを投票する。
ゴーとは、3つの基準をすべてクリアし、最終2週間で安定し、例外リストがゼロであることだ。ノーゴーとは、基準が1つでも未達か、支離滅裂な出力が1件でも記録されたことだ。中間はない。「様子を見よう」もない。もう1週間様子を見るということは、シャドーモード31日目ということだ—データが決める。並走を延長するか、ロールアウトを潰すかだ。「既知の問題を抱えたまま本番投入」はメニューにない。
もう一つ、多くのチームが見落とす点。切り替え自体を段階的にすることだ。1ライン、1シフト、フルロールアウト前のクリーンな1週間だ。Knight Capitalの惨事を逆から読めば教訓は明らかだ。2012年8月1日、トレーディング会社は新しい注文ルーティングコードを直接本番に投入し、ある見落とされたサーバーで休眠ルーチンが目を覚まし、誰も時間内に止められなかったため、約45分で約440 millionドルが蒸発した。新しいコードをまず1台のサーバーで動かしていれば、惨事は起きなかった。倉庫も同じだ。AIをベテランが見守る中で1つのシフトで「本番投入」させ、1週間様子を見る。これが10回のレビュー会議に勝る。その段階的1週間は、朝のハドルで1つの数字だけを追う。AIが昨日触った注文は幾つで、幾つ間違ったかだ。
ロールバック計画は必要になる前に書く
インシデントの後に書いたロールバック計画は、計画ではなく事後検証だ。私の計画は3項目で、3つとも切り替えの前に書いてリハーサルする。
一つ目はキルスイッチだ。WMSのAIモジュールは設定トグルでなければならない。コードのデプロイであってはならない。スイッチを切れば、オペレーションは5分で完全マニュアルに戻る—文書化して祈るのではなく、本当にリハーサルする。Knight Capitalは「何かおかしい」から手動でシステムを止めるまでに45分かかった。倉庫では45分あれば、1シフト分の出荷をまるごと間違ったゾーンに誤送し、明日のキャリアをドックに並ばせるのに十分だ。
二つ目はデータ隔離だ。本番期間中にAIが触れたものはすべてタグ付けする—AIが調整したスロット提案、AIがマージしたウェーブ、AIが変更した発注点—そうすれば、ロールバックで一気に剥がせ、マニュアルプロセスの履歴を汚染しない。さもなければ何か月もAIの残渣と格闘することになる。タグ付けルールは切り替え後ではなく、シャドーモード中に定義する。
三つ目は指名された責任者だ。誰がロールバックを呼ぶのか。私のルールはこうだ。フロアオペレーション責任者が拒否権とキルスイッチの権限を持ち、ITへのエスカレーションは不要、ベンダーが来るのを待つ必要もない。問題が起きたら1分1秒が金で、承認チェーンが終わる頃には貨物はもう出ている。その権限は爆発した日ではなく、初日にプロジェクト憲章に書く。
AmazonはSparrowでこのやり方をした。2022年11月に公開されたAIビジョンピッキングアームだ。フリート全体へのロールアウトではなく、Amazonはテキサス州サンマルコスのフルフィルメントセンターでパイロットし、パイロット中に不良率を65%削減して、それから初めて展開を広げた。あの規模とあのエンジニア部隊を持つAmazonが、スケール前にパイロットするなら、他社がビッグバン切り替えをする言い訳は誰にもない。
今まさにAIプロジェクトを交渉しているなら、契約に1条項加えよう。支払いマイルストーンはシャドーモード受入れに連動する。通過なし、最終支払いなしだ。署名するベンダーは自社モデルを信じている。署名しないベンダーは、あなたに授業料を節約してくれただけだ。30日間のシャドーモードは、夜よく眠るための代価だ。
英語版からの翻訳。内容に相違がある場合は英語版を優先します。
