2025年9月、中国東部の3PL倉庫のゼネラルマネージャーから、画像認識パイロットについて相談を受けました。ベンダーのデモでは認識精度99.6%を達成し、契約書には「精度99%以上」とあり、受け入れ書類にはすでに署名が済んでいました。実運用の最初の1週間で、破損したラベル、反射テープ、曲がったバーコードが大量に流入し、精度はおよそ91%まで低下しました。手直しステーションでは、その混乱を片付けるために毎日2時間分の追加労働が必要になりました。彼は私に、誰の責任かと尋ねました。私の答えは、契約の責任だというものでした。AI POCの受け入れ基準が「99%以上」という一行だけで、テストセットの定義も、サンプリング方法も、測定手順もなければ、その一行は受け入れ会議において何の拘束力も持ちません。ベンダーは標準カートンのきれいな写真を2,000枚選べば、その数字は今でも成り立つのです。
これは孤立した事例ではありません。大手インテグレーター数社が公表している納品条件や、過去2年間に私が追跡してきた十数件の倉庫AIプロジェクトから判断すると、POCが死ぬ最も一般的な理由は、技術が失敗することではありません。受け入れ基準があまりに緩く書かれていたことです。
AI POCの受け入れ基準を測定可能な4つの数字に変える
デモで動く機能が本番で動くようになるには、3つの転換を乗り越えなければなりません。データ分布が変わり、運用リズムが変わり、例外が現れるのです。契約が成功をデモ環境の中だけで定義しているなら、その3つの転換はすべて買い手のコストになります。
| カテゴリ | 主要指標 | 測定方法 | よくある落とし穴 |
|---|---|---|---|
| 精度 | 認識または予測の精度、誤り率 | 実フローからの継続的サンプリング、少なくとも5,000単位、製品カテゴリ別に層化 | デモセットのみでテストすること、または最悪のカテゴリを示さずに全体精度だけを報告すること |
| 速度 | 単位あたりの処理時間、システム応答のP95 | ピーク時間帯を通じた継続測定、平均ではなく95パーセンタイルを使用 | 平均だけを報告し、遅延の長い裾野を隠すこと |
| 安定性 | 手動介入なしの連続稼働時間、障害からの復旧時間 | 72時間の連続稼働、すべての停止と復旧を記録 | 8時間の日勤のみをテストし、夜勤やシフト交代を一度もテストしないこと |
| コスト | 処理単位あたりのコスト、金額換算した労働力の節約 | 受け入れ期間中の実際の処理量と労働時間から算出 | ソフトウェアライセンスのみを数え、手直し、メンテナンス、例外処理を無視すること |
精度は、文言が最も誤りやすいところです。同じ「99%」でも、ベンダーが選んだデモセットで測定したのか、実フローで測定したのかによって、まったく異なる2つの世界を表します。契約には、テストセットが買い手の実際の貨物から来ること、サンプリングがすべての製品カテゴリと例外タイプをカバーすること、そして結果はカテゴリごとに判定され、最悪のカテゴリは全体平均の中に隠すのではなく別々に採点されることを明記すべきです。速度は平均ではなくP95値で書くべきです。倉庫が苦しむのは平均のときではありません。最悪の5%の注文がラインを詰まらせるときに苦しむのです。安定性は連続稼働時間で書くべきであり、72時間は実用的な目安で、日勤、夜勤、1回の引き継ぎをカバーします。
コストは、最も空虚な一文にされやすい指標です。「労働力の30%削減が見込まれる」は、ベースラインがないため受け入れられません。実用的な書き方は、まずベースラインを固定することです。POC前の2週間におけるそのプロセスの実際の単位あたりコストと労働時間です。そして受け入れ期間中に測定された値と比較します。手直し、例外処理、メンテナンス労働を含めなければ、ベンダーが節約した時間は手直しステーションで再び食いつぶされてしまいます。
デモデータでは合格、実フローでは不合格
2つ目の事例は、2024年末の広東省にあるEC倉庫のものです。ベンダーのAMRスケジューリングアルゴリズムは、ピッキング効率25%の向上を約束し、受け入れは閑散期の1つの波で測定されました。数字は素晴らしく見えました。ピークシーズンのシミュレーションを実行すると、向上幅は7%まで落ち、72時間の連続稼働の後、システムはスケジューリングのデッドロックに陥り、再起動に40分かかりました。契約には、連続稼働時間、復旧時間、ピーク時の同時実行性能について何も書かれていませんでした。POCは「合格」と判定され、問題は本稼働から3か月後に大量に表面化しました。そのときの手直しコストは、POC自体よりも高くついたのです。
両方の事例が同じ原因を示しています。POCのテスト環境と本番環境の間には体系的なギャップがあり、そのギャップの大きさは、誰のデータを使ったか、どのペースでテストしたか、どれだけ長くテストしたかによって決まります。デモデータはベンダーの安心できる領域であり、実データは買い手の日常の現実です。私の提案は、契約に3つのことを固定することです。第一に、テストデータは買い手の実際の貨物から来るもので、ピークシーズンの波のパターンと例外タイプをカバーするようサンプリングすること。第二に、受け入れ測定は少なくとも1回分の完全なピーク運用期間をカバーし、閑散期のウィンドウだけでは決してないこと。第三に、受け入れ期間は少なくとも2週間とし、1回のシフト引き継ぎと1回分の完全な例外処理サイクルを含めることです。
ここには直感に反する点があります。精度目標を高く設定すればするほど、POCは歪みやすくなります。99.9%という目標は厳密に聞こえますが、実際にはベンダーをデモセットへの過剰適合へと押しやりがちで、システムをより堅牢にすることよりも、テストセットを完璧に磨き上げることにエネルギーを注がせてしまいます。有用な受け入れ目標は、1つの印象的な数字ではなく、段階的な指標のセットです。全体精度、最悪カテゴリの精度、例外タイプのカバレッジの3つであり、すべてがそろって合格しなければなりません。トレードオフは明確です。見た目は緩くても構造的に完全な指標セットは、実際の貨物に対する信頼性を買います。1つの非常に高い数字は、たいてい良いデモを買うだけです。
受け入れに失敗したら、契約に出口が必要
指標が明確になったら、契約にはそれが満たされなかった場合に何が起こるかも書かなければなりません。多くのPOC契約にはここに一文しかありません。「受け入れに失敗した場合、双方は交渉する」というものですが、実際にはそれは口論を意味します。より持続可能な構造は、段階的な出口です。1回目の受け入れ失敗では、ベンダーは30日以内に1回だけ無料の是正措置を受けられ、その範囲とコスト上限は契約に明記されます。2回目も失敗すれば、買い手は契約を解除し、未使用の導入費用を回収し、納入済みのハードウェアを減価償却後の価値で精算でき、データとモデルの所有権は契約締結時に確定します。
その条項の価値は、計算すれば分かります。400,000元のPOCと4百万の本格導入予算を例に取りましょう。受け入れ基準が曖昧で、システムが合格と宣言され、導入中に期待を下回ることが判明すれば、手直しと是正措置でさらに100万元が簡単に消費され、3か月の機会損失も加わります。それに対して、2ページの受け入れ条件はほとんどコストがかかりません。同じ計算のもう一面は、POCが本質的に情報に対する小さな支払いだということです。このソリューションが本当に私の倉庫で機能するかどうかという答えです。受け入れ基準が、ベンダーが負けることのないように書かれていれば、そのお金が買うのは情報ではなく、導入への切符です。
成功したPOCには、本番移行のためのハンドオーバー条項も必要です。契約に盛り込むべきことは3つあります。第一に、POCの受け入れデータとテストセットは本稼働のベースラインとして保持され、本番の指標はPOCの受け入れ値を下回ってはならないこと。第二に、導入は段階的に進め、各段階にチェックポイントを設け、チェックポイントを逃せばその段階で導入を停止すること。第三に、ベンダーのオンサイト支援期間と応答時間は、口頭の約束に任せるのではなく、導入条件に明記することです。POCと本稼働の間で最も危険な断絶は、受け入れが終わり、ベンダーの最良の人材が去って、誰も責任を負わないシステムが残される瞬間です。
判断は、もはやかなり明確です。POCの受け入れは技術的なレビューではなく、リスクの価格付けです。契約に書かれた指標が、実際の貨物の不確実性を誰が負うかを決め、出口条項が、その不確実性が期待を超えたときに誰が止める権利を持つかを決めます。今後2、3年の間に、倉庫AIプロジェクトは増える一方で、ベンダーのデモはますます洗練されていくでしょう。ベンダーが本気かどうかを見分ける方法は、デモを見ることから、AI POCの受け入れ基準を契約に盛り込む意思があるかどうか、そしてその指標が実際の貨物との接触に耐えるかどうかを見ることへと移りつつあります。あなたの次のPOCについては、受け入れ書類の数字を誰が決めるのかは、契約に署名した後ではなく、署名する前に決めておく価値のある問題です。
Dr. Chen(サプライチェーン研究者)著 英語版からの翻訳。内容に相違がある場合は英語版を優先します。







