うちの小さな倉庫は、そんなふうにお金を燃やす余裕はありません。だからAI PoCの受け入れ指標となると、私はすべて二重に確認します。
まず私たちの状況です。3,000平方メートルの倉庫、十二人、一日800件以上の注文。2025年初め、あるベンダーが目視品質検査を売り込みに来ました——「精度99.5%、三か月で回収」。デモ動画は見事でした。箱がコンベアを滑るように流れ、緑色の枠が画面に次々と現れるのです。私はその場で契約しそうになりました。そこで一つの質問をしました。デモの商品は、あなた方が選んだものですか、と。営業担当は笑って話題を変えました。その瞬間、このお金はデモには使えないとわかりました。
AI PoCの受け入れ指標は、デモの見栄えの話ではありません。実際の倉庫でシステムがどう動くかの話です。デモ室は明るい照明、きちんとした箱、フルバーのWi-Fi。実際の倉庫は半分の照明がちらつき、箱は歪み、Wi-Fiの届かない場所だらけです。デモでの99%の精度は、実際の稼働では85%まで簡単に落ちます——85%では、このシステムはLao Zhangの目より劣ります。
デモは見事、しかし本当のAI PoC受け入れ試験は実際の倉庫
一つ目の話です(架空の事例)。2025年三月、私たちは目視検査ベンダーを試しました。デモでは印刷がくっきりした標準段ボールを使い、精度99%をうたっていました。私たちの倉庫では、ラベルはテープで半分隠れ、段ボールはつぶれ、バーコードはほこりまみれでした。初週の精度は87%でした(架空の例)。13%のエラー率は、100件中13件が手動での再チェックを必要とするということです——昔の完全手動検査より手間がかかります。そのAIは、事実上、ただで買ったようなものでした。
デモと現実の隔たりは、三つのことに帰着します。まず、サンプルです。デモでは「優等生」を使いますが、実際の倉庫は例外だらけです——損傷、汚れ、反射、しわ、なんでもありです。次に、速度です。一分間に20点スキャンするデモは、コンベアが速くなり箱が混み合うと、すぐに遅くなります。最後に、耐久性です。デモは20分間ですが、実際の倉庫は10時間稼働します。過熱、遅延、六時間目の接続切れは、デモには決して現れません。
だから私の地に足のついた方法はこうです。受け入れの前に、ベンダーに私たちの実際の注文量で二週間稼働させ、私たちの最も難しい商品を使わせます。彼らのテストセットは使いません——私たちの最悪の箱を使います。その稼働で得た数字だけが、契約書に入るべきものです。
契約書に入れるべき五つのAI PoC受け入れ指標
まず直感に反する話から。精度99%のAIでも、お金を失うことがあります。疑わしい事例をすべて人間に回して精度を守り、手動介入率が40%に達すれば、AIにお金を払いながら手作業も残ることになります。受け入れは一つの数字に頼れません。五つの指標すべてに合格しなければなりません。
| 指標 | 測定方法(実地テストで検証) | 不合格ライン |
|---|---|---|
| 精度/エラー率 | 実際の注文で偽陽性と偽陰性を別々に数える | 偽陽性が2%超、または見逃し不良が0.5%超 |
| 速度と処理能力 | 準備時間を除く、四時間連続の実際の処理能力 | 約束の速度の90%未満 |
| 安定性と稼働率 | クラッシュや再起動なしで八時間連続稼働 | 八時間に1回超のクラッシュ |
| 手動介入率 | 人間の確認や引き継ぎを要する注文の割合 | 5%超 |
| 真のROI回収期間 | 節約した人件費から新たなコストを差し引き、実地テストのデータで計算 | 回収が18か月超 |
精度は偽陽性と偽陰性に分けなければなりません。偽陽性は良い商品を不良と判定して人件費を無駄にし、見逃し不良は不良品を通して顧客と補償請求を失わせます。両方の数字を契約書に入れます。一つの「精度」だけを報告するベンダーは、ごまかしています。
速度は、実際の量で四時間連続して測定しなければなりません。デモでの十分間のスプリントは数えません——大事なのは、四時間のピークを通して速度を維持することです。安定性はさらに具体的です。八時間続けて稼働させ、一回を超えるクラッシュがあれば不合格です。AIは設備であり、設備は設備としてテストされます。
手動介入率は、私が最も重視する数字です。小さな倉庫では、5%と15%はまったく別の商売です。5%なら一人がパートタイムで確認します。15%ならシステムを監視する専任の人が必要になり、節約した人件費はそのまま戻ってきます。ROIも同じ仕組みです。節約した人件費から、電気代、保守費、消耗品、そしてまだ必要な確認者の賃金を差し引きます。純節約額を投資額で割ったものが、真の回収期間です。ベンダーは節約だけを数えてコストを省きがちです——だから自分で計算し直してください。
ベンダーの数字遊び——そして私が踏んだ罠
二つ目の話です(架空の事例)。2025年五月、別のベンダーが需要予測を売り込みました。デモでは予測精度92%を示し、素晴らしく聞こえました。詳しく聞くと、その92%は売れ筋商品だけを対象にしており、ロングテール商品は完全に除外されていました。ロングテール商品は私たちの倉庫の60%を占めるので、その92%は私たちにはほとんど役に立ちませんでした。別のベンダーは「一日5,000件」と主張しました——ただし小さな字で「実験室条件」とありました。私たちの実際のネットワークと照明では、処理能力は30%落ちました。
ベンダーのよくある数字遊びはこうです。最もきれいな部分集合だけを報告する、実験室条件を報告する、人間が実際にやった仕事をAIの手柄にする、コストを無視してROIに収益だけを数える、です。対策は単純で頑固です。すべての数字は実地テストで検証し、契約書のすべての数字に「当倉庫での二週間連続の実地テストに基づく」という文言を付けます。出典のない数字はすべて「実地テスト待ち」として扱います——議論はしません、ただ測ります。
「無料パイロット」という手口もあります。無料に聞こえますが、パイロットが終わると、データ形式、インターフェース、トレーニングがすべてそのベンダーに縛られ、乗り換えるには最初からやり直しです。無料は最も高い値段です。AIパイロットにも当てはまります。パイロットの前に、一つ質問してください。パイロットが終わったとき、自分のデータをすべて完全にエクスポートできますか、と。できなければ、無料でもやりません。
受け入れに失敗したら:まず退出条項を書く
契約書で最も重要なのはAI PoCの受け入れ指標ではありません——受け入れに失敗したときに何が起こるかです。私の版には三つの条項があり、どれも省けません。
第一に、段階払いです。署名時に30%、実地テスト合格時に40%、残りの30%は三か月の安定稼働の後です。お金を握っている者が主導権を握ります。前払いで全額払った契約では、受け入れ時に交渉力はほとんどありません。
第二に、修正期間と退出権です。受け入れに失敗した場合、ベンダーは修正に30日を得ます。修正に失敗すれば、私たちは契約を解除し、支払った額の70%を回収できます(架空の例。実際の条件は署名した契約に従います)。修正の試みは二回までに制限します——「もう一度だけ調整」をいつまでも続けさせてはいけません。三か月の調整で、ピークシーズンはもう終わってしまいます。
第三に、データの所有権です。パイロット中に生まれたすべてのラベリングデータと調整記録は私たちのもので、ベンダーは去るときにすべてを完全に引き渡します。この条項がロックインを防ぎます。これがなければ、ベンダーを乗り換えることはゼロからの再出発になります。
小さな倉庫には小さな倉庫の生き残り方があります。私たちの方法は荒っぽいですが、効果があります。デモを信じるな、実地テストを信じろ。一つの数字を信じるな、五つの指標を信じろ。退出条項のない契約には署名するな。AIが本当に小さな倉庫のお金を節約できるかどうかは、営業トークの数字ではなく、受け入れシートの五つの数字が決めます。こうしてテストすれば、少なくとも一つだけは保証されます。お金は目を開いて使われ、無駄にはならない、ということです。
Xiao Ma(小規模倉庫オーナー)著 英語版からの翻訳。内容に相違がある場合は英語版を優先します。







