2022年、私はオンタリオの3PL倉庫で、ベンダーが画像認識による循環棚卸のPOCを実施するのを見ていた。現場ではデモで98.6%の精度が出た——ラックをスキャンすると、画面の数字はすべて合っていた。倉庫マネージャーはその場で契約したがった。契約書にはただ「payment due upon acceptance」と書いてあった。3か月後にシステムが本稼働すると、実際のラックでは精度が84%に落ちた。最上段の反射するシュリンクフィルムの箱？半分が認識不能だった。マネージャーがどうすればいいか聞いてきた。私は、契約に受入の測り方が定義されていない以上、紛争になっても1セントも取り戻せないと伝えた。AIプロジェクトでは、10の地雷のうち8つは契約書に埋まっている。
お金が出ていく前に、物差しを確定させろ
POCはデモではない——物差しを決める場だ。物差しは3つあり、契約前に3つとも契約の別紙（exhibit）に書面化しなければならない。例外なし。
物差しその1：有効性の指標。これは「正しく当たるか？」に答える。「accuracy」とだけ書くな——分子と分母を定義しろ。画像認識の棚卸なら、例えばこうだ：「テストセットの500 SKUを、5日間連続で実ラック上でスキャンし、認識精度≥97%（正解にはSKUと数量の両方が正しいことを要する）」。有効性の指標にはエラーバジェットも必要だ：許容できるエラー（破損カートン）と、ゼロトレランスのエラー（高額SKU——1回のミスで失敗とみなす）。
物差しその2：エンジニアリングの指標。これは「安定稼働するか？」に答える。重要なのは3つの数字だ：可用性（計画メンテナンスの時間を除き、30日間連続で稼働率≥99%）、レイテンシ（95パーセンタイルで1回の認識応答≤2秒）、誤検出率（≤1%。誤検出1件ごとに受入スコアから減点）。デモでは電光石火の速さを見せておいて、ネットワークが一瞬つまずいた途端に倒れるベンダーは多い。エンジニアリングの指標が契約になければ、システムが週3回落ちるのを打つ手なしで眺めることになる。
物差しその3：ビジネスの指標。これは「元は取れるか？」に答える。POC終了時に2つの数字を出さなければならない：削減できた人時（例：人日あたりの循環棚卸時間が10回の棚卸サイクルの平均で6時間から1.5時間に減る）と、ROIのゲート（契約にこう書く：年間換算の人件費削減額がプロジェクト総コストの1.5倍未満なら、顧客はペナルティなしで購入を取りやめられる）。ビジネスの指標はボスの損益分岐点であり、ダメなプロジェクトを殺すライセンスだ。
ベンダーが好む3つのトリック
1つ目：ハッピーパスしかテストしない。デモのラックには標準カートンが並び、照明は完璧、バーコードは正面を向いている。こう要求しろ：テストセットはそちらが用意する。自社倉庫で実際に動いているSKUからサンプリングする——破損カートン、反射フィルム、歪んだ積み付けも全部入りだ。契約書には「テストセットは顧客が提供し、ベンダーは具体的なサンプルを事前に見てはならない」と書く。
2つ目：テストセットの汚染。ベンダーが事前に自社のテストデータでモデルをチューニングするから、高得点が出るのは当たり前だ。防御策：テストセットを2つ用意する。1つは契約時に開示してチューニング用に使う。もう1つは封印し、受入当日に開示する。こう書く：「受入には顧客が封印したブラインドテストセットを用い、ベンダーは一度も見たことがないものとする」。
3つ目：受入データが実環境と一致しない。POCはBuilding 1で完璧に動いたが、導入するのはBuilding 5だ——照明もラックの高さもSKU構成も違う。契約書には「受入環境＝最終導入環境」と書く。最低でも「受入は顧客が指定する2か所以上のゾーンで実施する」と書け。
受入手順書：誰がテストし、期間はどれだけ、言い争いには誰が勝つか
契約の各指標は、同じ5項目のテンプレートに従う：ベースライン（手作業や現行システムが今日達成している水準）、目標値（小数点第1位まで具体的に）、測定方法（誰がデータを提供し、何で測るか）、測定ウィンドウ（何日間連続か、1日何回回すか）、合否ルール（基準、再テストのポリシー、何回失敗したらPOC失敗とみなすか）。5つのうち1つでも欠ければ、受入は怒鳴り合いの場になる。
私が普段使う手順書はこうだ：テストは顧客が主導し、ベンダーが支援する。第三者データの正本はWMSのエクスポートとする。測定ウィンドウは14日間連続、1日あたり最低3シフト。どちらの当事者も、結果に対して48時間以内に異議を申し立てられ、異議が出たら1回だけ再テストする。再テストの結果が最終だ。再テストでも失敗したら、顧客は無条件で解約でき、ベンダーは既払いのPOC費用を全額返金する。紛争解決は「言い争いではなく再テスト」と書け——それが効く条項だ。
現場からのもう一言：ベンダーは売り込みの段階では受入指標を口頭で快諾するくせに、契約の別紙に書く段になると引き延ばしを始める。私の経験則はシンプルだ——テンプレートを先に持ってきた者が主導権を握る。5項目テンプレートの空白の受入シートを用意して、埋めてくるよう先方に送れ。それが先手を打つということだ。ベンダーに起案を任せたら、こちらに有利な指標はことごとく「to be mutually agreed」になって返ってくる——何の意味もない4語だ。
正直な話：契約する前は、POCにおける主導権はすべてこちらにある。契約した後は、残るのは希望だけだ。明日、1つだけやってほしい：今交渉中のAIプロジェクトの契約書を取り出して、受入の別紙に5つ——ベースライン、目標値、測定方法、測定ウィンドウ、合否ルール——が全部揃っているか確認しろ。欠けがあれば突き返して、ベンダーに埋めさせろ。自信のない部分は、契約書とベンダーの公式ドキュメントに従え。その別紙こそ、プロジェクト全体で唯一の本物の保険だ。そして自分に正直に問うてみる価値のある問いが1つある：もしこのシステムが来四半期に消えたら、現場はその違いに気づくだろうか？答えがノーなら、そのPOCは最初からやる必要がなかったんだ。
英語版からの翻訳。内容に相違がある場合は英語版を優先します。
