AIのPOC受入基準：契約書に盛り込むべき6つの指標――これ抜きでは署名するな

最初に結論：AIのPOC受入基準（指標）は、誰かが署名する前に交渉して契約書に書き込まなければならない——署名後に交渉すると、主導権はすべてベンダー側に渡る。押さえるべきは3つ：少なくとも6つの指標——適合率、再現率、誤検出率、見逃し率、レイテンシ、安定性——を、それぞれ4要素（定義、サンプル、測定方法、しきい値）で定義すること。そして段階払い。各ゲートのクリアが次の支払いを解禁する。私はこの失敗を正確に3回見てきたが、どの契約書にも1行だけ書かれていた：「精度は95%以上とする」。

POCが本番稼働で次々と死ぬ理由

数字は残酷だ。S&P Globalの2025年調査：企業の42%がAI施策の大半を廃止し、前年の17%から倍増。組織平均で、本番前にAIの概念実証（POC）の46%を殺した。MITのProject NANDA：企業の生成AIパイロットの95%は、P&L（損益）への測定可能な効果を何も生まなかった。その多くは「成功した」POCを持っていた——美しいデモ、印象的な指標。しかしデモと本番の間で死んだ。

理由は3つ。第一に、POCデータがつまみ食いされていた：きれいに演出された写真500枚は、実際のコンベヤに流れる潰れたダンボールやしわの寄ったラベルとは似ても似つかない。第二に、POCは実験室で、エンジニアが機械の横で生チューニングしながら動いていた——本番にそんな贅沢はない。第三に、契約の指標がふわふわだった：「正しい」の定義も、カウント方法も、サンプルもない「精度95%」は、空中に書いた借用証書だ。

実話：97%のPOCが81%で本番稼働した案件

2025年5月、シカゴ。大物eコマース商品を扱う3PL——120,000平方フィート、1日20,000個の出荷量。オーナーはコンベヤにマシンビジョンを導入し、4人の検査員を置き換えたいと考えた。ベンダーのPOCは見事だった：写真500枚、精度97%。契約書には1行だけ：「システムの認識精度は95%以上とする」。オーナーは喜んで署名した。

本番初週、爆発した。フルスピードのコンベヤ、天窓のグレア、あらゆる形状の破損パーセル——重要フィールドの精度は81%まで落ち、誤検出は14%に達し、1件あたり約2分のライン停止レビューが発生した。オペレーターはシステムを切った——手作業の方が速かった。その後、「精度」とは何かで3か月の責任のなすり合い。契約書は定義していなかった。

立て直しは一手だけ：4要素を各指標に持たせた5指標の追加合意書。ベンダーは無料でさらに2か月チューニング：誤検出は4.5%まで下がり、重要フィールドの適合率は98%、再現率は96%、2週間の本番データで安定。それで初めて合格した。

対照群：最初に全部書いた案件は、一発で合格した

2026年2月、カリフォルニアにある製薬系3PLの温度管理倉庫：ドローンが高層棚のロケーションを読み取るAI支援棚卸。署名の3週間前、私は顧客と一緒に受入基準を契約書の付属書として書いた——顧客がランダムに引いた300ロケーションの「ゴールデンサンプル」。高層棚、見えないスロット、しわの寄ったラベルを多めに。受入は2週間の実際の棚卸データで、3つの数字に対して測定した：カウント差異率、誤検出率、1ロケーションあたり秒数。POCは一発で合格、パイロットは2週間で目標達成——議論ゼロ。教訓：受入基準はPOCの後にまとめるものではなく、署名前に交渉するものだ。

コンベヤライン上で受入テストを実行するマシンビジョンカメラ

6つの指標を順番に

6つの各指標に4要素が必要：定義、サンプル（どのデータを、誰が引くか）、測定方法（誰のカウントが正か）、しきい値。どれか1つでも欠けた指標は飾りだ。

指標1：適合率と再現率は別々に書く。 「精度95%」はAI契約で最も危険な一文だ。適合率はシステムの警告のうち正しかった割合。再現率は実際のケースのうち検出できた割合。「精度」だけ書くと、ベンダーは簡単な方だけ最適化する。契約文言：重要フィールドの適合率≥98%、再現率≥96%。両方をクリアして初めてゲート通過。

指標2：誤検出率。 プロジェクトの生死を分ける数字——14%と4.5%の差は10ポイントの差ではなく、数人分の人件費の差だ（計算は後述）。しきい値は人員計画から逆算する：1シフトが吸収できる例外はどれだけか。

指標3：見逃し率の下限——安全と金銭のフィールドのレッドライン。 検出されなかった破損パーセル、見逃された温度逸脱——1件の事故は100件の誤検出より高い。これらのフィールドには独自の再現率レッドラインを設ける。1件の違反でレビューワークフローが起動する。

指標4：レイテンシはP95で書く——平均は使わない。 200ミリ秒の平均は美しく聞こえるが、P95が2秒なら話は別だ。コンベヤは遅い方の5%を待ってくれない。契約文言：生産タクト下でP95レイテンシ≤Xミリ秒。Xは自社のライン速度から導く。

指標5：人的作業のベースラインに対するスループット。 AIはパフォーマンスを見せるためにいるのではない。働くためにいる。1時間あたり処理数と1単位あたりコストを、手作業のベースラインと並べて——POC前に測定し、契約書に書く。

指標6：安定性——N日連続の本番データで合格する。 POC当日はベンダーのエンジニアが現場に張り付き、何もかも素晴らしく見える。2週間の本番データを要求し、日ごとに採点する：14日中12日が基準クリア。1日だけの合格はカウントしない。

計算：誤検出14%と4.5%の差は人件費でいくらか

シカゴの数字——1日20,000個、誤検出1件のレビューに約2分：

	誤検出14%（本番初期）	誤検出4.5%（チューニング後）
1日にレビューキューに入る個数	2,800	900
1日のレビュー時間	約93	約30
常勤換算（8時間シフト）	約11–12	約4
元の検査員4人との比較	7–8人の追加採用	ほぼトントン

意味が分かるだろうか。誤検出14%のシステムは、置き換えた手作業より高くつく：検査員4人が去り、レビュー担当11人が入る。だから誤検出率は契約書に入れるべきなのだ。プロジェクトが金を生むか燃やすかを決めるからだ。

指標に必要な3つの契約条項

この3つがなければ、指標は執行不能だ。

第一に、受入サンプルは顧客のもの。ゴールデンデータセットは顧客がランダムに引き、ベンダーはブラインドでテストする。そして汚いデータとロングテールを含めなければならない：しわの寄ったラベル、反射テープ、潰れたパーセル、見えないスロット。ベンダーが自分のPOCサンプルを選ぶのはフェアゲームだ。受入は顧客のサンプルで回す。

第二に、支払いを段階化する。POC受入、パイロット受入、安定稼働——3つのゲート。各ゲートが次の支払いを解禁し、最後の保留金はベンダーがチューニングを続けるほど大きくしておく。

第三に、失敗時の道筋を定義する：無料チューニング期間＋出口条項。期間の長さ、ラウンド数、そして埋まらなかった結果——返金比率、データの所有権、撤去コスト——すべて文書に。出口条項はプロジェクトへの呪いではなく、双方の品のある損切りだ。

よくある墜落現場——3回とも見てきた

墜落1：契約書に「精度」とだけ書いてある。ベンダーは簡単な指標を99%まで上げ、難しい方は80%のまま。合成した数字はまだきれいに見える。

墜落2：ベンダーが受入サンプルを選ぶ。演出されたPOC写真500枚は美しかった。本番データはそうではなかった。

墜落3：1日の合格を受入とする。POC当日、ベンダーのエンジニアは現場にいて、パラメータを生でいじっていた。それは持ち込み可の試験であって、合格ではない。

墜落4：測定方法が文書にない。シカゴの案件では、3か月の議論の80%が「そもそもどう計算するのか」に費やされた。

直感に反する見方

厳しい指標ほど良い指標ではない。私は顧客が適合率99.5%を設定したのを見た。ベンダーはPOC中に顧客のサンプルに過学習した——あの正確な画像に対して徹底的にチューニングした。受入は一発で合格。しかし本番は失敗した。モデルはサンプルを暗記したのであって、ビジネスを学んだのではない。合理的な基準＋明確な出口条項は、厳格なペナルティに毎回勝つ。受入基準がふるいにかけるのは「これは動くか」だ——厳しさコンテストではない。ベンダーが背伸びすればクリアできるラインを引き、きれいな別れの仕組みと組にする。