本番稼働後に起きること：AIの精度が落ち始めたとき、誰が責任を取るのか

最初に結論を言います。受け入れ検査で精度99%を出した画像認識AIのプロジェクトは、半年以内に90%台前半まで下がります。これは驚きません。驚くのは、私がレビューした契約書の10件中9件に、この低下の責任者が書かれていないことです。

2024年の秋、リバーサイドにある120,000平方フィートの3PL倉庫から、事後分析を依頼されました。その年の初め、彼らは画像認識によるサイクルカウントシステムを導入していました。ラック通路に固定カメラを設置し、毎夜パレットを数えSKUを認識するモデルです。受け入れ精度は99.2%で、社長は会社会議でITチームを称賛しました。第4四半期になると、在庫差異は広がる一方でした。手作業で再監査したところ、モデルが再包装されたSKUを別のSKUと取り違えていました。3か月連続で帳簿在庫が実在庫と合わず、ピークシーズンの補充期を通してずれ続けていたのです。根本原因は次々と出てきました。夏の間に40以上の新SKUが発売され、すべて新しい包装色だったこと。夜勤シフトが節電のために通路の照明を2段階落としていたこと。新人オペレーターが、学習データには一度も出てこないほどパレットを曲がって積んでいたことです。これらのどれ一つとして「モデルが壊れた」ではありませんでした。すべて「世界が変わった」だったのです。

これがモデルドリフトです。本番稼働日は、AIシステムの生涯で最も精度が高い日です。そこからは下がる一方で、問題はその速度だけです。選定を担当する人は本番稼働の話をします。運用を担当する人は、その後5年間の話をします。

ドリフトは季節、バグではない

ドリフトには3つの顔があります。1つ目はデータドリフトです。カメラが見ているものが変わった。新SKU、新しい包装、暗くなった照明、レンズのほこり。2つ目は概念ドリフトです。ビジネスのルールが変わった。混載パレットはかつて禁止だったのに、今ではピークシーズンに1パレット2SKUが黙認され、モデルが崩壊します。3つ目は最も厄介な運用ドリフトです。人の行動が変わった。SOPは同じなのに、新人が積むパレットは20年のベテランとは似ても似つかず、モデルはベテランの技しか学んでいませんでした。

ドリフトは勘では見つかりません。仕組みで見つけます。私がクライアントに渡す常駐ルールは4つです。本番稼働後2週間、シャドーモードで稼働させ、毎日モデル出力と手作業のカウントを突き合わせる。ギャップは初日に見えます。次に、毎週定時のスポットチェックを固定し、最低200パレットを調べ、結果をそのまま精度の数値に変換する。レッドラインを設定する。例えばSKUレベルの精度が97%を2週連続で下回ったら、名前のある人間を呼び出す。そしてピークシーズンの前後に必ずフル再監査を行う。季節の切り替わりはドリフトの格好の狩り場だからです。この4つのうち1つでも欠ければ、ドリフトの発見は3か月遅れます。リバーサイドのように、帳簿が既に1四半期ずれていた後になって。

夜間に高層パレットをスキャンするAIカメラと、タブレットで検出結果を確認する技術者

お金が実際に消える場所

多くの人は保守とは「モデルがおかしくなったらベンダーを呼ぶこと」だと思っています。間違いです。継続的な運用は3つの場所でお金を使い、それぞれに責任者が必要です。

1つ目はデータの再循環です。再学習のサイクルごとに、数百枚から1,000枚超の新鮮なラベル付き画像が必要です。現場で問題事例を撮影する人、ラベル付けする人、ラベルの品質検査をする人。「時間があるときに」と皆が計画するのがラベリングで、だから3か月経っても使えるデータセットができません。2つ目は再学習そのものです。クラウドGPUを借りて1回回すのに、数時間から2日かかります。計算コストはプロジェクト全体から見れば誤差の範囲です。本当のコストは待つ日々で、その間ビジネスは手作業の回避策で回します。ピーク中はこれが痛い。3つ目はアラートを見る人です。「毎週精度レポートを読む」と書かれた職務記述書は誰のものですか。レッドラインの呼び出しを受ける電話は誰のですか。誰の仕事でもなければ、誰の仕事でもありません。グループチャットでアラートが3日間未読のままだったのを、何度も見てきました。

私の結論は率直です。プロジェクト初年度支出の15から20パーセントを継続運用に確保してください。これが、私が見てきた「爆発しなかった」すべての倉庫に共通することです。これより少なく使うと、ベンダーの「1年間の無料保守」が切れる日が、精度のフリーフォールが始まる日になります。節約した分は、在庫差異と残業として利息付きで戻ってきます。

本番稼働前に契約に入れるべき文言

ベンダーと交渉するとき、価格と受け入れ精度だけを値切らないでください。これらの文言を契約書本体に入れてください。同意しないベンダーがいれば、別のベンダーを見つけてください。

第1に、精度の測り方です。SKUレベルかパレットレベルか、サンプリングか全数か。同じシステムでも測り方次第で99%にも95%にもなるので、何より先に物差しを合わせてください。さもなければ数か月、平行線の議論になります。第2に、レッドラインを下回ったらどうするかです。何時間以内に対応するか、何日以内に再学習計画を出すか、再学習後に何日以内にラインの上に戻すか。すべての段階に時計が必要です。第3に、データの所有権です。再循環させたラベル付きデータはあなたのものです。ベンダーはモデルの改善に使えますが、他人のプロジェクト作りに使ってはなりません。この条項を今抜かすと、2年後に訴訟になります。第4に、再学習の下限です。少なくとも四半期ごと、ピークシーズン前にもう1回、日付を明記します。第5に、ラベリングの人手の出し元です。現場で撮影と品質検査をするのは自社の人間か、ベンダーの人間か、そして誰が払うのか。

契約にないことは、後で全部交渉になります。私が見た中で最も高くついた口論は、「精度」の定義をめぐる2か月の争いで、その間もモデルは数え間違え続け、帳簿はズレ続けました。仲裁費用だけで、再学習2回分の費用が出ました。