AI 项目 POC 验收：6 个指标写不进合同，就别签字

先说结论：AI 项目的 POC 验收指标，必须在签合同之前谈好、白纸黑字写进合同附件。签完合同再谈指标，等于先结婚后谈彩礼——主动权全在乙方手里。结论就三句话：第一，验收指标至少 6 个，查准率、查全率、误报率、漏报率、延迟、稳定性，一个不能少；第二，每个指标要写清定义、样本、测量方法、阈值四要素，缺一个都是摆设；第三，付款必须分阶段，每个验收门过了才付下一笔。这个坑我见过三次，每一次都是合同里只有一句"准确率不低于 95%"。

为什么 POC 总在上线时翻车

S&P Global 2025 年的调研很扎心：42% 的公司在 2025 年砍掉了大部分 AI 项目，比 2024 年的 17% 翻了一倍还多；平均每家公司在投产前扔掉了 46% 的 AI 概念验证。MIT 的 Project NANDA 报告更狠：95% 的企业级生成式 AI 试点，对损益表没有任何可衡量的影响。注意，这些项目里绝大多数 POC 当时都"成功"了——演示漂亮、指标好看，死就死在演示和生产之间。

三个原因。第一，POC 的数据是乙方挑的：500 张摆拍照片、光线完美，跟你传送带上真实的破箱子、褶皱面单根本不是一个物种。第二，POC 的环境是实验室：乙方工程师全程盯着、参数现调，生产环境可没人给你当场调参。第三，合同里的指标是糊的："准确率 95%"不定义什么叫"准"、谁来数、用什么样本测，就是一张空头支票。

客户作死实录：97% 的 POC，81% 的上线

2025 年 5 月，芝加哥一家电商大件 3PL 仓，12 万平方英尺，日均出货 2 万件。老板想上视觉检测：传送带自动识别破损包裹和面单信息，省掉 4 个专职验货员。乙方 POC 极漂亮：500 张照片，识别准确率 97%。合同只有一句"系统识别准确率不低于 95%"。老板签字很痛快。

上线第一周就炸了。传送带速度一上来、仓库顶灯一反光、破损件千奇百怪——关键字段准确率掉到 81%，误报率 14%。每个误报都要人工停线、找件、拍照复核，一件约 2 分钟。操作员算了一笔账：这系统比原来 4 个人工还慢，直接关掉了。然后就是三个月扯皮：乙方说按他们的口径还有 93%，甲方说按我们的口径只有 81%。合同没写口径，谁都说服不了谁。

救回来就一个办法：坐下来写补充协议。我带着客户列了 5 个指标，每个写清四要素——定义、样本、测量方法、阈值。乙方免费调优两个月，误报率压到 4.5%，关键字段查准率 98%、查全率 96%，连续两周生产数据稳定，才走完验收。多花的三个月和两轮扯皮，本来签合同那天就能省掉。

对照组：签合同前就写好的项目，一次过

2026 年 2 月，加州一家医药 3PL 温控仓，AI 辅助盘点（无人机飞一遍，高位货架自动读数）。这回签合同前三周，我就带着客户把验收指标写成合同附件：黄金样本 300 个库位，甲方随机抽，专挑高位、遮挡、褶皱标签的难啃位；验收看连续两周生产盘点的差异率、误报率、单库位耗时。POC 一次过，试点两周达标，直接上线，零扯皮。结论很清楚：验收指标不是 POC 做完才总结的，是签合同前就要谈好的。

视觉检测相机在输送线上方做验收测试

分步做法：写进合同的 6 个指标

下面这 6 个指标，每个都要写清四要素：定义（这个指标到底算什么）、样本（用什么数据测、谁来抽）、测量方法（谁来数、用什么工具、争议以谁为准）、阈值（过线的数是多少）。四要素缺一个，这个指标就是摆设。

指标 1：查准率和查全率，必须拆开写。"准确率 95%"是 AI 合同里最危险的一句话。查准率是系统报出来的里面对了多少，查全率是该报的报出来多少。只写"准确率"，乙方会挑好优化的那个给你看。合同里要写：关键字段查准率不低于 98%、查全率不低于 96%，两个同时达标才算过。

**指标 2：误报率（异常队列占比）。**这是决定项目生死的数。误报率 14% 和 4.5%，差的不是 10 个百分点，是几个人工（后面算账）。阈值按你的人力倒推：复核团队一班能处理多少异常，反推系统最多允许多少误报。

**指标 3：漏报率下限，安全和钱相关的字段是红线。**破损件没检出来发给客户、温控异常没报警，一次漏报的代价比一百次误报都大。这类字段查全率单独设红线，掉一次就触发复核流程。

**指标 4：延迟，写 P95，不许写平均值。**平均延迟 200 毫秒很好听，但 P95 可能是 2 秒——传送带可不会等你那 5%。合同写：在生产节拍下，P95 延迟不超过 X 毫秒，X 按你的线速倒推。

**指标 5：效率指标，跟人工基线比。**AI 不是来表演的，是来干活的。单位时间处理量、单件处理成本，必须跟原来的人工基线摆在一起比。基线要在 POC 之前测好写进合同，不然乙方会跟你争"原来到底多快"。

**指标 6：稳定性，连续 N 个生产日达标。**POC 当天乙方工程师全程盯着，什么指标都好看。合同要写：连续两周生产数据、每天独立核算，14 天里 12 天达标才算过。单次达标不算数。

算一笔账：误报率 14% 和 4.5% 差几个全职

拿芝加哥那个项目的数据算。日均 2 万件，误报每件人工复核约 2 分钟（含停线、找件、拍照）：

	误报率 14%（上线初期）	误报率 4.5%（调优后）
每天进复核队列	2800 件	900 件
每天复核工时	约 93 小时	约 30 小时
折合全职（8 小时/天）	约 11～12 人	约 4 人
对比原来 4 个验货员	多雇 7～8 个人	基本持平

看明白了吗？误报率 14% 的系统比纯人工还贵——省掉的 4 个验货员，换回来 11 个复核员。这就是为什么误报率必须写进合同：它直接决定项目是省钱还是烧钱。省下来的 7～8 个全职，按你当地操作员的综合成本自己乘一下，一年够再买两套相机了。

合同里必须有的 3 个条款

指标之外，还有 3 个条款不写进合同，指标写了也白写。

第一，验收样本甲方定。黄金样本由甲方随机抽取、乙方盲测，必须包含脏数据和长尾：褶皱面单、反光胶带、破损件、遮挡库位。乙方自己挑样本做 POC 天经地义，但验收必须用甲方的样本，这是两码事。

第二，付款分阶段。POC 验收、试点验收、上线稳定运行，三个门，每个门过了才付下一笔。钱是唯一的指挥棒，尾款比例不能太低，否则乙方没动力陪你调优。

第三，未达标处理：免费调优期加退出条款。调优期多长、几轮、还不达标怎么办——退款比例、数据归属、拆除谁负责，全部写清。退出条款不是诅咒项目失败，是给双方一个体面的止损线。

常见翻车点：这个坑我见过三次

翻车点 1：只写"准确率"，不拆查准查全。乙方把好优化的做到 99%、难的 80%，平均一下还挺好看。

翻车点 2：验收样本让乙方挑。500 张摆拍照片有多漂亮，真实数据就有多残酷。

翻车点 3：单次达标就算过。POC 那天乙方三个工程师蹲现场、当场改参数——这不叫达标，叫开卷考试。

翻车点 4：没写测量方法。谁来数、用什么工具、数的不一样以谁为准。芝加哥项目三个月的扯皮，八成时间花在争"到底怎么算"上。

一个反常识的判断

指标定得越严越好，是错的。见过甲方把查准率定到 99.5% 的，结果乙方在 POC 里对着甲方的样本疯狂调参、过拟合，验收一次过，上线照样翻车——模型记住的是你的样本，不是你的业务。合理的指标（比现状好、够得着）加清晰的退出条款，比天价违约金管用。取舍就在这里：验收指标是用来筛选"能不能干"的。定一个乙方跳一下能够到的线，再配一个达不到就体面分手的退出机制，项目反而活得下来。