2025 年 9 月,华东一家 3PL 仓的总经理给我打电话,说他们刚做完一个视觉识别 POC,供应商演示时识别准确率 99.6%,合同里也写了"准确率不低于 99%",验收单都签了。结果上线第一周,真实货流里的破损面单、反光胶带、歪贴标签一涌进来,准确率掉到 91% 左右,复核岗每天多出两个人工时来擦屁股。总经理问我,这算谁的问题。我的回答是:算合同的问题。POC 验收指标如果只是一句"不低于 99%",没有测试集来源、没有采样方式、没有测量口径,那这句话在验收现场没有任何约束力,供应商演示用的 2000 张标准箱照片挑得再干净,数字也照样成立。

这不是个案。根据几家头部集成商公开的交付口径和我这两年跟踪的十几个仓库 AI 项目,POC 阶段最常见的死法不是技术不行,而是验收标准写得太粗。演示环境里跑通的功能,到了真实货流里要过三道坎:数据分布变了、作业节奏变了、异常情况冒出来了。而合同如果只在演示环境里定义成功,等于把这三道坎的成本全部留给了甲方。写验收指标,本质上是在写风险分配:哪些风险由供应商兜底,哪些由甲方认领,写不清楚,扯皮就是必然。

先把 POC 验收指标翻译成四类可量化的数

一个能进合同的验收指标,必须同时满足三个条件:可测量、有基线、有时间窗口。测不出来的不写,测一次的不算,没有对照组的不要。我习惯把指标分成四类,每类只留一到两个主指标,写多了等于没写。

类别 主指标 测量方式 常见坑
准确率 识别/预测准确率、误判率 真实货流连续抽样不少于 5000 件,按品类分层统计 只测演示集,或只报整体准确率不报最差品类
时效 单件处理时长、系统响应 P95 高峰时段连续测量,取 95 分位值而非平均值 只报平均值,掩盖了长尾延迟
稳定性 连续无人工干预运行时长、故障恢复时间 72 小时连续运行,记录每次停机与恢复耗时 只测 8 小时白天班,夜班和换班没人看
成本 单件处理成本、人力节省折算 按验收期实际单量与工时核算 只算软件许可费,不算复核、维护和异常处理的人力

准确率的写法最容易踩坑。同样是"99%",用供应商挑过的演示集测和用真实货流测,可能是两个世界。合同里要写明:测试集由甲方提供,采样覆盖全部品类和异常形态,抽样量不低于 5000 件,验收结果按最差品类单独考核,而不是只看整体均值。时效指标要写 P95 而不是平均值,因为仓库的痛点从来不在平均水平,而在高峰那 5% 的单子卡住之后,整条线怎么瘫。稳定性指标要写连续运行时长,72 小时是一个比较实在的刻度:它覆盖了白班、夜班和一次换班,能把"演示时好好的"和"跑起来就出事"区分开。

成本指标最容易被写成一句空话。"预计节省 30% 人力"这种表述进不了验收,因为它没有基线。正确写法是:先定基线,即 POC 开始前两周该环节的实际单件成本和工时,再定验收期实测值,两者对比才有意义。而且要把复核岗、异常处理、系统维护的人力都算进去,否则供应商省下来的工时,复核岗会原样吃回去。

演示数据验收通过,真实货流可能不及格

第二个案例来自 2024 年底广东一家电商仓。他们做 AMR 调度算法 POC,供应商承诺拣选效率提升 25%,验收时测的是单波次、空闲时段,数字很漂亮。等到大促模拟一跑,提升只剩 7%,系统在连续运行 72 小时后还出现过一次调度死锁,重启花了 40 分钟。合同里没有写连续运行时长,没有写故障恢复时间,也没有写高峰并发下的指标,POC 被判"通过",上线三个月后问题才集中暴露,改造成本比 POC 本身还贵。

这两个案例指向同一个归因:POC 的验收环境和生产环境之间存在系统性的落差,而落差的大小,取决于验收时用了谁的数据、在什么节奏下测、测了多久。演示数据是供应商的舒适区,真实数据才是甲方的日常。我的建议是,验收环境要在合同里写死三条:第一,测试数据必须来自甲方真实货流,抽样覆盖旺季波形和异常形态,演示集只能做辅助参考;第二,验收测量必须覆盖至少一个完整作业高峰,不能只测空闲时段;第三,验收周期不少于两周,包含一次换班和一次异常处理全流程。这三条写进去,POC 的水分会被挤掉大半。

这里有一个反常识的判断:准确率目标定得越高,POC 反而越容易失真。99.9% 的目标听起来很严苛,实际效果常常是把供应商逼到过拟合演示集上——他们会花大量精力把测试集刷到极致,而不是把系统做得更扎实。真正有用的验收目标不是一个漂亮的数字,而是一组有层次的指标:整体准确率、最差品类准确率、异常形态覆盖率,三者同时达标才算通过。取舍在这里很清晰:你用一个看似宽松但结构完整的指标组,换来的是系统在真实货流里的可信度;你用一个极高但单一的数字,换来的往往只是一次漂亮的演示。

验收不通过,合同里要有退路

指标写清楚了,还要写不通过怎么办。很多 POC 合同在这部分只有一句话,"验收不通过,双方协商解决",这句话的实际含义是:扯皮。比较稳妥的结构是分级退出:第一次验收不通过,供应商在 30 天内免费整改一次,整改范围和费用上限写进合同;第二次仍不通过,甲方有权终止合作,并拿回未消耗的实施费用,已交付的硬件按折旧处理,数据和模型归属在签约时就定好,不留到分手时再谈。

算一笔账就知道这条款值多少钱。以一单 POC 费用 40 万元、全面推广预算 400 万元的项目为例,如果验收标准模糊,POC"通过"后推广阶段才发现系统不达标,返工和改造成本很容易再吃掉 100 万以上,还要搭上三个月的窗口期。相比之下,合同里多写两页验收条款和退出机制,成本几乎为零。这笔账的另一面是:POC 的本质是花小钱买信息,买的是"这个方案在我的仓库里到底行不行"的答案。如果验收标准写得让供应商稳赢,那这笔钱买到的就不是信息,而是一张推广的门票。

POC 成功之后,转正式上线也要有衔接条款。我的建议是,合同里写明三件事:第一,把 POC 验收的测试数据和测试集要作为上线基线保留下来,推广阶段的指标不得低于 POC 验收值;第二,推广分阶段放量,每阶段设一个检查点,不达标就停在该阶段,不许一次性全量切换;第三,供应商的驻场支持周期和响应时效写进推广条款,而不是口头承诺。POC 和上线之间最危险的断层,就是验收一结束,供应商的最好的人就撤走了,留下一个没人兜底的系统。

写到这里,判断其实已经很清楚了:POC 验收不是技术评审,而是一次风险定价。指标写进合同,写的是谁来承担真实货流的不确定性;退出条款写进合同,写的是这个不确定性超出预期时,谁有权利叫停。未来两三年,仓库 AI 项目只会越来越多,供应商的演示只会越来越好看,区分一家供应商靠不靠谱的办法,正在从看演示效果,变成看他敢不敢把指标写进合同,以及写进去的指标经不经得起真实货流的检验。至于你的下一个 POC,验收单上的数字由谁来定,这个问题,值得在签约之前就想清楚。

作者:陈博士|供应链行业研究员