2025년 9월, 중국 동부의 한 3PL 창고 총괄 매니저가 비전 인식 파일럿에 대해 저에게 전화했습니다. 공급업체의 데모는 인식 정확도 99.6%를 달성했고, 계약서에는 «정확도 99% 이상»이라고 적혀 있었으며, 인수 양식에는 이미 서명이 되어 있었습니다. 실운영 첫 주에 손상된 라벨, 반사 테이프, 비뚤어진 바코드가 쏟아져 들어왔고, 정확도는 대략 91%까지 떨어졌습니다. 재작업 스테이션은 그 혼란을 수습하기 위해 하루에 2시간의 추가 노동이 필요했습니다. 그는 저에게 누구의 잘못인지 물었습니다. 제 대답은 계약의 잘못이라는 것이었습니다. AI POC 인수 기준이 «99% 이상»이라는 한 줄뿐이고, 테스트 집합의 정의도, 샘플링 방법도, 측정 절차도 없다면, 그 한 줄은 인수 회의에서 아무런 구속력이 없습니다. 공급업체는 표준 카톤의 깨끗한 사진 2,000장을 골라낼 수 있고, 그 숫자는 여전히 성립합니다.
이것은 고립된 사례가 아닙니다. 여러 선도적인 통합업체가 공개한 납품 조건과 지난 2년 동안 제가 추적해 온 열댓 건의 창고 AI 프로젝트로 판단할 때, POC가 죽는 가장 흔한 이유는 기술이 실패해서가 아닙니다. 인수 기준이 너무 느슨하게 작성되었기 때문입니다.
AI POC 인수 기준을 측정 가능한 네 가지 숫자로 바꾸기
데모에서 작동하는 기능이 실제 운영에서 작동하려면 세 가지 전환을 견뎌내야 합니다. 데이터 분포가 바뀌고, 운영 리듬이 바뀌고, 예외가 나타납니다. 계약이 성공을 데모 환경 안에서만 정의한다면, 그 세 가지 전환은 모두 구매자의 비용이 됩니다.
| 범주 | 핵심 지표 | 측정 방법 | 흔한 함정 |
|---|---|---|---|
| 정확도 | 인식 또는 예측 정확도, 오류율 | 실제 흐름에서 지속적인 샘플링, 최소 5,000개 단위, 제품 범주별 층화 | 데모 집합만 테스트하거나, 최악의 범주를 보여주지 않고 전체 정확도만 보고하는 것 |
| 속도 | 단위당 처리 시간, P95 시스템 응답 | 피크 시간대를 통한 지속적인 측정, 평균이 아닌 95번째 백분위수 사용 | 평균만 보고하여 지연의 긴 꼬리를 숨기는 것 |
| 안정성 | 수동 개입 없는 연속 가동 시간, 장애 후 복구 시간 | 72시간 연속 운영, 모든 중단과 복구를 기록 | 8시간 주간 근무만 테스트하고 야간 근무나 교대 변경을 테스트하지 않는 것 |
| 비용 | 처리 단위당 비용, 금액으로 환산한 노동 절감 | 인수 기간 중 실제 물량과 노동 시간으로 계산 | 소프트웨어 라이선스만 세고 재작업, 유지보수, 예외 처리를 무시하는 것 |
정확도는 문구가 가장 자주 잘못되는 부분입니다. 같은 «99%»라도 공급업체가 선별한 데모 집합에서 측정했는지, 실제 흐름에서 측정했는지에 따라 전혀 다른 두 세계를 설명할 수 있습니다. 계약서에는 테스트 집합이 구매자의 실제 화물에서 나온다는 것, 샘플링이 모든 제품 범주와 예외 유형을 포함한다는 것, 그리고 결과는 범주별로 판정되며 최악의 범주는 전체 평균 속에 숨기는 것이 아니라 별도로 채점한다는 것을 명시해야 합니다. 속도는 평균이 아닌 P95 값으로 써야 합니다. 창고가 고통받는 것은 평균일 때가 아닙니다. 최악의 5% 주문이 라인을 막을 때 고통받습니다. 안정성은 연속 가동 시간으로 써야 하며, 72시간은 실용적인 기준이 되어 주간 근무, 야간 근무, 한 번의 인수인계를 포함합니다.
비용은 가장 쉽게 빈 문장으로 전락하는 지표입니다. «노동력 30% 절감 예상»은 기준선이 없으므로 받아들일 수 없습니다. 실행 가능한 버전은 먼저 기준선을 고정하는 것입니다. POC 전 2주 동안 해당 프로세스의 실제 단위당 비용과 노동 시간입니다. 그런 다음 인수 기간 중 측정된 값과 비교합니다. 재작업, 예외 처리, 유지보수 노동을 포함해야 하며, 그렇지 않으면 공급업체가 절약한 시간은 재작업 스테이션에서 다시 소진될 것입니다.
데모 데이터로는 합격, 실제 흐름으로는 불합격
두 번째 사례는 2024년 말 광둥성의 한 전자상거래 창고에서 나온 것입니다. 공급업체의 AMR 스케줄링 알고리즘은 피킹 효율 25% 향상을 약속했고, 인수는 한가한 기간의 단일 웨이브로 측정되었습니다. 숫자는 훌륭해 보였습니다. 성수기 시뮬레이션을 실행하자 향상 폭은 7%로 떨어졌고, 72시간 연속 운영 후 시스템은 스케줄링 교착 상태에 빠져 재시작에 40분이 걸렸습니다. 계약서에는 연속 가동 시간, 복구 시간, 피크 동시성 하의 성능에 대해 아무것도 적혀 있지 않았습니다. POC는 «합격»으로 표시되었고, 문제는 가동 개시 3개월 후에 대량으로 드러났는데, 그때의 재작업 비용은 POC 자체보다 더 컸습니다.
두 사례 모두 같은 원인을 가리킵니다. POC 테스트 환경과 운영 환경 사이에는 체계적인 격차가 있으며, 그 격차의 크기는 누구의 데이터를 사용했는지, 어떤 속도로 테스트했는지, 얼마나 오래 테스트했는지에 따라 달라집니다. 데모 데이터는 공급업체의 안락한 영역이고, 실제 데이터는 구매자의 일상적인 현실입니다. 제 권고는 계약서에 세 가지를 고정하는 것입니다. 첫째, 테스트 데이터는 구매자의 실제 화물에서 나와야 하며, 성수기 웨이브 패턴과 예외 유형을 포함하도록 샘플링해야 합니다. 둘째, 인수 측정은 최소 하나의 완전한 피크 운영 기간을 포함해야 하며, 한가한 시간대만으로는 안 됩니다. 셋째, 인수 기간은 최소 2주여야 하며, 한 번의 교대 인수인계와 한 번의 완전한 예외 처리 주기를 포함해야 합니다.
여기에는 직관에 반하는 점이 있습니다. 정확도 목표를 높게 설정할수록 POC는 더 쉽게 왜곡됩니다. 99.9% 목표는 엄격하게 들리지만, 실제로는 공급업체가 데모 집합에 과적합하도록 몰아가는 경우가 많으며, 시스템을 더 견고하게 만드는 대신 테스트 집합을 완벽하게 다듬는 데 에너지를 쏟게 합니다. 유용한 인수 목표는 하나의 인상적인 숫자가 아니라 단계별 지표 집합입니다. 전체 정확도, 최악 범주 정확도, 예외 유형 커버리지의 세 가지이며, 세 가지가 함께 통과해야 합니다. 트레이드오프는 명확합니다. 느슨해 보이지만 구조적으로 완전한 지표 집합은 실제 화물에 대한 신뢰를 사줍니다. 하나의 매우 높은 숫자는 대개 좋은 데모를 사줄 뿐입니다.
인수에 실패하면 계약서에 출구가 필요합니다
지표가 명확해지면, 계약서는 그것이 충족되지 않을 때 어떤 일이 일어나는지도 말해야 합니다. 많은 POC 계약서에는 여기에 한 문장만 있습니다. «인수에 실패하면 양 당사자는 협상한다»는 문장인데, 실제로는 다툼을 의미합니다. 더 지속 가능한 구조는 단계별 출구입니다. 첫 번째 인수 실패 시 공급업체는 30일 이내에 1회의 무료 시정 조치를 받으며, 범위와 비용 상한은 계약서에 명시됩니다. 두 번째로 실패하면 구매자는 계약을 해지하고, 미사용 구현 비용을 회수하며, 인도된 하드웨어를 감가상각 가치로 정산할 수 있고, 데이터와 모델의 소유권은 계약 체결 시 확정됩니다.
계산해 보면 그 조항의 가치를 알 수 있습니다. 비용이 400,000위안인 POC와 400만 위안의 전체 도입 예산을 예로 들어 보겠습니다. 인수 기준이 모호하고 시스템이 합격으로 선언된 뒤 도입 과정에서 기대에 미치지 못하면, 재작업과 시정 조치로 또 100만 위안이 쉽게 소진되고, 3개월의 기회 손실이 더해집니다. 그에 비해 2페이지 분량의 인수 조건은 거의 비용이 들지 않습니다. 같은 계산의 다른 면은 POC가 본질적으로 정보에 대한 작은 대가라는 것입니다. 이 솔루션이 정말로 제 창고에서 작동하는지에 대한 답입니다. 인수 기준이 공급업체가 질 수 없도록 작성되어 있다면, 그 돈이 사는 것은 정보가 아니라 도입으로 가는 티켓입니다.
성공적인 POC에는 운영 전환을 위한 인계 조항도 필요합니다. 계약서에 들어가야 할 세 가지는 다음과 같습니다. 첫째, POC 인수 데이터와 테스트 집합은 가동 개시의 기준선으로 유지되며, 운영 지표는 POC 인수 값 아래로 떨어져서는 안 됩니다. 둘째, 도입은 단계별로 진행되며, 각 단계마다 체크포인트가 있고, 체크포인트를 놓치면 그 단계에서 도입이 중단됩니다. 셋째, 공급업체의 현장 지원 기간과 응답 시간은 구두 약속으로 남겨두는 것이 아니라 도입 조건에 명시됩니다. POC와 가동 개시 사이의 가장 위험한 단절은 인수가 끝나고 공급업체의 최고의 인력이 떠나, 아무도 책임지지 않는 시스템이 남는 순간입니다.
판단은 이제 상당히 명확합니다. POC 인수는 기술 검토가 아니라 리스크의 가격 책정입니다. 계약서에 적힌 지표가 실제 화물의 불확실성을 누가 부담하는지를 결정하고, 출구 조항은 그 불확실성이 기대를 초과할 때 누가 중단할 권리를 가지는지를 결정합니다. 향후 2~3년 동안 창고 AI 프로젝트는 계속 늘어날 것이고, 공급업체의 데모는 점점 더 세련될 것입니다. 공급업체가 진지한지 알아보는 방법은 데모를 보는 것에서 AI POC 인수 기준을 계약서에 넣을 의향이 있는지, 그리고 그 지표가 실제 화물과의 접촉에서 살아남는지를 보는 것으로 바뀌고 있습니다. 다음 POC에 대해서는 인수 양식의 숫자를 누가 정하는지가 계약서에 서명한 후가 아니라 서명하기 전에 정할 가치가 있는 문제입니다.
Dr. Chen, 공급망 연구원 지음 영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.







