2022년, 나는 온타리오의 3PL 창고에서 벤더가 비전 기반 순환 재고조사의 POC를 돌리는 모습을 지켜봤다. 현장에서 데모는 98.6%의 정확도를 기록했다 — 랙을 스캔하자 화면의 숫자가 모두 맞았다. 창고 매니저는 그 자리에서 계약하고 싶어 했다. 계약서에는 그저 "payment due upon acceptance"라고만 적혀 있었다. 세 달 뒤 시스템이 가동되자, 실제 랙에서는 정확도가 84%로 떨어졌다. 최상단 반사 쉬링크랩 박스들은? 절반이 인식 불가였다. 매니저가 어떻게 해야 하냐고 물었다. 나는 계약에 인수를 어떻게 측정하는지 정의되어 있지 않으니, 분쟁이 생겨도 한 푼도 돌려받을 수 없다고 말했다. AI 프로젝트에서 지뢰 10개 중 8개는 계약서에 묻혀 있다.
돈이 나가기 전에, 자를 확정하라
POC는 데모가 아니다 — 자를 정하는 자리다. 자는 세 개이며, 계약 전에 세 개 모두 계약 별지(exhibit)에 문서화되어야 한다. 예외 없다.
자 하나: 효과 지표. "제대로 맞추는가?"에 답한다. "accuracy"라고만 쓰지 말고 — 분자와 분모를 정의하라. 비전 재고조사라면 예를 들어 이렇게: "테스트 세트의 500 SKU를, 5일 연속 실제 랙에서 스캔하여 인식 정확도 ≥97% (정답 인정에는 SKU와 수량이 모두 맞아야 함)". 효과 지표에는 에러 예산도 필요하다: 감내 가능한 에러(손상된 카톤)와 제로 톨러런스 에러(고가 SKU — 한 번의 미스도 실패로 간주).
자 둘: 엔지니어링 지표. "안정적으로 돌아가는가?"에 답한다. 가장 중요한 숫자는 세 개다: 가용성(계획된 유지보수 시간을 제외하고 30일 연속 가동률 ≥99%), 레이턴시(95퍼센타일에서 1회 인식 응답 ≤2초), 오탐률(≤1%. 오탐 1건마다 인수 점수에서 감점). 데모에서는 번개 같은 속도를 보여주다가, 네트워크가 잠깐만 끊겨도 쓰러지는 벤더가 많다. 엔지니어링 지표가 계약에 없으면, 시스템이 주 3회 다운되는 걸 손 놓고 지켜보기만 하게 된다.
자 셋: 비즈니스 지표. "돈 값을 하는가?"에 답한다. POC가 끝나면 두 개의 숫자를 내야 한다: 절감된 인건 시간(예: 인일당 순환 재고조사 시간이 10회 재고조사 사이클 평균으로 6시간에서 1.5시간으로 감소)과 ROI 게이트(계약에 이렇게 명시: 연간 환산 인건비 절감액 < 프로젝트 총비용의 1.5배이면, 고객은 페널티 없이 구매를 철회할 수 있다). 비즈니스 지표는 사장의 손익분기점이며, 나쁜 프로젝트를 끝낼 수 있는 라이선스다.
벤더가 좋아하는 세 가지 꼼수
첫째: 해피 패스만 테스트한다. 데모 랙에는 표준 카톤이 줄지어 있고, 조명은 완벽하고, 바코드는 정면을 향한다. 이렇게 요구하라: 테스트 세트는 당신이 준비한다. 자기 창고에서 실제로 움직이는 SKU에서 샘플링한다 — 손상된 카톤, 반사 필름, 비뚤어진 적재까지 전부 포함이다. 계약서에는 "테스트 세트는 고객이 제공하고, 벤더는 구체적인 샘플을 사전에 볼 수 없다"고 쓴다.
둘째: 테스트 세트 오염. 벤더가 미리 당신의 테스트 데이터로 모델을 튜닝하니, 고득점이 나오는 건 당연하다. 방어책: 테스트 세트를 두 개 준비한다. 하나는 계약 시 공개해 튜닝용으로 쓰고, 다른 하나는 봉인해 두었다가 인수 당일에 공개한다. 이렇게 써라: "인수에는 고객이 봉인한 블라인드 테스트 세트를 사용하며, 벤더가 한 번도 본 적 없는 것으로 한다".
셋째: 인수 데이터가 실제 환경과 맞지 않는다. POC는 Building 1에서 완벽하게 돌아갔지만, 도입하는 곳은 Building 5다 — 조명도, 랙 높이도, SKU 구성도 다르다. 계약서에는 "인수 환경 = 최종 도입 환경"이라고 쓴다. 최소한 "인수는 고객이 지정하는 2곳 이상의 존에서 실시한다"고 써라.
인수 런북: 누가 테스트하고, 기간은 얼마나, 말싸움에서는 누가 이기는가
계약의 모든 지표는 같은 5개 항목 템플릿을 따른다: 베이스라인(수작업이나 현행 시스템이 오늘 달성하고 있는 수준), 목표값(소수점 첫째 자리까지 구체적으로), 측정 방법(누가 데이터를 제공하고, 무엇으로 측정하는가), 측정 윈도우(연속 며칠, 하루 몇 회 돌리는가), 합격/불합격 규칙(기준, 재테스트 정책, 몇 회 실패하면 POC 실패로 간주하는가). 다섯 중 하나라도 빠지면, 인수는 고함 지르는 자리가 된다.
내가 평소 쓰는 런북은 이렇다: 테스트는 고객이 주도하고 벤더가 지원한다. 제3자 데이터의 정본은 WMS 익스포트다. 측정 윈도우는 14일 연속, 하루 최소 3시프트. 양쪽 당사자는 누구든 48시간 이내에 결과에 이의를 제기할 수 있고, 이의가 나오면 1회 재테스트를 한다. 재테스트 결과가 최종이다. 재테스트에서도 실패하면, 고객은 무조건 해지할 수 있고 벤더는 이미 받은 POC 비용을 전액 환불한다. 분쟁 해결은 "말싸움이 아닌 재테스트"로 써라 — 그 조항이 효력을 발휘한다.
현장에서 한마디 더: 벤더는 영업 단계에서는 인수 지표를 구두로 쾌히 수락해 놓고, 계약 별지에 쓸 때가 되면 질질 끈다. 내 경험칙은 단순하다 — 템플릿을 먼저 들고 온 쪽이 주도권을 잡는다. 5개 항목 템플릿의 빈 인수 시트를 준비해서, 채워 보내라고 상대에게 보내라. 그게 선수를 치는 것이다. 벤더에게 초안을 맡기면, 당신에게 유리한 지표는 모조리 "to be mutually agreed"로 돌아온다 — 아무 의미 없는 네 단어다.
솔직한 얘기: 계약 전에는 POC에서 주도권이 전부 당신에게 있다. 계약 후에는 남는 게 희망뿐이다. 내일 한 가지만 하라: 지금 협상 중인 AI 프로젝트의 계약서를 꺼내서, 인수 별지에 다섯 가지 — 베이스라인, 목표값, 측정 방법, 측정 윈도우, 합격/불합격 규칙 — 가 모두 갖춰져 있는지 확인하라. 빠진 게 있으면 돌려보내고 벤더가 채우게 하라. 확신 없는 부분은 계약서와 벤더 공식 문서에 따르라. 그 별지가 프로젝트 전체에서 유일한 진짜 보험이다. 그리고 솔직하게 자문해 볼 가치가 있는 질문이 하나 있다: 만약 이 시스템이 다음 분기에 사라진다면, 당신의 현장은 그 차이를 알아챌까? 답이 노라면, 그 POC는 애초에 할 필요가 없었다.
영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.
