우리 작은 창고는 그렇게 돈을 태울 여유가 없습니다. 그래서 AI PoC 인수 지표에 관해서는 모든 것을 두 번 확인합니다.
우리 상황은 이렇습니다. 3,000제곱미터 창고, 열두 명, 하루 800건이 넘는 주문. 2025년 초, 한 업체가 시각 품질 검사를 들고 왔습니다. '정확도 99.5%, 석 달 만에 회수.' 데모 영상은 아름다웠습니다. 상자가 컨베이어를 따라 미끄러지듯 흐르고, 녹색 상자가 화면에 하나씩 나타났습니다. 그 자리에서 계약할 뻔했습니다. 그러다 한 가지 질문을 했습니다. 데모에 나온 상품, 여러분이 직접 고른 겁니까? 영업사원은 미소를 지으며 화제를 돌렸습니다. 그 순간, 이 돈은 데모에 쓸 수 없다는 것을 알았습니다.
AI PoC 인수 지표는 데모가 얼마나 좋아 보이는지가 아닙니다. 실제 창고에서 시스템이 어떻게 작동하는지가 문제입니다. 데모실은 밝은 조명, 정돈된 상자, 신호 가득한 Wi-Fi입니다. 실제 창고는 조명의 절반이 깜빡이고, 상자는 비뚤어지고, Wi-Fi 사각지대가 도처에 있습니다. 데모에서의 99% 정확도는 실제 운영에서 85%까지 쉽게 떨어집니다. 85%라면 이 시스템은 Lao Zhang의 눈보다 못합니다.
데모는 훌륭합니다. 진짜 AI PoC 인수 시험은 실제 창고입니다
첫 번째 이야기입니다(가상 사례). 2025년 삼월, 우리는 시각 검사 업체를 시험했습니다. 데모에서는 인쇄가 선명한 표준 상자를 사용하며 정확도 99%를 내세웠습니다. 우리 창고에서는 라벨이 테이프에 절반 가려지고, 상자는 찌그러지고, 바코드는 먼지투성이였습니다. 첫 주 정확도는 87%였습니다(가상 예시). 13% 오류율은 100건 중 13건이 수동 재검사가 필요하다는 뜻입니다. 예전의 완전 수동 검사보다 손이 더 많이 갑니다. 그 AI는 사실상 헛돈이었습니다.
데모와 현실의 격차는 세 가지로 귀결됩니다. 첫째, 샘플입니다. 데모는 '우등생'만 쓰지만, 실제 창고는 예외 투성이입니다. 손상, 얼룩, 반사, 구김, 없는 게 없습니다. 둘째, 속도입니다. 분당 20개를 스캔하는 데모는 컨베이어가 빨라지고 상자가 몰리면 금세 느려집니다. 셋째, 지구력입니다. 데모는 20분이지만, 실제 창고는 10시간 돌아갑니다. 과열, 속도 저하, 여섯 시간째의 연결 끊김은 데모에 절대 나타나지 않습니다.
그래서 제가 택한 현실적인 방법은 이렇습니다. 인수 전에 업체가 우리 실제 주문량으로 두 주간, 가장 까다로운 상품으로 가동하게 합니다. 업체의 테스트 세트는 쓰지 않습니다. 우리의 최악의 상자를 씁니다. 그 가동에서 나온 숫자만이 계약서에 들어갈 자격이 있습니다.
계약서에 넣어야 할 다섯 가지 AI PoC 인수 지표
먼저 직관에 반하는 이야기부터. 정확도 99%인 AI도 돈을 잃게 할 수 있습니다. 의심스러운 사례를 전부 사람에게 넘겨 정확도를 지키고 수동 개입률이 40%에 이르면, AI에 돈을 내고도 수작업이 그대로 남습니다. 인수는 하나의 숫자에 기댈 수 없습니다. 다섯 가지 지표가 함께 통과해야 합니다.
| 지표 | 측정 방법(실측으로 검증) | 불합격 기준 |
|---|---|---|
| 정확도 / 오류율 | 실제 주문에서 오탐과 미탐을 따로 셉니다 | 오탐이 2%를 초과하거나, 미탐 결함이 0.5%를 초과하는 경우 |
| 속도와 처리량 | 준비 시간을 제외한 네 시간 연속 실제 처리량 | 약속한 속도의 90% 미만 |
| 안정성과 가동 시간 | 고장이나 재시작 없이 여덟 시간 연속 가동 | 여덟 시간에 1회를 초과하는 고장 |
| 수동 개입률 | 사람의 검토나 인계가 필요한 주문의 비율 | 5%를 초과하는 경우 |
| 진정한 ROI 회수 기간 | 절감한 인건비에서 새 비용을 빼고 실측 데이터로 계산 | 회수 기간이 18개월을 초과하는 경우 |
정확도는 오탐과 미탐으로 나눠야 합니다. 오탐은 좋은 상품을 불량으로 표시해 인건비를 낭비하고, 미탐 결함은 불량품을 통과시켜 고객과 보상 청구를 잃게 합니다. 두 숫자 모두 계약서에 들어갑니다. 하나의 '정확도' 숫자만 보고하는 업체는 속이는 것입니다.
속도는 실제 물량으로 네 시간 연속 측정해야 합니다. 데모에서의 열 분짜리 전력 질주는 인정되지 않습니다. 중요한 것은 네 시간의 피크 내내 속도를 유지하는 것입니다. 안정성은 더 구체적입니다. 여덟 시간 연속 가동하고, 한 번을 초과하는 고장이 있으면 불합격입니다. AI는 장비이고, 장비는 장비처럼 테스트합니다.
수동 개입률은 제가 가장 중요하게 보는 숫자입니다. 작은 창고에서 5%와 15%는 전혀 다른 사업입니다. 5%라면 한 사람이 시간제로 확인합니다. 15%라면 시스템을 지켜볼 전담 인력이 필요하고, 절감한 인건비는 그대로 돌아옵니다. ROI도 같은 방식입니다. 절감한 인건비에서 전기료, 유지보수비, 소모품, 그리고 여전히 필요한 검토자의 임금을 뺍니다. 순절감액을 투자액으로 나눈 것이 진정한 회수 기간입니다. 업체는 절감액만 세고 비용은 빼먹는 경우가 많습니다. 그러니 직접 다시 계산하세요.
업체의 숫자 장난 — 그리고 제가 빠졌던 함정
두 번째 이야기입니다(가상 사례). 2025년 오월, 다른 업체가 수요 예측을 들고 왔습니다. 데모는 예측 정확도 92%를 보여주었고, 훌륭하게 들렸습니다. 자세히 물어보니 그 92%는 베스트셀러만 대상으로 했고, 롱테일 제품은 완전히 제외되어 있었습니다. 롱테일 제품은 우리 창고의 60%를 차지하므로, 그 92%는 우리에게 거의 쓸모가 없었습니다. 다른 업체는 '하루 5,000건'을 내세웠습니다. 작은 글씨로 '실험실 조건'이라고 쓰여 있었습니다. 우리의 실제 네트워크와 조명에서는 처리량이 30% 떨어졌습니다.
업체의 흔한 숫자 장난은 이렇습니다. 가장 예쁜 부분집합만 보고하고, 실험실 조건을 보고하고, 사람이 실제로 한 일을 AI의 공으로 돌리고, 비용을 무시한 채 ROI에 수익만 셉니다. 해결책은 단순하고 고집스럽습니다. 모든 숫자는 실측으로 검증하고, 계약서의 모든 숫자에는 '우리 창고에서의 연속 두 주간 실측을 기준으로 함'이라는 문구를 붙입니다. 출처 없는 숫자는 모두 '실측 대상'으로 처리합니다. 논쟁하지 않고, 그냥 측정합니다.
'무료 파일럿'이라는 속임수도 있습니다. 무료처럼 들리지만, 파일럿이 끝나면 데이터 형식, 인터페이스, 교육이 모두 그 업체에 묶이고, 바꾸려면 처음부터 다시 시작해야 합니다. 무료가 가장 비싼 가격입니다. AI 파일럿에도 마찬가지입니다. 어떤 파일럿이든 시작하기 전에 한 가지 질문을 하세요. 파일럿이 끝나면 제 데이터를 전부 온전히 내보낼 수 있습니까? 안 된다면 무료라도 하지 않겠습니다.
인수에 실패하면: 먼저 종료 조항을 쓰세요
계약서에서 가장 중요한 부분은 AI PoC 인수 지표가 아닙니다. 인수에 실패했을 때 무슨 일이 일어나는가입니다. 제 버전에는 세 가지 조항이 있고, 어느 하나도 빼놓을 수 없습니다.
첫째, 단계별 지급입니다. 서명 시 30%, 실측 통과 시 40%, 나머지 30%는 석 달의 안정 운영 뒤에 지급합니다. 돈을 쥔 사람이 주도권을 쥡니다. 전액을 선불로 낸 계약에서는 인수 시점에 협상력이 거의 없습니다.
둘째, 수정 기간과 종료 권한입니다. 인수에 실패하면 업체는 수정할 30일을 얻고, 수정에 실패하면 우리는 계약을 해지하고 낸 돈의 70%를 회수할 수 있습니다(가상 예시. 실제 조건은 서명한 계약을 따릅니다). 수정 시도 횟수는 두 번으로 제한합니다. '한 번만 더 조정'을 끝없이 끌게 두지 마세요. 석 달의 조정이 끝나면 성수기는 이미 지나가 있습니다.
셋째, 데이터 소유권입니다. 파일럿 기간에 만들어진 모든 라벨링 데이터와 조정 기록은 우리의 것이며, 업체는 떠날 때 모든 것을 온전히 넘겨줍니다. 이 조항이 종속을 막습니다. 이 조항이 없으면 업체를 바꾸는 것은 처음부터 다시 시작하는 것입니다.
작은 창고에는 작은 창고 나름의 생존 방식이 있습니다. 우리 방법은 거칠지만 효과가 있습니다. 데모를 믿지 말고 실측을 믿으세요. 하나의 숫자를 믿지 말고 다섯 가지 지표를 믿으세요. 종료 조항 없는 계약에는 서명하지 마세요. AI가 작은 창고의 돈을 정말 아낄 수 있는지는 영업 말의 숫자가 아니라 인수표의 다섯 가지 숫자가 결정합니다. 이렇게 테스트하면 적어도 한 가지는 보장됩니다. 돈은 눈을 뜨고 쓰였고, 낭비되지 않았다는 것입니다.
Xiao Ma, 소규모 창고 운영자 지음 영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.







