지난해 가을 AI 피킹 최적화 벤더와 계약한 고객사가 있다. 첫 번째 데모는 회의실 전체에서 박수를 받았다 —— 거대한 화면에서 주문이 자동으로 묶이고, 피킹 경로가 마법처럼 최적화되고, 영업사원은 "2주 만에 가동, 정확도 99%"를 약속했다. 사장은 그 자리에서 마음을 빼앗겼고, 계약은 빠르게 체결됐다. 그런데 가동일이 다가왔다. 시스템이 실제 주문을 만지는 순간, 바로 멈춰 섰다. SKU 이름은 들쭉날쭉했고, 과거 데이터에는 누락된 항목이 있었으며, 그 "99%"는 정제·표준화된 데이터셋에서 측정한 숫자였던 것이다. 시스템은 6개월 동안 구석에서 먼지를 뒤집어쓴 채 방치됐고, 청구서는 계속 날아왔다.

구매자인 당신에게 한 가지 알려줄 게 있다. 벤더 데모는 마술쇼가 아니다. AI 벤더 데모를 보는 철칙이 하나 있다 —— 첫 번째 데모는 영업사원을 보여주고, 두 번째 데모는 엔지니어링을 보여주고, 세 번째 데모는 계약서를 보여준다. 세 개 중 하나라도 건너뛰면, 서명은 도박이다. 이 AI 벤더 데모 평가 체크리스트는 고객사와 함께 열 번도 넘는 AI 벤더 데모를 참관한 경험에서 나왔다. 그대로 따라 하면, 최소한 서명을 후회하는 일은 없다.

데모 1: 불꽃놀이가 아니라 기능을 보라

데모 1은 영업사원의 홈구장이다. 그의 임무는 당신에게 "와"를 외치게 하는 것. 당신의 임무는 정반대다. "와"를 외치게 만든 것들을 전부 지워버리고, 남은 것이 쓸 만한지 확인하는 것이다.

먼저, 가장 흔한 세 가지 데모 거짓말을 외우고 그 자리에서 자동 번역하라:

  • "AI 기반" → 번역: 코스프레한 룰 엔진일 가능성. 직접 물어라. "이 워크플로에서 어느 단계가 실제로 머신러닝 모델로 처리되고, 어느 단계가 하드코딩된 규칙입니까?" 대답을 못하면 룰 엔진이다.
  • "정확도 99%" → 번역: 실험실 데이터에서 측정한 숫자. 파고들어라. "그 99%는 어떤 데이터셋에서 측정했습니까? 샘플 크기는 얼마였습니까? 우리 업계의 실제 주문으로 돌려본 적이 있습니까?" 우리 데이터로 돌릴 배짱이 있는지 —— 그게 데모 2다.
  • "2주 만에 가동" → 번역: 데이터 정제 제외, 연계 제외, 교육 제외. 물어라. "그 2주에 WMS 연계와 과거 데이터 정리가 포함됩니까? 우리 SKU 마스터가 엉망이면 일정은 어떻게 됩니까?"

한 수 더: 영업사원에게 파라미터를 현장에서 바꾸게 해보라. 라우팅 데모에서는 목적을 "속도 우선"에서 "만재 우선"으로 바꿔보게 하라. 웨이브 계획 데모에서는 웨이브 상한을 50에서 30으로 바꿔보게 하라. 진짜 시스템이라면 파라미터 변경이 몇 초 안에 반영된다. 녹화된 "데모"는 그 자리에서 정체를 드러낸다 —— 멈추거나, 에러를 내거나, 영업사원이 "귀사 맞춤형 버전을 준비해 드리겠습니다"라고 말하거나. "맞춤형 버전"이라는 말을 듣는 순간, 그 기능은 아직 존재하지 않는다는 걸 알면 된다.

데모 2: 우리 실데이터로 돌려보라

데모 2는 분수령이다 —— 벤더의 80%를 걸러내는 단계. 요구사항은 딱 하나. 우리 데이터로 돌려라.

"지저분한 데이터 팩"을 준비하라. 3개월분의 정제되지 않은 실제 주문(지저분할수록 좋다), 이름이 엉망인 SKU를 포함한 SKU 마스터 데이터, 그리고 성수기 실제 하루의 웨이브 물량. 벤더에게 임포트시키고 눈앞에서 돌리게 하라. 무엇을 봐야 하는가?

첫째, 임포트 단계. 실데이터가 들어가는 순간 통합 담당자의 실력이 드러난다. 필드 불일치, 인코딩 깨짐, 결측값 오류 —— 이게 가동 후 당신의 팀이 매일 마주할 현실이다. 벤더가 임포트 단계에서 비틀거리면, 약속된 "2주 만에 가동"을 직접 다시 계산해 보라.

둘째, 결과의 설명 가능성. AI가 제안하는 최적화는 전부 "왜"라고 물을 수 있어야 한다. 시스템이 주문 배치를 두 개의 웨이브로 나누면, 클릭해서 이유가 보여야 한다. 이동 거리였는지, 주문 마감 시간이었는지, 인력 배치였는지. 스스로 설명하지 못하는 블랙박스 최적화기는 예외 주문이 처음 나타나는 날 현장 슈퍼바이저와 싸움을 시작할 것이고 —— 슈퍼바이저가 항상 이긴다. 시스템은 벤치행이다.

셋째, 예외 처리. 일부러 불량 주문 몇 개를 슬쩍 섞어 넣어라. 주소 누락, 단종 SKU, 터무니없는 수량. 시스템이 그것을 우아하게 플래그해서 사람이 검토하게 넘기는지, 그 자리에서 뻗는지, 아니면 —— 가장 무서운 경우 —— 경고 한 마디 없이 터무니없이 틀린 추천을 조용히 내놓는지. 데모에서 모든 게 순조롭게 돌아간다는 건 아무것도 증명하지 않는다. 예외에 뒤집어지지 않는 것이 모든 것을 증명한다.

이 라운드가 끝나면 영업사원의 "99%"는 대개 정신이 번쩍 드는 숫자로 떨어진다. 실망하지 마라 —— 좋은 소식이다. 진짜 숫자를 서명 전에 보는 것이 가동 후에 보는 것보다 항상 낫다.

데모 3: 가격과 계약이 본무대다

처음 두 데모는 기술 평가다. 세 번째는 상업 협상이다. 많은 구매자가 여기서 다친다. 기술진이 데모 2 이후에 돌아가고 구매 담당자가 영업사원과 단둘이 남기 때문이다 —— 정보 비대칭, 그리고 당신은 털린다.

먼저, AI 벤더의 가격 체계를 이해하라. 오늘날 세 가지 모델이 지배적이다. 사용자 과금, 주문 과금, 연간 SaaS 구독. 각각 함정이 있다:

  • 사용자 과금: 성수기에 임시직을 늘리면 라이선스 요금도 같이 늘어난다. "동시 접속 사용자"와 "등록 사용자"의 구분을 명확히 하라.
  • 주문 과금: 비용이 물량에 연동되어 공정해 보이지만 —— 구간별 가격을 물어라. "월 100,000건을 넘기면 단가가 얼마나 내려갑니까?" 묻지 않으면 할인은 없다.
  • 연간 SaaS: 가장 단순하고 가장 비싸다. 연간 요금에 업그레이드가 포함되는지, 메이저 버전은 추가 비용인지 명확히 하라.

다음은 숨겨진 요금 3종 세트. 견적서에는 없고 계약서에 나타난다. 구축 요금(데이터 정제, 시스템 연계 —— 소프트웨어 가격의 절반이 되기도 한다), 연계 요금(WMS/ERP 인터페이스당), 교육 요금(인일 단위). 협상에서는 벤더에게 세 가지를 모두 총견적에 포함시키라. 적혀 있지 않은 것은 0으로 간주한다 —— 흑백을 분명히.

마지막으로, 목숨을 구하는 세 가지 계약 조항. 하나라도 빠지면 서명하지 마라:

  1. 수락 기준을 계약서에 명기. 데모 2에서 측정한 진짜 지표(정확도, 처리 시간)를 수락 조건으로 하고, 미달 시 대금 보류나 해지 권리를 확보하라. 구두로 약속하고 계약서에 없는 숫자는 약속하지 않은 것과 같다.
  2. 마일스톤 지급. 선금은 30% 이하, 잔금은 가동·수락 이후에만. 전액 선지급하면 내년은 사정하는 1년이 된다.
  3. 해지 조항과 데이터 소유권. 30일 전 통지로 편의상 해지 가능, 데이터는 회사 소유, 회사의 서면 동의 없이 벤더가 회사 데이터로 모델을 학습할 수 없다. 이 대화를 지금 건너뛰면, 벤더를 바꾸고 싶어지는 2년 후에 눈물을 흘린다.

불편한 진실: 데모가 매끄러울수록 함정은 깊다

마지막으로 역설적인 한 마디: 데모가 세련될수록 서명 후 추락은 더 격렬하다. 세련된 데모란 데이터가 손질되고, 흐름이 리허설되고, 예외가 숨겨졌다는 뜻이기 때문이다. 당신이 사는 것은 45분짜리 연극이 아니다 —— 앞으로 3년 동안 매일 아침 8시에 돌아가는 시스템을 사는 것이다.

그래서 프로는 데모의 "세련되지 않은" 순간을 본다. 영업사원이 막혔을 때의 반응, 지저분한 데이터가 들어갔을 때의 에러 메시지, 예외 주문의 처리 방식. 그 세련되지 않은 순간들이야말로 시스템의 진짜 모습이다.

다음에 계약을 협상할 때 이 세 가지 질문을 잊지 마라. "우리 데이터로 돌릴 수 있습니까?" "수락 기준을 계약서에 넣을 수 있습니까?" "조기 해지하면 우리 데이터는 어떻게 됩니까?" 세 가지 모두에 깨끗이 답하는 벤더는 대화할 가치가 있다. 하나라도 애매한 답변 —— 감사합니다, 안녕히.

Susan, 3PL 영업 이사 지음

영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.