아침 6:30, 창고에서 WMS POC 평가가 시작되려 하고 있었다. 야간 근무조는 아직 떠나지 않았다. 주간 근무조는 이미 출근을 찍고 있었다. 트럭 한 대가 도크에서 하역을 기다리며 서 있었고, 사무실 전화는 끊임없이 울렸다. 영업 담당자는 큰 화면을 빠르게 클릭하며 진행했다. 상자를 스캔하면 주문이 들어갔다. 웨이브를 해제하면 피킹이 정리되었다. 피킹 경로는 지도처럼 화면 위에 스스로 그려졌다. 옆에 있던 감독자들은 계속 고개를 끄덕였다. 솔직히 좋아 보였다. 하지만 한 가지 생각이 계속 마음에 걸렸다. 여기는 그들의 영역, 그들의 데이터, 그들의 각본이었다. 좋아 보이는 게 당연했다. 좋아 보이는 데모는 아무것도 증명하지 못한다. 중요한 것은 우리 건물에서, 우리 화물로, 우리 근무조에서 무슨 일이 일어나는가이다.
나는 데모에서 만점을 받은 공급업체가 가동 후 세 달 동안 화재 진압에 매달리고, 화면에서는 평범해 보이던 다른 업체가 수년 동안 순조롭게 운영되는 것을 보았다. 차이는 기능 목록이 아니었다. 우리가 실제로 무엇을 테스트했는가였다. 지금 우리의 방식은 이렇다. 시나리오를 정하고, 실제 물량을 흘려보내고, 인수 기준을 계약서에 적는다.
WMS POC 평가는 상대의 최고의 데모가 아니라 우리의 최악의 하루에서 시작한다
WMS POC 평가는 데모 일정을 예약하는 것에서 시작하지 않는다. 가장 힘든 하루를 적는 것에서 시작한다. 우리에게는 피크 시즌 직전의 주간이다. 이백 건이 넘는 주문을 열 시까지 출고해야 한다. 반품은 오후에 도착한다. 야간 근무조는 그래도 사이클 카운트를 돌려야 한다. 그 하루에서 어느 고리가 먼저 끊어지는지 우리 모두 안다. 혼합 로트 입고, 팔레트를 둘 곳이 없는 가득 찬 빈, 보류해야 하는 부족 피킹, 웨이브를 도중에 바꾸게 만드는 긴급 주문.
그래서 우리는 테스트 시나리오를 그 하루가 실제로 흘러가는 순서대로 쓴다. 도크의 첫 트럭부터 마지막 트럭이 떠나고 근무조가 마감될 때까지. 각 시나리오는 세 가지를 명시한다. 출발 위치가 어디인지, 누가 작업을 하는지, 무엇이 합격인지. 혼합 로트 입고를 예로 들어보자. 한 대의 트럭이 세 개의 로트를 싣고 오는데 시스템에는 하나만 보인다. 차이는 어떻게 기록하는가? 누가 확인하는가? 화물은 보류 구역에서 기다릴 수 있는가? 이 하나의 시나리오만으로 한 공급업체가 완전히 멈췄다. 그들의 시스템은 차이를 기록할 수 있었지만, 티켓은 수령 담당자가 도크에서 기다리는 동안 감독자가 데스크톱에서 승인해야 했고, 트럭은 막힌 채 서 있었다.
목록은 짧게, 여덟에서 열두 개의 시나리오로 하고, 각각은 실제로 여기서 일어났던 일로 한다. 베테랑들을 데려오라. 그들은 데모에서는 절대 보여주지 않는 세부 사항을 기억한다. 겨울에 결로가 생기는 빈, 별도 라벨이 필요한 고객, 스캔이 가장 잘 안 되는 운송사 라벨. 야간 근무의 장 씨가 언젠가 내게 말했다. 데모는 좋은 날만 보여준다, 창고의 생사는 나쁜 날의 몇 분의 나쁜 시간에 달려 있다고.
공급업체가 테스트 시나리오를 쓰게 해서는 안 된다. 열 번 중 아홉 번, 공급업체가 쓴 시나리오는 자사 시스템에 맞춰져 있어 모든 단계가 자사의 가장 강한 기능에 착지한다. 질문을 쓰는 것은 우리다. 실행하는 것은 공급업체다. 시험을 쓰는 자가 권력을 쥔다.
WMS POC 평가는 실제 주문으로 돌리고, 계산은 현장에서 한다
시나리오가 정해지면 실제 주문 물량을 흘려보낸다. 대부분의 개념 증명이 무너지는 지점이 여기다. 깨끗한 데모 데이터 열댓 줄이 날아가고, 모두가 박수를 치고, 계약서에 서명하고, 그러다 실제 물량이 도착하면 시스템이 기어간다.
우리 규칙은 간단하다. 주문, 제품, 빈 모두 지난달 우리 기록에서 가져온다. 가장 큰 날과 가장 지저분한 날을 고른다. 가장 큰 날은 시스템이 부하를 감당할 수 있는지 테스트한다. 가장 지저분한 날은 예외 처리가 따라가는지 테스트한다. 둘 다 통과하면 밤에 편히 잘 수 있다.
여기에 예시를 하나 들어보겠다. 우리의 실제 숫자가 아니다. 어느 창고가 하루에 2,000건의 주문을 출고하고, 테스트는 500건의 샘플을 돌린다고 하자. 피커들은 주문당 평균 반 분 더 빨랐고, 샘플 전체에서 약 네 시간을 절약했다. 하지만 우리는 현장에서 세 가지 질문을 했다. 몇 건의 주문이 예외에 걸렸는가, 각각 얼마나 더 걸렸는가, 피크 시간에 응답 시간이 느려졌는가. 열 건 중 한 건 이상이 예외에 걸렸고, 각각 거의 네 분의 추가 시간이 들었다. 예외가 정상 주문이 절약한 시간보다 더 많은 시간을 먹어치웠다. 순 절감: 네 시간이 아니라 한 시간 미만이었다.
| 테스트 항목 | 데모 숫자 | 실제 하루의 숫자 |
|---|---|---|
| 피킹 속도 | 깨끗한 데모 데이터에서의 주문당 시간 | 예외를 포함해 피크일 실제 주문으로 다시 실행 |
| 예외 처리 | 데모에서의 표준 경로 | 혼합 로트, 부족 피킹, 긴급 삽입을 각각 한 번씩 실행 |
| 시스템 응답 | 빈 데이터베이스에서의 속도 | 재고가 가득 찬 상태에서 피크 동시 접속으로 재테스트 |
| 보고 및 마감 | 당일 출력된 보고서 | 야간 근무 마감과 카운트 차이를 처음부터 끝까지 처리 |
테스트를 실행하는 사람은 나중에 시스템을 운영할 사람이어야 한다. 공급업체의 컨설턴트도, 컴퓨터를 잘 다루는 사무실 직원 한 명도 아니다. 입고 담당자, 피커, 검수 담당자가 직접 손을 대게 하라. 그들의 손이 진실을 말한다. 한 데모에서 현장 경력 여덟 해의 피커가 세 건의 주문을 시도해보고는 장갑을 낀 채로는 글자가 너무 작아 읽을 수 없다고 말했다. 그 한 마디가 세 시간의 검토 회의를 이겼다. 사람은 시스템의 일부다. 인터페이스가 그들과 싸우면 엔진이 아무리 좋아도 시스템은 실패한다.
여기 직관에 반하는 부분이 있다. 데모가 가장 매끄럽게 돌아가는 공급업체가 항상 최고의 공급업체는 아니다. 언젠가 데모가 처음부터 끝까지 오류 없이 돌아갔고, 그래서 나는 기쁘기보다 불안해졌다. 우리 창고에 오류 없는 날이 언제 있었던가? 파고들어 보니 그들은 미리 모든 예외 분기를 꺼놓았다는 것을 알았다. 데모는 이미 포장된 길을 달렸다. 살 만한 시스템은 일이 잘못될 때 침착함을 유지한다. 잘못된 주문은 되돌릴 수 있고, 가득 찬 빈은 새 집을 얻고, 네트워크가 끊겨도 현장은 오프라인으로 계속 일할 수 있다. 완벽한 데모는 대개 시스템이 강하다는 뜻이 아니라 테스트가 너무 쉬웠다는 뜻이다.
WMS POC 평가는 계약서에서 끝나지 않으면 없었던 일이다
실행은 끝났고 숫자가 나왔다. 이제 인수 기준을 계약서에 넣는다. 모두가 데모에 지쳐 결정을 내리고 싶어 하기 때문에 가장 자주 건너뛰는 단계다. 하지만 들어보라. 계약서에 없는 것은 공급업체가 책임지지 않는다. 구두의 '문제없습니다'는 가동 당일 '맞춤 개발이 필요합니다'로 바뀐다.
우리의 인수 목록은 이제 고정되어 있다. 다섯 가지 항목, 각각 숫자, 담당자, 재테스트 날짜가 있다. 피킹 속도: 피크일 실제 물량에서 기존 시스템보다 주문당 얼마나 더 빠른지, 어느 예외율이 합격인지. 재고 정확도: 어느 카운트 차이율을 받아들이는지, 어느 카운트 방법이 그것을 증명하는지. 예외 처리: 혼합 로트, 부족 피킹, 긴급 주문에 대해 종이 기록으로 우회하지 않고 몇 단계 안에 해결해야 하는지. 시스템 안정성: 피크 동시 접속 시 응답 시간 상한과 네트워크나 전원이 끊긴 뒤의 복구 단계. 교육과 인수인계: 모든 근무조의 실제 실습 교육 시간, 그리고 베테랑이 신입을 가르치는 방식에 맞는 권한과 기록.
계약서에는 재테스트 규칙도 명시한다. 첫 테스트에 실패한 공급업체에게 수정에 얼마나 시간을 주는지, 수정 후에는 같은 시나리오를 다시 돌리는지, 더 쉬운 것으로 바꾸지 않는지. 두 번 실패하면 우리는 손을 뗄 수 있고, 보증금 조건은 명문화되어 있다. 어려운 말은 미리 하라. 우리는 비싼 대가를 치르고 배웠다. 어느 해 우리 계약서에는 시스템이 '가동 후 기대에 부응할 것'이라고 적혀 있었다. 그 기대가 무엇인지 아무도 말할 수 없었다. 두 달간의 논쟁이 이어졌고, 돈은 지불되었고, 모두가 지쳤다. 그 이후로 우리 계약서에는 '기대에 부응한다' 같은 문구가 없다. 숫자와 시나리오 코드뿐이다.
서명하기 전에 한 가지 더. 공급업체는 실행한 시나리오와 데이터를 계약서에 첨부해 두고 간다. 가동 후 문제가 생기면 그것으로 확인한다. 테스트된 적이 없었던 것인지, 테스트 후에 무언가 바뀐 것인지. 그 첨부는 신입 사원의 교육 자료로도 쓰인다.
WMS 선택은 서둘러서는 안 된다. 데모실에서의 멋진 한 시간은 365일의 실제 운영 앞에서는 아무 가치가 없다. WMS POC 평가는 멋진 말은 제쳐두고 가장 힘든 하루, 실제 주문, 현장에서의 실시간 계산으로 시스템을 테스트한다. 그 테스트에 통과하면 서명할 때 손이 흔들리지 않는다. 실패하면 가동 후 매일 화재를 진압하는 것보다 지금 공급업체를 바꾸는 편이 낫다. 다음 공급업체가 들어오면 노트북을 열기 전에 시나리오 목록을 건네라.
Chen Feng, 창고 운영 매니저 지음 영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.






