결론부터 시작하겠습니다. AI 데이터 준비는 대부분의 창고 AI 프로젝트가 성공하느냐 실패하느냐를 결정하는 곳이며, 모델 선택과는 거의 관련이 없습니다. 제가 이끌었던 30건이 넘는 WMS 가동에서 같은 패턴이 반복됩니다. 팀은 예산을 알고리즘 데모에 쓰고, 그다음 운영 데이터를 연결하면 로케이션 코드의 절반이 맞지 않고, 재고 수량이 장부와 맞지 않으며, 과거 주문 10건 중 2건에 핵심 필드가 빠져 있다는 사실을 발견합니다. 모델이 틀린 것이 아닙니다. 그저 기댈 만한 단단한 것이 없을 뿐입니다.

2024년 가을, 저는 중국 동부의 한 3PL 창고 현장에 있었습니다. 고객은 AI 보충 제안을 원했고, 데모는 훌륭해 보였습니다. 실제 데이터를 연결하는 순간 모든 것이 무너졌습니다. 같은 상품이 세 개 시스템에서 서로 다른 세 개의 코드를 가지고 있었고, 피킹 기록의 절반에는 로케이션 정보가 없었으며, 지난 6개월간 출고 주문의 5분의 1에는 중량 데이터가 빠져 있었습니다. 데이터 수정만을 위해 프로젝트를 6주간 멈췄습니다. 저는 이 똑같은 실패를 지금까지 세 번 보았고, 각본은 언제나 같습니다. 비즈니스 쪽은 결과를 빨리 보고 싶어 하고, 기술 쪽은 데모를 빨리 하고 싶어 하며, 데이터 준비는 곁다리로 취급됩니다. 곁다리 일은 항상 두 배로 되돌아옵니다.

AI 데이터 준비란 세 가지 다른 종류의 데이터

AI 데이터 준비는 세 가지 종류의 데이터를 다루며, 이를 혼동하는 것이 팀이 몇 주를 낭비하는 방식입니다. 첫 번째는 마스터 데이터입니다. 상품, 로케이션, 공급업체, 고객입니다. 마스터 데이터는 유일성의 문제입니다. 하나의 상품에는 하나의 코드와 하나의 이름이 부여됩니다. 하나의 로케이션에는 하나의 좌표와 하나의 상태가 부여됩니다. 마스터 데이터가 더러우면 AI가 내리는 모든 판단은 잘못된 토대 위에 세워집니다. 확인 방법은 간단합니다. 상품 테이블을 내보내고 이름, 사양, 바코드별로 각각 중복을 제거하십시오. 다른 일을 하기 전에 중복을 병합하십시오.

두 번째 종류는 트랜잭션 데이터입니다. 입고 주문, 출고 주문, 이동 주문, 실사표입니다. 이것은 창고가 실제로 어떻게 운영되는지를 AI가 배우는 유일한 교과서입니다. 트랜잭션 데이터는 완전성의 문제입니다. 타임스탬프가 없는 주문은 존재하지 않았던 것입니다. 로케이션이 없는 피킹 기록에는 경로가 없습니다. 제 방법은 월간 샘플링입니다. 매월 무작위로 100건의 주문을 추출해 각 주문을 처음부터 끝까지 추적합니다. 누락 필드 비율이 10건 중 1건을 넘으면, 그 달의 데이터는 학습 세트에서 제외됩니다.

세 번째 종류는 상태 데이터입니다. 재고 스냅샷, 로케이션 점유율, 장비 상태입니다. 상태 데이터는 최신성의 문제입니다. AI에게 필요한 것은 지난 달의 창고가 아니라 바로 지금 이 순간의 창고입니다. 많은 창고가 재고 스냅샷을 밤에 한 번 배치 작업으로 갱신하기 때문에, 낮에 발생한 변경 사항은 다음 날까지 나타나지 않습니다. 그런 데이터로 만든 권고는 상품이 이미 이동한 뒤에야 도착합니다.

각 종류의 데이터는 저마다의 방식으로 더러워집니다. 마스터 데이터는 어지러워지고, 트랜잭션 데이터는 사라지고, 상태 데이터는 낡습니다. 이를 하나의 프로세스로 청소하는 것은 전혀 청소하지 않는 것과 같습니다.

순서가 중요하며, 순서를 거꾸로 하는 것이 고전적인 실수

올바른 순서는 마스터 데이터 먼저, 그다음 트랜잭션 데이터, 그다음 상태 데이터입니다. 마스터 데이터는 사전입니다. 사전이 틀리면 그 뒤의 모든 번역이 틀립니다. 한 프로젝트가 과거 주문을 청소하는 데 3주를 보낸 뒤에야 상품 코딩 체계가 두 번 바뀌었고 그 주문들의 코드 절반이 이미 폐기되었다는 사실을 알게 된 것을 본 적이 있습니다. 3주가 낭비되었습니다.

마스터 데이터에서 «완료»란 무엇일까요? 제 가동 체크리스트에는 세 가지 엄격한 관문이 있습니다. 상품 코드가 100퍼센트 유일할 것, 로케이션 코드가 물리적 로케이션과 1대1로 일치할 것, 공급업체와 고객 이름의 중복이 제거될 것입니다. 이 관문을 충족하지 못하면 다음으로 넘어가지 마십시오. 넘어가면 재작업에 대한 이자만 쌓입니다.

트랜잭션 데이터에는 지름길이 있습니다. 모든 이력을 청소하려 하지 마십시오. 가장 최근의 연속된 양질의 데이터 구간, 예를 들어 최근 3개월분을 가져와 완전하고 일관될 것을 요구하십시오. AI는 패턴을 배우지 고고학을 배우지 않습니다. 깨끗한 3개월치 데이터가 절반쯤 더러운 2년치 이력보다 낫습니다.

상태 데이터가 가장 어려운 이유는, 테스트가 일회성 청소가 아니라 지속되는 능력이기 때문입니다. 가동 전에 한 가지 질문을 하십시오. 재고 변경이 발생한 지 1시간 안에 시스템에 나타날 수 있습니까? 그렇지 않다면 AI의 제안은 항상 한 발 뒤처질 것입니다. 어떤 AI 도입도 그 격차를 메우지 못합니다. 지연을 그럴듯하게 포장할 뿐입니다.

계산해 봅시다. AI 데이터 준비가 절약해 주는 것

중규모 창고를 예로 들어 보겠습니다. 하루 500건 주문, 주문당 평균 3라인입니다. 한 달에 45,000건의 트랜잭션 라인이 됩니다. 누락 필드 비율이 10건 중 1건이라면, 매월 4,500건의 깨진 레코드, 1년에 50,000건이 넘습니다. AI가 가동되어 이상한 제안을 하기 시작한 뒤에 그 50,000건을 수정하는 비용은 가동 전에 수정했을 비용의 몇 배가 됩니다. 비즈니스가 이미 더러운 데이터 위에서 돌아가고 있고 멈출 수 없기 때문입니다.

그래서 데이터 준비는 별도의 예산 항목과 별도의 일정이 필요합니다. 제 경험상 전체 AI 프로젝트 일정의 최소 3분의 1은 차지해야 합니다. 그보다 적으면 가동 후 2개월 안에 재작업을 위해 돌아올 가능성이 높습니다. 관리자들은 데이터 준비가 눈에 보이는 것을 아무것도 만들지 않기 때문에 이 비율에 종종 얼굴을 찌푸립니다. 그건 사실이지만, 그 뒤의 모든 것이 진짜인지 아닌지를 결정하는 것도 사실입니다.

여기 직관에 반하는 판단이 있습니다. 데이터가 많다고 더 좋은 데이터는 아닙니다. 많은 창고가 «5년치 이력이 있습니다»라고 시작하는데, 풍부하게 들립니다. 열어 보면 두 번의 시스템 변경, 세 번의 코딩 규칙 개정, 그 사이에 6개월치 수기 장부가 나옵니다. 그런 5년치는 일관된 3개월치 데이터보다 가치가 낮습니다. AI는 적은 데이터를 두려워하지 않습니다. AI가 두려워하는 것은 서로 모순되는 데이터입니다.

무시되는 소유권 문제도 있습니다. 비즈니스 쪽은 데이터가 기술 업무라고 생각하고, 기술 쪽은 비즈니스 업무라고 생각하며, 결국 아무도 소유하지 않습니다. 저는 프로젝트 시작 때마다 적어 둡니다. 마스터 데이터는 비즈니스가 소유하고, 트랜잭션 완전성은 운영이 소유하고, 상태 최신성은 시스템 팀이 소유합니다. 세 명의 소유자, 주 1회 건수 확인입니다. 소유권이 불분명하면 항상 어지러운 장부로 끝납니다.

제가 계속 보는 실패 지점이 두 가지 더 있습니다. 하나는 아무도 알리지 않는 코딩 규칙 변경입니다. 상품 코드에 자릿수 하나가 늘고, 바코드 체계가 바뀌는데, AI는 옛날 규칙으로 상품을 계속 인식합니다. 모든 규칙 변경은 당일 변경 로그에 올리고 모든 이해관계자에게 전달해야 하며, 작은 채팅 그룹의 메시지 하나로 끝내서는 안 됩니다. 다른 하나는 테스트 데이터가 운영 데이터와 섞이는 것입니다. 테스트 주문, 교육 주문, 훈련 주문이 트랜잭션에 섞이면 AI는 실제로 일어나지 않은 패턴을 배웁니다. 가동 전에 제거하고 별도의 테스트 환경을 유지하십시오. 수고를 아끼려고 환경을 공유하는 것은 거짓 절약입니다.

제 가동 체크리스트는 매번 같은 문장으로 끝납니다. 현장 피커 한 명을 찾아 AI 제안 하나를 보여 주고 이렇게 물어보십시오. «이게 우리 창고 같아 보입니까?» 고개를 끄덕이면 데이터 준비는 끝난 것입니다. 고개를 저으면 돌아가서 청소를 계속하십시오. 모델은 데이터가 더럽다고 절대 말해 주지 않습니다. 현장의 사람들만 할 수 있습니다.

Lin Xiao, WMS 구현 컨설턴트 지음 영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.