2024년 봄, 달라스 외곽의 한 3PL 운영 매니저가 드론 기반 AI 재고 시스템 계약에 서명했다. 데모는 장관이었다. 랙 위를 미끄러지듯 나는 드론, 자동으로 생성되는 차이 보고서. 그는 연간 구독 계약에 서명했다. 그리고 현실이 닥쳤다. 창고는 10년 된 WMS로 돌아가고 있었고, IT가 필요로 한 커스텀 데이터 인터페이스는 이미 2개 분기 뒤까지 밀려 있었다. 계약서의 "인식 정확도"는 벤더 자신의 테스트 세트에서 측정된 것이었다 — 팔레트와 낱상자가 뒤섞인 존에서 테스트한 사람은 아무도 없었다. 단 하나의 데이터 소스에도 연결되지 못한 채 1년 치 구독료가 날아갔다.

기술은 괜찮았다. 주인이 잘못된 것이었다.

나는 이 영화를 반대편에서도 봐왔다. 중규모 창고의 입고 검사용 비전 AI 시스템이라는, IT 주도 프로젝트였다. IT 디렉터는 교과서대로 했다. 벤더 세 곳을 불러 정확도·지연시간·API 프로토콜 스펙을 비교하고, 랩 수치가 가장 좋은 곳을 골랐다. 그가 단 한 번도 하지 않은 것은 입고 도크를 현장 크루와 함께 걸어보는 일이었다. 진짜 창고에서는 랙 조명이 눈부시게 반사되고, 라벨은 비뚤어지게 붙고, 수축필름은 빛을 받는다. 그런 건 스펙 시트에 나오지 않는다. 첫 주부터 오탐지로 크루의 검증 시간이 두 배가 됐다. 입고 리드는 스캐너 건이 더 빠르다고 단도직입적으로 말했다. 몇 달 만에 야간조는 시스템 전원을 켜지 않게 됐다.

창고 AI에 대한 불편한 진실은 이렇다. 어려웠던 건 모델이 아니었다. 세 가지 질문이다 — 데이터는 어디서 오는가, "정확하다"의 기준은 누가 정하는가, 결과에 대한 책임은 누가 지는가. IT 혼자서는 세 가지를 다 답할 수 없다. 운영 혼자서도 세 가지를 다 답할 수 없다. 2024년에 발표된 RAND 보고서 "The Root Causes of Failure for Artificial Intelligence Projects and How They Can Succeed"에 따르면 AI 프로젝트의 80퍼센트 이상이 기대한 가치를 전달하지 못했으며, 그 뿌리는 대개 알고리즘이 아니라 조직과 데이터에 있다고 한다.

누구보다 돈을 쓸 수 있는 Amazon조차 알고리즘 혼자 루프를 닫게 내버려 두지 않는다. 2024년 6월, 회사는 Project P.I.("private investigator")를 발표했다. 북미 여러 풀필먼트 센터의 이미징 터널에서 생성형 AI와 컴퓨터 비전을 결합해 출고 전 파손 상품과 색상·사이즈 오류를 잡아내는 시스템이다. 중요한 대목은 이렇다. 시스템이 플래그를 붙인 상품은 Amazon 어소시에이트가 검토하고, 할인할지 기부할지 그대로 보낼지를 결정한다. 최종 판단은 사람이 내린다. Amazon이 기계 혼자 창고를 돌리게 하지 않는다면, 50명짜리 3PL이 시도할 일은 분명 아니다.

IT 주도 함정과 운영 주도 함정은 같은 함정이다

두 실패 모드는 정반대로 보이지만 실패하는 이유는 같다. 건물 한쪽이 양쪽을 필요로 하는 의사결정을 독점하고 있기 때문이다.

IT가 혼자 주인 되면 기술 장난감이 나온다. 데모는 박수를 받지만 현장은 돌아간다. IT는 측정할 수 있는 것을 평가한다 — 깨끗한 데이터에서의 정확도, 가동률, 통합 공수 — 그리고 정착을 결정하는 것을 과소평가한다. 랙 3층의 반사광, 새벽 2시에도 크루가 실제로 따를 프로세스, 4분기에 상품 믹스가 바뀌면 모델을 재학습시킬 사람.

운영이 혼자 주인 되면 프로젝트 없는 발주서가 나온다. 운영은 고통을 완벽하게 설명할 수 있지만 납품 경로를 평가할 수 없다. 벤더 영업사원은 시스템을 돌아가게 해서가 아니라 서명을 받아내서 보수를 받는다 — 그리고 운영 주도 구매자는 레거시 WMS와 접촉하는 순간 무너질 데모에 건물에서 가장 쉽게 현혹되는 사람이다.

내가 지금 모든 고객에게 권하는 처방은 이중 리드 모델이다. 비즈니스 리드 한 명과 기술 리드 한 명, 동등한 위치에서 결과를 공유한다. 글로 쓰기 전까진 공허한 말처럼 들린다. 비즈니스 리드는 세 가지를 맡는다. 문제 정의(사이클 카운트가 느린 건지 차이가 큰 건지 — 하나를 고를 것), 데이터 작업을 위한 인력과 시간 투입, 효과 승인이다. 기술 리드는 다른 세 가지를 맡는다. 벤더와 아키텍처 선정, WMS 및 하드웨어 통합, 데이터 보안이다. 중간의 겹침 — 번역 — 은 빼먹을 수 없는 비즈니스 애널리스트 역할에 속한다.

엔지니어와 함께 AI 대시보드를 검토하는 창고 운영팀

그 BA는 문서 담당 직원이 아니다. 두 언어를 말하는 사람이다. 사이클 카운트 크루와 반나절을 보내고 돌아와, 어떤 랙의 3층이 빛을 반사한다는 것을 벤더에게 기술 용어로 설명할 수 있다. 벤더가 "모델에 라벨링된 이미지 수천 장이 필요하다"고 하면 "카운트 팀이 3일을 내놓는다"로 번역할 수 있다. 베테랑 슈퍼바이저를 승진시키든 외부 어드바이저를 고용하든 — 이 역할 없이 프로젝트를 돌리지 마라. 번역자가 없으면 IT와 운영의 회의는 두 개의 독백이다. IT가 무리한 비즈니스 요구에 굴복하거나, 운영이 아무도 좋아하지 않는 도구에 강제되거나 둘 중 하나다.

1년을 태우지 않고 파일럿을 돌리는 법

파일럿은 가볍게, 그러나 고정으로 꾸려라. BA 한 명, 프로젝트에 풀타임으로. IT 쪽 카운터파트 한 명, 파트타임이어도 되지만 매주 같은 사람이어야 한다. 현장 오퍼레이터 두 명, 기간 내내 고정으로, 로테이션 금지 — 파일럿을 망치는 가장 빠른 방법은 측정 대상을 계속 바꾸는 것이다. 그리고 벤더 구현 스페셜리스트 한 명. 케이던스는 매주 30분 스탠드업으로, 다루는 건 세 가지뿐 — 데이터가 보여준 것, 막힌 것, 다음에 테스트할 것 — 그리고 트렌드를 보는 월 1시간 리뷰다. 내 경험칙은 파일럿은 6~8주 안에 결론을 내야 한다는 것. Go냐 no-go냐. 3개월을 넘어 표류하는 파일럿은 거의 확실히 조용히 죽는다. 돈도 신뢰도 잃고.

수락은 내가 엄격해지는 지점이다. 한 장의 종이, 두 개의 서명란. 비즈니스 리드는 효과에 서명한다. 실제 환경에서, 실제 교대조로, 연속 2주, 프로젝트 시작 전에 적어둔 미스율과 오경보 수치를 달성하는 것. 기술 리드는 기술 측면에 서명한다. 안정적인 인터페이스, WMS로 돌아오는 데이터 흐름, 접근 통제 정비다. 서명이 하나라도 빠지면 프로젝트는 끝나지 않은 것이다. 그리고 수락 기준은 킥오프 전에 존재해야 한다 — 수락 당일에 쓴 기준은 벤더가 반드시 통과하는 기준이다.

1~2명짜리 창고도 할 수 있다

소규모 사업자는 이걸 읽고 이렇게 생각한다. 매니저가 두 명뿐인데 이중 리드를 어디서 구하나. 답은 이렇다. 작을수록 구조는 가볍게 — 그러나 동시에 더 문자 그대로 — 해야 한다.

한 가지 움직임으로 압축해라. 번역자 역할을 실명으로 한 사람에게 고정하는 것이다. 시스템에 가장 덜 적대적인 창고 슈퍼바이저나, 실제로 현장을 걷는 IT 사람을 골라라. 파일럿 기간의 직함 — 이 AI 프로젝트의 비즈니스 측 카운터파트 — 과 하루 1시간의 보호 시간을 줘라. 그 1시간은 소프트웨어 라이선스보다 중요하다. 열 번 중 아홉 번, AI 프로젝트는 "모델이 틀렸다"가 아니라 "현장에서 아무도 협조하지 않았다"로 죽기 때문이다.

선정에서는 번들에 저항해라. 고통 지점은 딱 하나로 좁혀라. 카운트 차이, 보관 위치 찾기, 출고 검증 중 하나다. 벤더가 추가 모듈을 권하면 노라고 말해라. 계약서에 들어갈 조항은 세 가지다. 파일럿 결과에 연동된 대금과 파일럿 실패 시 무조건 철수. 데이터 인터페이스 작업과 그 일정을 서면으로 첨부할 것. 슈퍼바이저가 아니라 현장 오퍼레이터에게 교육을 실시할 것. 그리고 엄격한 수락 테스트 세 가지다. 실제 환경에서 2주, 킥오프 전에 합의한 수치에 실제로 도달할 것, 그리고 — 가장 중요한 — 오퍼레이터가 자발적으로 시스템 전원을 켜는 것. 세계에서 가장 정확한 시스템도 크루가 켜지 않으면 무가치하다.

내일 할 연습은 이렇다. 지금 돌리고 있거나 계획 중인 AI 프로젝트를 가져와 한 장의 종이에 써라. 해결하는 문제가 무엇인지, 수락 기준이 무엇인지, 비즈니스 리드와 기술 리드의 이름은 무엇인지 — 하단에 두 개의 빈 서명란과 함께. 그 종이를 쓸 수 없다면, 혹은 두 칸에 같은 이름밖에 들어가지 않는다면, 당신은 오프닝 스토리의 먼지 쌓인 장비와 같은 구성을 보고 있는 것이다. 일찍 죽여라. 예산을 태우고 나서보다 훨씬 품위 있다.

영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.