작년 초, 나는 Inland Empire에 있는 한 3PL의 리뷰 회의에 참석했다. 그들은 AI 육안 검증 시스템의 3개월 파일럿을 막 마친 상태였다. 출고 전에 모든 소포와 송장을 카메라로 스캔해 잘못된 상품, 잘못된 라벨, 비뚤어진 라벨을 잡아내는 시스템이다. 오퍼레이션 디렉터는 의기양양했다. 검증 인력은 교대당 수십 명에서 몇 명으로 줄었다. 오출고는 눈에 띄게 줄었고, 고객 컴플레인도 감소했다.
그때 CFO가 한 가지를 물었다. "그래서 이게 실제로 얼마나 돈을 아껴줬지?"
침묵.
물론 덱에는 ROI 슬라이드가 있었다. 보기에는 훌륭했다. 소프트웨어 구독료를 뺀 1년치 인건비 절감, 회수는 몇 달. 나는 세 가지를 물었다. 데이터 라벨링 비용은 포함되어 있나? 파일럿을 돌보느라 쓴 엔지니어링과 오퍼레이션 시간은? 검증 스테이션의 리워크 — 새 조명, 카메라 재배치, 컨베이어 속도 조정 — AI가 라벨을 안정적으로 읽게 하기 위한 공사는?
아무도 답하지 못했다. 그 파일럿은 18개월이 지난 지금도 "시험 가동" 딱지가 붙어 있다. 아무도 확대 적용을 제안하지 않는다. 아무도 중단할 용기도 내지 않는다. 돈은 계속 흘러가고, 결과는 "좋아" 보이지만, 그게 정말 가치가 있었는지는 아무도 말하지 못한다.
나는 이 영화를 창고마다 봐 왔다. 대부분의 AI 파일럿은 기술이 실패해서 죽는 게 아니다. 회계가 실패해서 죽는다. 장부를 잘못 잡으면 파일럿은 영원히 비싼 장난감으로 남는다.
눈에 보이는 비용만 세지 마라
내가 보는 AI 파일럿 예산은 거의 소프트웨어 구독료만 적고 끝난다. 진짜 비용 장부에는 최소 7개의 행이 있다.
구독료나 라이선스료는 가장 눈에 띄는 행이지만, 대개 가장 작은 항목 중 하나다. 다음은 구현과 통합: WMS 연결, 카메라 각도 조정, 데이터 인터페이스 구축, 며칠간 상주하는 벤더 엔지니어. 그다음은 데이터 정제와 라벨링 — 숨은 거인이다. 창고 데이터는 절대 깨끗하지 않다. 모델이 뭔가를 배우기 전에 누군가 수개월치 주문과 이미지를 손으로 닦아내야 한다. 대부분 프로젝트 계획은 여기에 예산을 0으로 잡는다.
그리고 내부 공수. 오퍼레이션 직원, IT, 엔지니어 — 파일럿을 살려낸 전원을 제경비 포함 시간당 단가로 계산한다. 프로세스 리워크는 가장 자주 "잊혀지는" 항목이다. 스테이션 재배치, 조명 추가, 네트워크 배선 증설, 컨베이어 속도 재조정. 그 돈은 시설 예산에 숨어 파일럿 장부에는 보이지 않는다. 교육과 변화 관리, 그리고 지속적인 유지보수를 더하라 — 모델은 한 번 설치로 끝나지 않는다. 새로운 데이터와 주기적인 재튜닝 없이는 몇 달 만에 정확도가 떨어지기 시작한다.
내 고객들에게 주는 규칙은 직설적이다. ROI 보고서에 "소프트웨어 구독료"와 "인건비 절감"만 적혀 있으면 버려라. 그건 회계가 아니다. 소망 리스트다. 불완전한 비용 장부에서 나온 숫자는 전부 위약(플라시보)이다.
이득은 세 개의 장부에 나눠 세어라
이득 쪽의 고전적 실수는 인원만 세는 것이다. 노동 시간 절감은 실재하지만, 계산식은 "제경비 포함 시간당 단가 × 절감 시간"이며 초과근무와 재작업분을 차감한다. 대부분은 시간이 아니라 직책을 센다. 그건 전혀 다른 숫자다.
두 번째 장부는 오류율 감소이며, 종종 인건비보다 가치가 크다. 오출고 한 건 — 반품 운임, 처리 인건비, 고객 크레딧 — 은 보통 정상 주문 마진의 몇 배에서 수십 배가 든다. 오류율을 한 자릿수 초반에서 소수점 이하 수준으로 내리는 것은 1년이면 진짜 돈이 된다. 핵심은 측정 규율이다. 파일럿 전에 오출고, 부족, 파손, 라벨 오류의 기준선을 잡고, 매주 추적하고, 파일럿 중에도 똑같은 정의를 써라. 중간에 정의를 바꾸면 그 숫자는 무의미하다.
세 번째 장부는 처리량과 마감 시간이다. 같은 교대, 같은 플로어에서 — 하루에 몇 건을 더 처리할 수 있나? 주문 마감을 한 시간 앞당길 수 있나? 이건 결국 고객 유지와 신규 사업으로 전환되는데, 단기적으로는 가장 정량화하기 어렵고 장기적으로는 가장 가치가 크다. 내 접근법은 "노동 시간당 처리 건수"를 지금의 하드 지표로 고정하고, 고객 측 이득은 무리하게 금액으로 바꾸지 말고 별도의 정성 장부로 관리하는 것이다. 억지로 만든 숫자는 가짜 숫자다.
세 개의 장부, 따로따로 나열하라. 그것만이 CFO가 존중하는 형식이다. 하나의 큰 숫자로 섞어버리면 아무것도 계산한 게 아니다.
대조군이 없으면 믿을 만한 숫자도 없다
전후 비교는 가장 약한 증거다. 3개월 사이에 계절성은 바뀌고, 인력은 바뀌고, 고객 구성은 바뀐다. 지표가 개선됐다 — 그게 AI 덕분인가, 달력 덕분인가? 대조군을 만들어라. 같은 건물의 두 개 라인이나 두 개 교대로 한쪽은 AI 적용, 다른 쪽은 미적용. 혹은 비슷한 두 건물에서 한 곳만 파일럿. 파일럿 전에 최소 4~6주의 기준선 데이터를 확보하고 파일럿 중에도 같은 길이의 기간을 잡아라.
관찰자 효과도 조심하라. 파일럿 중에는 모두가 지켜보고 있다는 걸 알기 때문에 조금 더 열심히 일한다. 나의 로우테크 처방은 양쪽 그룹 모두에게 "프로세스 개선 연구"의 일환이라고 알리는 것이다. 어느 쪽에도 "AI 대체" 그룹이라는 사실은 절대 알리지 마라. 인적 변수를 통제하지 않으면 데이터는 노이즈다.
킬 라인은 시작하기 전에 정하라
손절 기준을 첫날 프로젝트 헌장에 적어라. 이 금액을 넘으면, 이 개월 수를 넘으면, 이 개선 임계값에 못 미치면 — 중단한다. 서명하고, 벽에 붙여라. 내 경험칙은 이렇다. 3개월 뒤에도 개선의 "방향성" 신호가 없으면 더 이상 돈을 넣지 마라. "방향성"에 주목하라, "목표 달성"이 아니다. 파일럿은 방향을 시험하기 위해 존재한다. 옳은 방향은 더 많은 시간을 얻는다. 틀린 방향은 돈을 더 쓴다고 고쳐지지 않는다.
실패한 AI 파일럿에서 가장 비싼 부분은 소프트웨어인 경우가 드물다. 실패를 인정하는 심리적 비용이다. 창고 사람들은 매일 데드스톡과 씨름한다 — 절대 팔리지 않을 재고를 어떻게 처분하는지 우리는 안다. 잘 돌아가지 않는 파일럿도 같은 대우를 받아 마땅하다. 일찍 끝내는 것은 실패가 아니다. 다음에 진짜 가치 있을지도 모르는 파일럿을 위해 예산을 아끼는 것이다.
그래서 진심으로 묻겠다. 지금 "꽤 괜찮아" 보이는 파일럿을 돌리고 있다면, 내일 ROI 보고서에 서명하고 자기 이름을 걸 수 있겠나?
못 하겠다면, 문제는 아마 AI가 아니다. 장부다. 일곱 가지 비용을 모두 잡고, 세 개의 이득 장부를 분리하고, 진짜 대조군으로 돌려라. 그렇게 하면 숫자가 그게 가치가 있었는지 말해줄 것이다 — 소망 리스트 없이.
영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.
