지난 겨울, 나는 Inland Empire에 있는 800,000제곱피트 규모의 이커머스 풀필먼트 센터를 둘러봤다. 하루 약 20,000 유닛을 처리하는 곳이다. 포장 라인 끝에 있는 비전 검사 장비를 가리키며 운영 매니저가 말했다. "Mi, 계산해 봤어. 벤더가 99.2% 정확도를 약속했거든. 이 기계 때문에 한 달에 2명분 인건비가 더 나가고 있어."
과장이 아니었다. 3개월치 로그가 모든 걸 말해줬다. 시스템은 하루에 300건이 넘는 '수상한' 소포에 플래그를 달았고, 리뷰 담당자들은 그걸 전부 뜯어봤다 — 열에 아홉 이상은 오탐이었다. 한편 시스템이 통과시켜 버려 나중에 고객이 클레임을 건 진짜 미스는, 주당 몇 건에서 두 자릿수로 늘어났다. 정확도는 여전히 99%. 청구서는 계속 불어났다.
'99% 정확도'는 실제로 무엇을 측정하는가?
솔직히 말하자. 단독 지표로서의 '정확도'는 비전 검사 업계에서 가장 부풀려진 숫자다. 끝.
계산은 민망할 정도로 단순하다. 건강한 포장 라인에서는 애초에 99.5%의 소포가 정상이다. '전부 승인'이라는 한 가지 기술만 배운 시스템도 정확도 99.5%를 찍어, 당신이 산 여섯 자리 숫자짜리 AI를 이긴다. 정확도라는 숫자가 숨기는 건 벤더가 절대 자발적으로 공개하지 않는 두 숫자다. 정상 소포를 잘못 플래그한 건수(위양성)와 불량을 통과시켜 버린 건수(위음성).
함께 사고실험을 해보자. 하루 10,000개의 소포를 출고하고 그중 50개가 진짜 불량이라고 하자. '99% 정확도' 시스템은 100개를 오판해도 목표 수치를 달성한다. 그 100개의 실수에 50개의 진짜 불량이 전부 포함되어 있다면, 비싼 AI는 문자 그대로 아무것도 잡지 못한 것이다 — 그런데도 벤더 자료의 정확도 슬라이드에는 여전히 99%라고 적혀 있다. 이건 가상의 트집이 아니다. 기저율의 함정이며, 불량이 드문 곳에서 가장 세게 물어뜯는다. 바로 창고가 그런 곳이다.
위양성은 인건비를 태운다. Inland Empire 현장에서는 하루 300건이 넘는 알람, 건마다 개봉-확인-재포장의 3~4분이 걸리는 작업 — 리뷰 담당자 2명이 교대 시간 내내 그것만 했다. 하루 16 인시다. 캘리포니아 창고 임금 수준을 적용하면, 조용히 한 달에 20,000달러를 훌쩍 넘는 돈이 타들어 간다 — '99.2% 정확도'라는 배지를 단 시스템 위에서.
견적서가 절대 항목에 넣지 않는 비용이 하나 더 있다. 유닛당 추론 비용이다. 클라우드 GPU면 호출당 과금, 엣지 장비면 설비투자에 몇 년마다 갱신 사이클이 붙는다. 물량이 있으면 희석되지만, 물량이 없으면 '인건비 절감'은 컴퓨팅 비용에 먹힌다. 계약하고 나서가 아니라 계약하기 전에 총소유비용에 넣어라.
오탐은 인건비를, 미스는 고객을 잃게 한다.
위양성과 위음성은 시소 관계다. 계약하기 전에 구매자가 받아들여야 할 사실이다. 기준을 느슨하게 하면 오탐은 줄고 미스가 늘고, 조이면 리뷰 스테이션이 물에 잠긴다. 벤더가 보여준 데모는 가장 예뻐 보이는 기준값에 맞춰져 있었다. 현실에서는 조명이 바뀌고, 인쇄가 다른 새 박스가 들어오고, 또 처음부터 다시 튜닝하게 된다.
빠져나간 미스는 오탐보다 한 자릿수 이상 비싸다. 잘못 출고된 상품은 재배송 비용만이 아니다. 역물류 구간, 고객센터 티켓, 마켓플레이스 패널티, 나쁜 리뷰로 인한 전환율 하락까지 붙는다. 건당 가볍게 수십 달러다. FBA로 판매해 본 사람은 다 안다 — 오피킹 한 번에 계정 건강도가 무너지고, 이의제기에 쓴 시간은 어떤 청구서에도 안 나온다.
가장 지독한 킬러는 세 번째, 경고 피로다. 리뷰어는 하루 300박스를 연다. 50번째 박스쯤 되면 전부 정상이었으니 인간의 본능이 작동해 '승인' 버튼이 오토파일럿으로 눌리기 시작한다. 그 창고에서는 결국 두 리뷰어가 아무것도 열지 않고 알람에 도장을 찍고 있다는 걸 알아냈다. AI는 사실상 장식품이었다. 이게 가장 비싼 실패 모드다. 돈은 썼고, 사람은 뽑았고, 시스템은 첫날부터 죽어 있다.
비전 AI를 아예 건드리지 말아야 할 때
비전 검사 AI가 나쁜 기술은 아니다 — 실전에 투입되는 문턱이 세간이 생각하는 것보다 훨씬 높을 뿐이다. 몇몇 상황에서는 내 조언이 간단하다. 아직 건드리지 마라.
첫째, SKU 종류가 넓고 포장이 자주 바뀌는 창고. 모델은 본 것만 인식한다. 포장이 리뉴얼되는 순간 위양성률이 치솟는다. 그 뒤로는 누군가가 새 샘플을 계속 공급하고 재학습시켜야 한다 — 그 사람의 월급은 견적서에 없다.
둘째, 조명이 불안정하거나 입고 품질이 들쭉날쭉한 라인. 컨베이어 옆 롤러 셔터가 열렸다 닫혔다 하면 오후 햇살과 흐린 아침은 전혀 다른 세상이 된다. 선정 과정에서 벤더에게 질문 하나만 던져라. "조명 조건이 바뀌면 위양성률이 얼마나 드리프트합니까?" 답을 못하면 자리를 떠나라.
셋째, 기계를 돌릴 만큼의 물량이 안 되는 현장. 하루 몇 천 유닛 규모에서는 위양성률이 1%라도 하루 수십 건의 리뷰가 발생한다 — 전담 인력을 둘 정도는 아니고, 교대 반장이 눈으로 봐도 충분하다. AI의 경제학은 물량의 경제학이다. 물량이 없으면 아낄 인건비가 없다.
제대로 하는 것도 봤다. Dallas의 한 3PL은 3년간 포장이 바뀌지 않은 고정 SKU 단 12개에만 비전 검사를 쓴다. 한 달간 섀도 모드로 돌려 위양성이 0.3% 아래로 떨어진 걸 확인하고 나서야 실전에 올렸다. 비결은 한 단어, 지루함이었다. 현장이 지루할수록 AI는 믿을 만하다.
그러니 '정확도가 얼마냐'는 질문은 그만두자. 대신 네 숫자를 요구하자. 위양성률, 위음성률, 유닛당 추론 비용, 조명 변화에 대한 강건성. 네 개를 문서로 받고, 인수 기준에 넣어라.
내일 당장 할 수 있는 일 하나. 이미 비전 검사를 운영 중이거나 검토 중이라면, 2주간 '섀도 모드'로 돌려봐라. AI는 플래그를 달지만 아무것도 가로채지 않는다. 사람은 전과 똑같이 일한다. 2주 뒤 세 개의 곱셈을 하라. 위양성 × 리뷰 시간을 인건비로 환산, 미스 × 클레임 건당 비용, 거기서 시스템 감가상각비를 뺀다. 플러스든 마이너스든 답이 나온다. 벤더 슬라이드 백 장보다 값지다.
영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.
