최근 여러 창고를 방문하면서 흥미로운 패턴을 발견했다. 비전 기반 품질 검사 시스템이 가동된 현장은 어디든, 재작업 스테이션이 조용히 새로운 일을 떠맡고 있었다——시스템 오경보의 뒷정리다. 사양서에는 인상적인 정확도를 자랑하는 시스템이 하루에 수십, 수백 건의 "불량" 소포를 플래그하는데, 실제로 불량인 건 10건 중 1건도 안 됐다. 더 흥미로운 건, 여러 현장의 관리자들이 같은 부작용을 말했다는 점이다. 오경보를 충분히 겪고 나면 검사원들은 무뎌져서, "합격"을 점점 더 빨리 클릭하다가, 진짜 불량까지 노이즈에 섞여 빠져나가기 시작한다. 인력을 아끼려고 산 시스템이 새로운 부담이 되었고, 막으려던 미검출을 조용히 양산하고 있었다.
이 패턴 뒤에는 피할 수 없는 정량적 관계가 있다. 공개 채널에서 볼 수 있는 프로젝트 회고를 보면, 창고 비전 검사의 오탐지율은 좀처럼 0에 도달하지 않는다. 안정 운영에서는 대개 한 자릿수 낮은 구간에 안착한다. 그리고 오경보를 한 칸 낮추려 할 때마다 미검출이 한 칸 올라가는 경향이 있다. 이건 벤더의 실패가 아니라 구조적 트레이드오프다. 오탐지와 미검출은 같은 시소의 양 끝이며, 신뢰도 임계값이라는 파라미터가 그 위 어디에 앉을지를 정한다.
오경보의 진짜 비용: 먼저 총원가를 따져라
대부분 오경보 비용을 "조금 더 볼 소포" 정도로 과소평가한다. 진짜 비용은 3층으로, 뒤로 갈수록 비싸다.
첫 번째 층은 직접 인건비다. 오경보 한 건마다 검사원은 하던 일을 멈추고, 걸어와서(또는 이미지를 열어) 확인하고 해제한다——1~2분이 사라진다. 하루 수백 건의 오경보는 매일 몇 시간 분의 추가 노동으로 불어난다. 시스템 오경보를 "돌보기" 위해서만 검사 포스트 하나가 통째로 존재할 수도 있다.
두 번째 층은 템포의 상실이다. 오경보는 컨베이어의 리듬을 깨고, 심각한 건 라인을 멈춘다. 출고 피크 때 10분의 다운타임은 인원 한 명 추가보다 훨씬 비싸다.
세 번째 층이 가장 비싸고 가장 놓치기 쉽다. 경보 피로다. 휴먼팩터 연구는 오래전부터 보여줬다. 경보의 압도적 다수가 오경보일 때 사람은 체계적으로 무뎌진다. "경보마다 꼼꼼히 확인한다"에서 "전부 일괄 승인한다"로 미끄러지는 데는 불과 몇 주면 된다. 그리고 무뎌짐이 자리 잡으면 진짜 불량까지 통과시킨다——오경보가 미검출로 전환된다. 조정에서 아낀 노력은 고객 불만과 반품이라는 형태로 몇 배가 되어 돌아온다.
그러니 파라미터를 건드리기 전에 이 원가를 똑바로 따져라. 총비용 = (오경보 × 건당 확인 비용) + (미검출률 × 출고량 × 건당 미검출 비용). 식에 마법은 없다. 어려운 건 자기 자신의 4개 숫자를 채우는 일이다. "하루 오경보가 몇 건인지" 세어본 적도 없는 창고가 "임계값 0.6이냐 0.7이냐"를 논한다. 그건 순서가 뒤바뀐 것이다.
조정의 본질: 정밀도-재현율 시소
비전 검사 시스템의 핵심 파라미터는 신뢰도 임계값이다. "이건 불량이다"라는 모델의 신뢰도가 임계값을 넘을 때만 모델이 경보를 올린다. 낮게 잡으면——안전이 제일——오경보는 늘고 미검출은 준다. 높게 잡으면——늑대 소년 되느니 놓치자——오경보는 줄고 미검출은 는다. 양쪽 끝을 동시에 최적화하는 설정은 없다. 이게 조정 작업의 전부이자 토대다.
실무에서는 조정 전략을 3가지 자세로 묶는다. 각각 완전히 다른 상황에 맞는다.
| 자세 | 임계값 | 오경보 | 미검출 | 적합한 현장 | | 보수적 (안전 제일) | 낮음 | 높음, 한 자릿수 낮은 범위 | 낮음 | 미검출이 치명적인 식품, 제약, 고가품 | | 균형형 | 중간 | 중간 | 중간 | 확인 인력이 충분한 일반 이커머스 출고 QC | | 공격적 (놓치는 게 낫다) | 높음 | 낮음 | 높음 | 사용에 지장 없는 외관 불량이 중심이고 확인 인력이 빠듯한 현장 |
어떤 자세를 고를지는 엔지니어의 직감으로 정할 일이 아니라, 위의 총비용 공식에서 도출되어야 한다. 총비용을 최소화하는 자세를 고르면 된다. 2024년에 지켜본 식품 창고 프로젝트가 이 점을 잘 보여준다. 박스 손상 검출 임계값을 0.5에서 0.75로 올리자 오경보는 거의 절반으로 줄었다——하지만 미검출도 함께 올랐고, 불만은 줄기는커녕 늘었다. 결국 해결책은 더 많은 조정이 아니라 불량 심각도별 단계적 임계값이었다. 심각한 손상에는 보수적 자세(미검출은 용납 불가), 경미한 구김에는 공격적 자세(오경보는 감당 불가). 일률 임계값은 등급화된 현실에 졌다.
직관에 반하는 판단을 분명히 말해두자. 오탐지율이 가장 낮은 시스템이 반드시 최고의 시스템은 아니다. 임계값을 가장 빡빡하게 조이면 오경보는 0이 될 수 있다——대신 미검출이 치솟는 대가를 치르고. 더 교묘한 "오경보 0"도 있다. 불확실한 케이스를 전부 인간 확인자에게 넘기는 시스템이다. 오탐지율은 멋져 보이지만 인간의 작업량은 꿈쩍도 안 했다——기계가 자기 일을 사람에게 돌려준 것뿐이다. 최적화해야 할 대상은 단일 지표로서의 오탐지율이 아니라 총비용이었다. 단일 지표에 맞춰 조정하는 사람은 대개 "대시보드에서는 멋지고 현장에서는 못 쓰는" 시스템에 이른다.
오경보의 절반 이상은 모델 탓이 아니다
내 관찰로는 현장 오경보 문제의 절반 이상이 모델이 아닌 다른 것에 기인한다. 조정 전에 오경보 원인 분류를 해보자. 일주일 분량의 오경보 샘플을 뽑아 분류하고, 4개 영역을 순서대로 점검한다.
조명부터. 창고 조명은 실험실 조명보다 자릿수 단위로 까다롭다. 천창으로 들어오는 직사광선은 하루 종일 변하고, 지게차는 움직이는 그림자를 만들고, 색온도는 주간조와 야간조가 다르다——이 모든 게 같은 박스를 모델에게 "다르게 보이게" 한다. 한 프로젝트에서는 오경보의 40%가 오후 3시부터 5시 사이에 몰려 있었다——마침 햇빛이 천창으로 비스듬히 들어오는 시간대였다. 해결책은 조정이 아니라 차광막을 달고 상시 조명으로 바꾸는 것이었고, 오경보는 급감했다.
카메라 배치 둘째. 한 3PL 현장에서는 카메라를 컨베이어 곡선 구간에 달아놓아서, 박스가 커브에서 흔들리고 기울어지며 라벨 주름이 계속 "라벨 누락"으로 분류됐다. 카메라를 직선 구간으로 옮기자 그 종류의 오경보가 거의 사라졌다. 모델은 보이는 것만 볼 수 있다. 보이는 게 흔들리면 어떤 파라미터도 구하지 못한다.
샘플 편향 셋째. 학습 데이터는 대개 "표준 상품 사진"인데, 실제 현장에는 삐뚤어진 테이프, 찌그러진 모서리, 기울어진 라벨이 있다. 오경보가 눈에 띄게 편중되면(예: 특정 박스 종류의 오경보가 다른 것보다 압도적으로 많다), 격차는 파라미터가 아니라 그 카테고리의 데이터 피드백 부족이다.
임계값 자체는 마지막. 앞의 셋을 정리하고 남은 오경보가 무작위로 흩어져 있을 때 비로소 임계값 조정이 의미 있다. 순서를 뒤집으면 조정은 엔지니어링 문제를 덮는 일이 된다——조정할수록 지친다.
다음 분수령: 조정에서 데이터 플라이휠로
시간축이 있는 판단을 하나 내놓자. 최근 몇 년간 프로젝트 사례와 벤더 제안의 변화를 보면, 2024–2026년은 "조정 배당"의 고갈기라고 생각한다. 임계값과 파라미터만으로 짜낼 수 있는 최적화는 선도 프로젝트들이 대체로 짜냈고, 공개 회고에서는 "조정"보다 "닫힌 데이터 루프"가 점점 더 많이 이야기된다. 이를 뒷받침하는 증거가 2가지 있다. 첫째, 새로운 제안의 모양이다——주요 벤더들이 거의 예외 없이 "신뢰도 등급별 라우팅과 휴먼인더루프"를 밀고 있다. 고신뢰도는 자동 해제, 저신뢰도는 인간에게, 불확실한 샘플은 학습으로 환류된다. 둘째, 회고 언어의 변화다——최근 글들은 "모델 선정"보다 "오경보 원인 분류"와 "데이터 오퍼레이션"에 눈에 띄게 많은 지면을 할애한다.
2~3년 뒤에는 검사 시스템의 경쟁 우위가 모델 정확도에서 데이터 오퍼레이션으로 이동한다. 현장의 오경보와 미검출을 얼마나 효율적으로 학습 데이터에 환류시키느냐——그걸 해낸 자가 쓸수록 똑똑해지는 시스템을 갖는다. 창고 관리자에게 주는 시사점은 이렇다. 선정할 때 "정확도가 몇 %입니까"만 묻지 마라. "오경보 샘플이 모델 업데이트에 얼마나 빨리 환류됩니까"라고 물어라. 전자는 실험실 숫자다. 후자가, 산 시스템이 나이를 먹으며 날카로워질지, 점점 엇나갈지를 결정한다.
결론 대신 열린 질문을 남기자. 오경보율이 낮아져서 검사원이 1년에 몇 건의 진짜 불량만 마주하게 됐을 때, 검사원의 경계심을 누가 보장하는가? 기술은 오래된 문제를 해결했다——그런데 조용히 더 새롭고 미묘한 문제를 양산하고 있는 건 아닐까. 기계에 대한 인간의 과신이라는 문제를. 아직 표준 답은 없지만, 비전 검사를 도입하는 모든 창고는 언젠가 이 질문에 답해야 한다.
Dr. Chen, 공급망 연구원 지음
영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.
