본 가동 이후의 일: AI 정확도가 떨어지기 시작하면 누가 책임지는가

결론부터 말하겠습니다. 인수 검사에서 정확도 99%를 달성한 비전 AI 프로젝트는 6개월 안에 90%대 초반으로 미끄러집니다. 그건 놀랍지 않습니다. 놀라운 건 제가 검토한 계약서 10건 중 9건이 그 하락의 주인이 누구인지 명시하지 않았다는 점입니다.

2024년 가을, 리버사이드에 있는 120,000제곱피트 3PL 창고에서 사후 분석을 의뢰받았습니다. 그해 초 그들은 비전 기반 사이클 카운팅 시스템을 도입했습니다. 랙 통로에 고정 카메라를 설치하고, 매일 밤 팔레트를 세고 SKU를 인식하는 모델이었습니다. 인수 정확도는 99.2%였고, 사장은 회사 회의에서 IT팀을 칭찬했습니다. 4분기쯤 되자 재고 차이(variance)가 계속 벌어졌습니다. 수작업 재감사를 해보니 모델이 재포장된 SKU를 다른 SKU로 착각하고 있었습니다. 3개월 연속 장부 재고가 실재고와 맞지 않았고, 피크 시즌 보충 기간 내내 어긋나 있었습니다. 근본 원인은 빠르게 쌓였습니다. 여름 동안 출시된 40개가 넘는 신규 SKU, 모두 새로운 포장 색상. 야간조는 전력 절감을 위해 통로 조명을 2단계나 낮췄습니다. 신규 작업자들은 학습 데이터에 한 번도 등장하지 않은 방식으로 팔레트를 삐뚤게 쌓았습니다. 이 중 어느 것도 "모델이 고장 났다"가 아니었습니다. 모두 "세상이 바뀌었다"였습니다.

그게 모델 드리프트입니다. 본 가동일은 AI 시스템 평생에서 가장 정확한 날입니다. 그 이후로는 정확도가 떨어질 수밖에 없습니다. 유일한 문제는 그 속도입니다. 선정을 담당하는 사람들은 본 가동을 이야기합니다. 운영을 담당하는 사람들은 그 이후 5년을 이야기합니다.

드리프트는 계절이다, 버그가 아니다

드리프트에는 세 가지 얼굴이 있습니다. 첫째는 데이터 드리프트입니다. 카메라가 보는 것이 바뀌었습니다. 신규 SKU, 새 포장, 어두워진 조명, 렌즈의 먼지. 둘째는 개념 드리프트입니다. 비즈니스 규칙이 바뀌었습니다. 혼합 팔레트는 한때 금지였지만, 이제 피크 시즌에는 팔레트당 2개 SKU를 묵인하고, 모델은 무너집니다. 셋째, 가장 교활한 운영 드리프트입니다. 사람들의 행동이 바뀌었습니다. SOP는 같은데, 신입이 쌓는 팔레트는 20년 베테랑과 전혀 다르고, 모델은 베테랑의 기술만 배웠습니다.

드리프트는 감으로 잡지 않습니다. 장치로 잡습니다. 제가 고객에게 주는 상시 규칙은 네 가지입니다. 본 가동 후 2주간 섀도 모드로 돌리고, 매일 모델 출력과 수작업 카운트를 대조합니다. 격차는 첫날부터 보입니다. 그 다음 매주 정해진 스팟 체크를 고정하고, 최소 200팔레트를 조사해, 결과를 바로 정확도 수치로 환산합니다. 레드라인을 정합니다. 예를 들어 SKU 레벨 정확도가 2주 연속 97%를 밑돌면, 이름 있는 사람을 호출하는 겁니다. 그리고 모든 피크 시즌 전후에 풀 재감사를 실시합니다. 계절 전환기는 드리프트가 가장 좋아하는 사냥터이기 때문입니다. 이 네 가지 중 하나라도 빠지면, 드리프트는 3개월 늦게 발견됩니다. 리버사이드처럼, 장부가 이미 한 분기 틀어진 뒤에요.

밤에 높은 팔레트를 스캔하는 AI 카메라와 태블릿으로 탐지 결과를 확인하는 기술자

돈이 실제로 들어가는 곳

대부분 유지보수란 "모델이 이상해지면 벤더를 부르는 것"이라고 생각합니다. 틀렸습니다. 지속 운영은 세 군데에 돈을 쓰고, 각각에 주인이 필요합니다.

첫째는 데이터 재순환입니다. 재학습 사이클마다 수백 장에서 1,000장이 넘는 새로 라벨링된 이미지가 필요합니다. 현장에서 문제 사례를 찍는 사람, 라벨을 다는 사람, 라벨 품질을 검사하는 사람. 라벨링은 모두가 "시간 날 때 하겠다"고 계획하는 일이라, 3개월이 지나도 쓸 만한 데이터셋이 없습니다. 둘째는 재학습 자체입니다. 클라우드 GPU를 빌려 한 번 돌리는 데 몇 시간에서 이틀까지 걸립니다. 연산 비용은 프로젝트 총액 앞에서는 반올림 오차입니다. 진짜 비용은 기다리는 날들로, 그 기간 비즈니스는 수작업 우회책으로 돌아갑니다. 피크 중에는 그게 아픕니다. 셋째는 알림을 보는 사람입니다. "매주 정확도 리포트를 읽는다"고 적힌 직무 기술서가 누구 것입니까? 레드라인 호출을 받는 전화는 누구 것입니까? 아무도 맡지 않으면 아무도 맡지 않습니다. 단체 채팅에서 알림이 3일째 안 읽힌 채 방치된 걸 한두 번 본 게 아닙니다.

제 결론은 단호합니다. 프로젝트 1년차 지출의 15~20%를 지속 운영에 확보하십시오. 제가 본 "폭발하지 않은" 모든 창고에 공통된 점입니다. 그보다 적게 쓰면, 벤더의 "1년 무료 유지보수"가 끝나는 날이 정확도 자유낙하가 시작되는 날이 됩니다. 아낀 돈은 재고 차이와 초과근무로 이자를 붙여 돌아옵니다.

본 가동 전에 계약서에 넣어야 할 문구

벤더와 협상할 때 가격과 인수 정확도만 깎지 마십시오. 다음 문구를 계약서 본문에 넣으십시오. 동의하지 않는 벤더가 있으면 다른 벤더를 찾으십시오.

첫째, 정확도 측정 방식입니다. SKU 레벨인지 팔레트 레벨인지, 샘플링인지 전수인지. 같은 시스템도 잣대에 따라 99%였다가 95%가 되니, 다른 무엇보다 먼저 잣대를 맞추십시오. 그러지 않으면 몇 달간 평행선을 달리는 논쟁이 됩니다. 둘째, 레드라인 아래로 떨어졌을 때의 조치입니다. 몇 시간 내 대응할지, 며칠 내 재학습 계획을 낼지, 재학습 후 며칠 내 라인을 회복할지. 각 단계마다 시계가 필요합니다. 셋째, 데이터 소유권입니다. 재순환된 라벨링 데이터는 귀하의 것입니다. 벤더는 모델 개선에는 쓸 수 있지만 남의 프로젝트를 만드는 데는 쓸 수 없습니다. 이 조항을 지금 빼면 2년 후에 소송합니다. 넷째, 재학습 하한선입니다. 최소 분기 1회, 피크 시즌 전에 1회 추가, 날짜를 명기합니다. 다섯째, 라벨링 인력을 누가 댈지입니다. 현장에서 촬영하고 품질 검사하는 게 자사 사람인지 벤더 사람인지, 그리고 누가 돈을 내는지.

계약서에 없는 것은 나중에 전부 협상이 됩니다. 제가 본 가장 비싼 논쟁은 "정확도"의 정의를 두고 벌인 2개월의 싸움이었습니다. 그 사이에도 모델은 계속 잘못 셌고 장부는 계속 틀어졌습니다. 중재 비용 하나만으로 재학습 사이클 2회분을 낼 수 있었습니다.