AI 계약서의 정확도 숫자는 유효기간이 있다

결론부터 말하겠습니다. AI 벤더 계약에 모델 성능 저하(model decay)를 다루지 않았다면, 서명 전에 다시 생각하십시오. 인수 테스트의 정확도 수치는 그날, 그 조건에서만 사실이었습니다. 출시 이후 성능 저하는 '가능성'이 아니라 '물리 법칙'입니다. 그리고 계약이 침묵한다면, 모든 리스크는 당신이 떠안게 됩니다.

성능 저하는 버그가 아니다. 기본값이다.

2023년 저는 피닉스 외곽의 3PL 창고에 있었습니다. 약 100,000제곱피트, 가정용품 전자상거래 창고였습니다. 분류 라인의 검수 스테이션에 비전 시스템을 도입했는데, 카메라가 각 소포의 배송 라벨과 상품 외관을 촬영해 SKU가 맞는지 자동으로 검증했습니다. 인수 테스트 주간에 벤더는 인식 정확도 99.2%인 테스트 보고서를 들고 왔습니다. 창고 관리자는 기뻐하며 3년 서비스 계약에 서명했습니다.

8개월 후 불만이 쏟아지기 시작했습니다. 검수 스테이션의 오경보가 계속 늘어났습니다. 작업자는 모든 것을 손으로 재확인해야 했고, 처리량은 시스템 도입 전보다도 떨어졌습니다. 데이터를 뽑아 보니 정확도는 95% 바로 위까지 떨어져 있었습니다. 그 8개월 동안 무슨 일이 있었던 걸까요? 세 가지였습니다. 그리고 그 중 어느 하나도 누구의 잘못이 아니었습니다.

첫째, SKU 구성이 바뀌었습니다. 가정용품은 계절에 따라 회전 속도가 빠릅니다. 8개월 동안 400개가 넘는 신규 SKU가 추가됐고, 그중 많은 수가 기존 상품의 재포장 버전이었습니다. 새로운 색상, 살짝 바뀐 치수, 모델은 힘들어하기 시작했습니다. 둘째, 계절성입니다. 추수감사절부터 크리스마스 사이 소포 물량이 두 배가 되었고, 컨베이어 속도가 빨라지면서 카메라 촬영 품질이 떨어졌습니다. 셋째, 작은 프로세스 변경이 있었습니다. 창고가 검수 스테이션의 형광등을 더 밝은 LED로 교체했습니다. 색온도가 바뀌었고, 모델의 색상 기반 특징이 타깃에서 벗어났습니다.

이것이 쉽게 말해 데이터 분포 드리프트(data distribution drift)입니다. 모델이 매일 보는 데이터가 학습했던 데이터와 점점 닮지 않게 되는 것입니다. 비전 시스템만이 피해자는 아닙니다. 저는 의류 창고에서 소비자 구매 패턴이 바뀐 뒤 보충 예측 모델의 오차가 두 배가 된 사례를 봤습니다. 시스템은 몇 년 전의 수요 곡선에 맞춰 계속 발주하고 있었습니다. 기억하십시오. 성능 저하는 버그가 아니라 기본값입니다. 창고에서 돌아가는 모든 모델—비전, 예측, 이상 탐지—은 성능이 떨어집니다. 유일한 질문은 얼마나 빠르냐는 것입니다.

창고 모니터링 화면에서 AI 모델 성능을 검토하는 엔지니어

성능 저하 조항이 없으면 인수 수치는 장식이다

피닉스 사례를 아프게 만든 건 기술이 아니었습니다. 계약이었습니다. 3년짜리 계약 전체에서 정확도가 등장한 건 단 한 번, 인수 조항에서뿐이었습니다. 99% 달성, 합격, 끝. 인수 이후 계약은 정확도에 대해 아무 말도 하지 않았습니다. 모델이 95%로 떨어졌을 때 벤더의 답변은 완벽하게 '합리적'이었습니다. 계약은 출시 후 지표를 다루지 않으므로, 재학습은 신규 서비스이며 별도로 과금된다는 것이었습니다.

창고 관리자가 저에게 전화했을 때 그는 분노하고 있었습니다. '인수는 99.2%였는데 지금은 95%입니다. 이게 위반이 아니라고요?' 저는 불편한 답을 했습니다. 계약 문언상으로는 위반이 아닙니다. 인수 조항이 규정한 건 단 하루였습니다. 그 이후는 아무것도 적혀 있지 않았습니다. 그가 서명한 건 '3년간 99% 정확도'가 아니었습니다. '인수 당일 99%, 그 이후는 행운을 빈다'였습니다.

이런 모양의 계약은 한 번만이 아닙니다. AI 벤더는 항상 인수 수치를 팝니다. 99%, 99.5%, 아름다운 수치입니다. 하지만 인수는 벤더가 정성껏 준비한 데이터셋에서 측정됩니다. 이상적인 조명, 이상적인 각도, 이상적인 SKU 분포. 실제 운영 중인 창고는 완전히 다른 동물입니다.

대부분이 놓치는 또 하나의 층이 있습니다. 벤더에게는 성능 저하 조항을 자발적으로 내놓을 인센티브가 없습니다. 그들의 비즈니스 모델은 소프트웨어 라이선스와 구축 서비스이며, 사이클당 재학습 요금은 멋진 반복 수익원입니다. 모델이 빨리 성능이 떨어질수록 재학습을 더 많이 팝니다. 계약에 성능 저하 의무를 쓰는 것—예를 들어 보증 기간 중 무료 재학습—은 자신의 수익을 깎는 일입니다. 당신이 먼저 꺼내지 않으면 그들도 꺼내지 않습니다. 이건 협상 테이블에서 구매자가 요구해야 할 몫입니다.

제 판단은 변하지 않습니다. 인수는 말하지만 성능 저하는 언급하지 않는 계약은 100%의 성능 저하 리스크를 조용히 당신에게 넘깁니다. 벤더는 대금을 받고, 당신은 결과와 함께 살아가게 됩니다.

재학습을 벤더의 의무로 만들라

그렇다면 계약에는 실제로 무엇이 들어가야 할까요? 하나의 논리 사슬입니다. 기준을 정의하고, 트리거를 설정하고, 재학습 의무를 배정하고, 지속적인 실패의 결과를 명시하는 것. 하나라도 끊어지면 전체 사슬이 무너집니다.

기준 지표와 측정 방법을 고정하십시오. '정확도 98% 미만으로 떨어지지 않는다'만으로는 아무 가치가 없습니다. 무슨 데이터로 측정합니까? 샘플은 몇 개인가요? 일별인가 주별 집계인가요? 성수기와 비수기의 가중치는 같은가요? 방법을 문서로 남기지 않으면 모든 분쟁은 고성방가 싸움이 됩니다. 제 권장 문구는 이렇습니다. 인수 테스트 세트를 기준 데이터셋으로 삼고, 새로 라벨링된 샘플로 같은 크기·같은 분포의 세트에 대해 분기마다 재테스트하며, 4주 이동평균으로 판정한다. 방법이 계약에 들어가면 벤더는 '저희 쪽에서는 정상으로 보입니다'라고 얼버무릴 수 없습니다.

트리거는 구체적이어야 합니다. 예를 들어, 이동평균 정확도가 기준을 2%포인트 이상 밑도는 상태가 4주 연속 이어지면 벤더는 재학습 사이클을 당신에게 빚진다. 또는 5%를 초과하는 상대적 하락이어도 됩니다. 정확한 수치는 협상 가능하지만, 수치는 반드시 있어야 합니다. 트리거가 없으면 '성능이 떨어지면 재학습한다'는 빈 문장입니다. 무엇이 '떨어짐'에 해당하는지를 누가 정합니까? 모델을 고치는 대신 그것으로 다투게 될 것입니다.

재학습의 주체와 비용은 계약에서 가장 가치 있는 조항입니다. 명시하십시오. 트리거 후 벤더가 재학습 모델을 전달할 영업일 수. 보증 기간 중 재학습은 무료인지, 유료라면 사이클당 상한을 서면으로 정하는지. 신규 SKU용 라벨링 데이터를 며칠 전에 공급해야 하고, 라벨 품질이 나쁠 때 재작업 비용은 누가 부담하는지. 피닉스 창고는 정확히 여기에서 막혔습니다. 벤더의 재학습 견적은 신규 구축 비용에 가까웠습니다. 그리고 라벨링 함정을 간과하지 마십시오. 많은 창고에서 라벨링은 작업자가 겸업으로 하고 품질이 들쭉날쭉합니다. 라벨링 기준과 샘플링/검사 비율을 계약에 넣지 않으면, 성능이 떨어진 재학습 모델과 서로 책임을 미루는 두 당사자만 남습니다.

마지막으로 지속적인 실패에 대한 결과입니다. 서비스 크레딧이 표준 도구입니다. 특정 달에 지표를 달성하지 못하면 그 달 요금을 정해진 비율로 감액합니다. 더 중요한 건 해지 조항입니다. 재학습에도 지표 미달이 3개월 연속 이어지면 위약금 없이 해지할 수 있고, 벤더는 모델, 학습 데이터, 문서를 넘겨주고 이전을 협조해야 합니다. 해지 조항이 없으면 갇히게 됩니다. 모델은 계속 나빠지고, 벤더 교체는 돈이 많이 들고, 결국 코를 막고 재계약하는 수밖에 없습니다.

서명 전 체크리스트——서명 전 모든 항목을 확인하십시오.