AI POC 수락 기준: 계약서에 넣어야 할 6가지 지표 — 이거 없이 서명하지 마라

핵심부터: AI POC 수락 지표는 누가 서명하기 전에 협상해서 계약서에 써넣어야 한다 — 서명 후에 협상하면 패는 전부 벤더가 쥔다. 확정할 세 가지: 최소 6가지 지표 — 정밀도, 재현율, 오탐율, 미탐지율, 지연시간, 안정성 — 각각 4요소(정의, 샘플, 측정 방법, 기준치)로 정의할 것. 그리고 단계별 지급, 각 게이트 통과가 다음 지급을 푼다. 나는 이 실패를 정확히 세 번 봤다. 매번 계약서에는 한 줄만 있었다: "정확도는 95% 이상이어야 한다."

POC가 본가동에서 계속 죽는 이유

숫자는 잔혹하다. S&P Global 2025 조사: 기업의 42%가 대부분의 AI 이니셔티브를 폐기했다. 전년 17%의 두 배다. 평균 조직은 본생산 전에 AI 개념검증(POC)의 46%를 죽였다. MIT의 Project NANDA: 기업 생성형 AI 파일럿의 95%는 손익(P&L)에 측정 가능한 효과를 내지 못했다. 대부분은 "성공한" POC가 있었다 — 멋진 데모, 인상적인 지표. 데모와 배포 사이에서 죽었다.

이유는 세 가지. 첫째, POC 데이터가 골라낸 것이었다. 완벽하게 연출된 사진 500장 — 진짜 컨베이어 위의 찌그러진 상자와 구겨진 라벨과는 전혀 달랐다. 둘째, POC는 기계 옆에서 엔지니어가 실시간 튜닝하는 실험실에서 돌아갔다 — 본생산에는 그런 사치가 없다. 셋째, 계약서 지표가 물렁했다: "정확"의 정의도, 카운터도, 샘플도 없는 "95% 정확도"는 허공에 쓴 차용증이다.

실전 이야기: 97% POC가 81%로 본가동한 사례

2025년 5월, 시카고. 대형 이커머스 상품을 다루는 3PL — 120,000평방피트, 하루 20,000유닛. 사장은 컨베이어에 머신비전을 도입해 검사원 4명을 대체하고 싶었다. 벤더의 POC는 환상적이었다: 사진 500장, 정확도 97%. 계약서에는 한 줄뿐이었다: "시스템 인식 정확도는 95% 이상이어야 한다." 사장은 기쁘게 서명했다.

본가동 첫 주, 폭발했다. 풀스피드 컨베이어, 채광창 눈부심, 상상 가능한 모든 형태의 파손 파셀 — 핵심 필드 정확도는 81%까지 떨어졌고, 오탐은 14%에 달했으며, 건당 약 2분의 라인 정지 검토가 발생했다. 작업자들은 시스템을 껐다 — 수작업이 더 빨랐다. 그 뒤 "정확도"가 대체 뭔지를 놓고 3개월간 책임 공방. 계약서는 정의한 적이 없었다.

구조는 한 수로 끝났다: 4요소를 각 지표에 담은 5개 지표의 추가 합의서. 벤더는 무료로 2개월 더 튜닝했다: 오탐은 4.5%까지 떨어졌고, 핵심 필드 정밀도는 98%, 재현율은 96%, 2주간 본생산 데이터에서 안정적이었다. 그제야 통과했다.

대조군: 먼저 다 써둔 프로젝트는 첫 시도에 통과했다

2026년 2월, 캘리포니아의 제약 3PL 온도관리 창고: 드론이 고층 랙 로케이션을 읽는 AI 지원 실사. 서명 3주 전, 나는 고객과 함께 수락 지표를 계약서 부속서로 썼다 — 고객이 무작위로 뽑은 300개 로케이션의 "골든 샘플". 고층 랙, 가려진 슬롯, 구겨진 라벨 위주로. 수락은 2주간의 실제 실사 데이터로, 세 숫자에 대해 측정했다: 실사 차이율, 오탐율, 로케이션당 초수. POC는 첫 시도에 통과했고, 파일럿은 2주 만에 목표 달성 — 논쟁 제로. 교훈: 수락 지표는 POC 후에 정리하는 게 아니라 서명 전에 협상하는 것이다.

컨베이어 라인 위에서 수락 테스트를 실행하는 머신비전 카메라

6가지 지표, 단계별로

6개 각각에 4요소가 필요하다: 정의, 샘플(어떤 데이터를, 누가 뽑는지), 측정 방법(누구의 카운트가 정답인지), 기준치. 하나라도 빠진 지표는 장식이다.

지표 1: 정밀도와 재현율은 따로 쓴다. "95% 정확도"는 AI 계약서에서 가장 위험한 문장이다. 정밀도는 시스템의 경고 중 맞은 비율. 재현율은 실제 사례 중 잡아낸 비율. "정확도"만 쓰면 벤더는 쉬운 쪽만 최적화한다. 계약 문구: 핵심 필드 정밀도 ≥ 98%, 재현율 ≥ 96%. 둘 다 통과해야 게이트 통과.

지표 2: 오탐율. 프로젝트의 생사를 가르는 숫자 — 14% 대 4.5%는 10포인트 차이가 아니라 몇 명분의 인건비 차이다(계산은 아래). 기준치는 인력 계획에서 역산해라: 한 시프트가 흡수할 수 있는 예외가 몇 개인가?

지표 3: 미탐지율 하한 — 안전·금전 필드의 레드라인. 탐지되지 않은 파손 파셀, 놓친 온도 이탈 — 한 건의 사고가 100건의 오탐보다 비싸다. 이 필드들은 별도의 재현율 레드라인을 받는다. 위반 한 건이 검토 워크플로를 발동한다.

지표 4: 지연시간은 P95로 쓴다 — 평균은 쓰지 않는다. 200밀리초의 평균은 달콤하게 들리지만 P95가 2초면 얘기가 다르다. 컨베이어는 느린 5%를 기다려주지 않는다. 계약 문구: 생산 택트 하에서 P95 지연시간 ≤ X밀리초. X는 자사 라인 속도에서 도출한다.

지표 5: 수작업 기준선 대비 처리량. AI는 뽐내러 온 게 아니라 일하러 온 것이다. 시간당 처리 유닛과 유닛당 비용을 수작업 기준선과 나란히 — POC 전에 측정하고 계약서에 쓴다.

지표 6: 안정성 — N일 연속 본생산 데이터로 통과하기. POC 당일에는 벤더 엔지니어가 현장에 상주하고 모든 게 완벽해 보인다. 2주간의 본생산 데이터를 요구하고 일별로 채점해라: 14일 중 12일이 기준 통과. 하루짜리 통과는 카운트 안 한다.

계산: 오탐 14% 대 4.5%가 인건비로 얼마인가

시카고 숫자 — 하루 20,000유닛, 오탐 1건 검토에 약 2분:

	오탐 14% (초기 본가동)	오탐 4.5% (튜닝 후)
하루 검토 큐에 들어가는 유닛	2,800	900
하루 검토 시간	약 93	약 30
상근 환산(8시간 시프트)	약 11–12	약 4
원래 검사원 4명 대비	7–8명 추가 채용	대략 손익분기

뜻이 보이나? 오탐 14% 시스템은 대체한 수작업보다 비싸다: 검사원 4명이 나가고 검토 담당 11명이 들어온다. 그래서 오탐율이 계약서에 들어가야 하는 것이다. 프로젝트가 돈을 버는지 태우는지를 결정하기 때문이다.

지표에 필요한 세 가지 계약 조항

이 세 가지가 없으면 지표는 집행 불가다.

첫째, 수락 샘플은 고객 것이다. 골든 데이터셋은 고객이 무작위로 뽑고, 벤더는 블라인드 테스트한다. 그리고 더러운 데이터와 롱테일을 포함해야 한다: 구겨진 라벨, 반사 테이프, 찌그러진 파셀, 가려진 슬롯. 벤더가 자기 POC 샘플을 고르는 건 페어게임이다. 수락은 고객 샘플로 돌린다.

둘째, 지급을 단계화해라. POC 수락, 파일럿 수락, 안정 생산 — 세 게이트. 각 게이트가 다음 지급을 풀고, 마지막 유보금은 벤더가 튜닝을 계속할 만큼 커야 한다.

셋째, 실패 경로를 정의해라: 무료 튜닝 기간 + 엑시트 조항. 기간 길이, 라운드 수, 그리고 아직 못 메운 결과 — 환급 비율, 데이터 소유권, 철거 비용 — 전부 문서로. 엑시트 조항은 프로젝트에 대한 저주가 아니라 양측의 품위 있는 손절이다.

단골 추락 현장 — 세 번 다 봤다

추락 1: 계약서에 "정확도"라고만 적혀 있다. 벤더는 쉬운 지표를 99%까지 올리고, 어려운 건 80%에 둔다. 합친 숫자는 여전히 예쁘게 보인다.

추락 2: 벤더가 수락 샘플을 고른다. 연출된 POC 사진 500장은 아름다웠다. 본생산 데이터는 아니었다.

추락 3: 하루 통과를 수락으로 친다. POC 당일 벤더 엔지니어는 현장에 있었고, 파라미터를 실시간으로 만지고 있었다. 그건 오픈북 시험이지 통과가 아니다.

추락 4: 측정 방법이 문서에 없다. 시카고 프로젝트에서는 3개월 논쟁의 80%가 "대체 어떻게 계산하는데"에 쓰였다.

직관에 반하는 견해

빡빡한 지표가 좋은 지표는 아니다. 고객이 정밀도를 99.5%로 잡은 걸 봤다. 벤더는 POC 중에 고객 샘플에 과적합했다 — 그 정확한 이미지들에 무자비하게 튜닝했다. 수락은 첫 시도에 통과했다. 그런데도 본가동은 실패했다. 모델은 샘플을 외운 것이지 비즈니스를 배운 게 아니다. 합리적인 기준 + 명확한 엑시트 조항은 가혹한 페널티를 매번 이긴다. 수락 지표가 걸러내는 건 "이게 될까"다 — 엄격함 경연이 아니다. 벤더가 힘껏 뛰면 통과할 라인을 긋고, 깔끔한 이별 메커니즘과 짝지어라.