결론부터 말하겠다: 하루 3,000건 미만이면 AI 주문 스크리닝은 사지 마라. 룰 엔진으로 충분하다.
몇몇 AI 벤더는 기분 나쁘겠지만, 몇 건의 실제 도입을 지켜본 내 결론이다. 피치는 매혹적이다: 주문이 흘러들어오고, AI가 이상한 걸 플래그한다 — 도난 카드, 수상한 주소, 단일 구매자의 대량 주문, 반품 위험이 높은 주소 — 사람이 의심스러운 것만 리뷰하는 동안 자동 차단하거나 태깅한다. 멋지게 들린다. 문제는 정확도 계산이다. 벤더 슬라이드의 숫자와 네 창고의 숫자는 대개 전혀 다른 동물이다.
그게 실제로 하는 일
먼저 용어를 정의하자. AI 주문 스크리닝은 3가지를 한다: 리스크를 찾는다(이 주문에서 사기 냄새가 나는가), 점수를 매기고 순위를 정한다(리스크가 높은 순), 판단을 돕는다(차단할지, 통과시킬지, 사람에게 넘길지).
룰 엔진과 뭐가 다른가? 룰 엔진은 "포워더행 $500 초과 주문은 차단"처럼 사람이 쓴 규칙으로, 뻣뻣하지만 설명 가능하다. AI는 주문 히스토리에서 패턴을 배우고, 아무도 적지 않은 조합을 찾아낸다. "새벽 3시 주문 + 신규 계정 + 고가 상품 + 다른 주의 청구지 주소" 같은.
하지만 소규모 운영의 대부분을 죽이는 함정이 있다: AI는 먹이를 줘야 한다. 라벨이 붙은 과거 주문 수만 건 없이 — 어느 게 사기였고 어느 게 오경보였는지 — 모델은 찍는 거다. 이게 저물량 창고가 손대지 말아야 할 핵심 이유다. 제대로 된 모델을 키울 데이터가 그냥 없는 거다. 영업사원이 "우리 사전학습 모델은 박스에서 꺼내자마자 돌아갑니다"라고 하면 질문 하나: 누구 데이터로 학습했나? 네 카테고리, 객단가, 고객 구성 — 같은가? 아마 아닐 거다. 약속된 성능은 그만큼 할인해라.
중요한 숫자는 정확도가 아니다
벤더는 "차단 정확도 98%" 얘기를 좋아한다. 진짜 신경 써야 할 2개의 숫자는 미스율과 오탐율이다.
미스는 직접 비용이다: 도난 카드 주문이 출고되고, 돈은 사라지고, 그 위에 차지백 수수료까지 물린다. 오탐은 간접 비용인데, 더 비쌀 수 있다. 한 DTC 브랜드 창고가 AI 스크리닝을 가동하는 걸 봤는데, 첫 달 오탐율이 4%였다. 작게 들리나? 그건 실제 주문의 4%가 막혔다는 뜻이다. 풀타임 고객 서비스 2명이 그 달을 리뷰와 사과로 보냈고, 인건비는 옛날 룰 + 스폿 체크 체제보다 높게 나왔다. 더 사악한 비용은 이탈이다: 잘못 차단된 고객 중 일부는 그냥 다른 데서 샀다. 스프레드시트엔 못 올리지만, 현실이다.
내 경험칙: 오탐율이 2%를 넘으면 그 시스템은 돈을 까먹고 있는 거다. "모델은 계속 똑똑해집니다"라는 위로는 사지 마라. 똑똑해지긴 한다 — 누군가 라벨 데이터를 계속 먹이고 임계값을 계속 조정하면. 작은 팀엔 그 사람이 없다. 모델의 첫날 성능이 기본적으로 천장이다.
대부분이 놓치는 게 있다: AI 스크리닝의 가장 큰 가치는 차단 자체가 아닐 수도 있다 — 트리아지 효율이다. 좋은 설정은 "AI가 점수 매기고, 사람이 의심스러운 걸 리뷰"지, "AI가 자동 차단"이 아니다. 자동 차단은 인건비 절감처럼 들리지만, 오탐은 전부 네 책임이다. AI에게 1차 심사를 맡기고 최종 판단은 사람이 내려라. 그래야 책임 사슬이 깨끗하게 유지된다. 자동 차단이 말이 되는 건 딱 1가지 좁은 경우뿐이다: 사기 시그널이 너무 명백하고 오탐 비용이 너무 낮아서 틀릴 일이 없는 경우 — 같은 기기에서 1시간에 50건 주문 같은. 그런 건 눈 감고 차단해라.
먼저 섀도 모드로 돌려라
물량과 무관하게, 모델이 처음 만지는 게 실제 주문이 되게 하지 마라. 섀도 모드로 돌려라: 점수를 매기고, "이건 차단했을 것이다"라고 로그를 남기지만, 아무것도 차단하지 않는다. 30일 뒤 사람의 리뷰와 대조해라 — 차단하고 싶었던 주문 중 진짜 사기가 몇 건이었는지, 통과시킨 것 중 몇 건이 빠져나갔는지.
그 30일이 협상의 무기다. 자료는 오탐율 1%라는데 섀도 모드는 5%라고? 이제 돈이 뭘 사는지 알겠다. 나는 딜 하나가 바로 거기서 죽는 걸 봤다 — 벤더는 정확도 99%를 약속했고, 섀도 모드는 오탐율 7%를 보여줬고, 창고는 도입에 1달러도 쓰기 전에 떠났다.
섀도 모드는 팀이 도구에 익숙해질 시간도 벌어준다. 리뷰어는 점수의 의미를 이해해야 한다. 그렇지 않으면 첫날부터 "사람 리뷰"는 AI가 말하는 대로 도장 찍기가 되고, 리뷰 프로세스는 종이 위에서만 존재한다.
내가 선을 긋는 곳: 하루 3,000건
계산해 보자. 하루 3,000건이면 연간 100만 건이 넘는 주문이다. 공개된 이커머스 사기율에 비춰보면 연간 수만 건의 리스크 주문이 있을 수 있다. 사람 리뷰로는 그 물량을 커버 못 하고, 룰 엔진은 오탐이 너무 많고, 그때 AI가 본전을 찾기 시작한다.
하루 3,000건 미만? 사람 + 룰로 커버되는 물량이다. 내 권장: 먼저 룰 엔진을 마스터해라. 불량 주소 블랙리스트, 금액 임계값, 속도 룰, 결제 게이트웨이가 이미 제공하는 주소 검증 — 이 4수면 흔한 사기의 대부분을 잡는다. 고위험 주문은 수동으로 스폿 체크해라. 물량이 늘고 데이터가 쌓이면, 그때 AI 얘기를 하자.
ROI엔 숨은 항목도 있다: 도입. AI 스크리닝은 켜는 SaaS 로그인이 아니다. 주문 시스템에 연결하고, 결제 게이트웨이에 연결하고, 과거 데이터에 라벨을 붙이고, 임계값을 조정 — 2~3개월 작업이 보통이다. 작은 팀이라면, 그 노력은 먼저 고객 서비스 프로세스를 바로잡는 데 쓰는 게 낫다.
마지막으로 실무적인 한마디. 하루 3,000건 미만인데 영업사원이 "사기와 당신 사이에 있는 건 AI뿐입니다"라고 하면 이렇게 물어라: 지금 당장, 사기로 한 달에 실제로 얼마를 잃고 있나? 그 숫자를 구해라. 그리고 연간 AI 라이선스 + 도입 비용과 비교해라. 답은 저절로 나온다. 컨셉을 사지 마라. 계산을 사라.
영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.
