캘리포니아 폰타나의 한 3PL 사업자는 지난 봄, "현장의 모든 SOP 질문에 답해준다"는 AI 어시스턴트에 약 $45,000을 썼다. 데모는 완벽했다. 벤더의 파일럿 보고서는 94% 만족도를 내세웠다. 가동 개시 30일 후, 안전 관리자가 로그를 뒤져보니 답변의 4분의 1 가까이에 뭔가 틀린 게 있었다 — 잘못된 적재 높이, 잘못된 온도 임계값, 잘못된 고객 포장 규칙. 어시스턴트는 모든 답변을 완전한 자신감과 깔끔한 서식의 인용으로 내놓았다.
벤더가 자료집에 넣지 않는 부분은 이거다. 검색 증강형 창고 어시스턴트는 언어 모델이 멍청해서 실패하는 게 아니다. 주변의 엔지니어링이 끝내 완성되지 않아서 실패한다. 지난 1년 동안 이런 도입이 빗나가는 걸 네 건 지켜봤는데, 실패 패턴이 너무 일정해서 거의 읊을 수 있을 정도다.
틀린 답이 실제로 어디서 나오는가
첫 번째 실패 지점은 리트리벌(검색)이며, 내가 본 피해의 대부분을 차지한다. 창고 문서 — SOP, 장비 매뉴얼, 고객 SLA — 는 보통 고정 크기 청크, 500토큰씩으로 잘려 벡터 스토어에 임베딩된다. 작업자가 콜드체인 구역 안에서 지게차를 충전해도 되는지 묻는다. 시스템은 야외 충전 창고용으로 쓰인 3년 된 배터리실 정책을 꺼내와, 권위 있어 보이고 전혀 적용할 수 없는 답변을 엮어낸다. 청크는 문맥을 잃었고, 임베딩은 표면적 유사성만 이해했다.
두 번째 실패 지점은 문서 버전 관리이며, 더 교묘하다. 창고 문서는 IT가 예상하는 것보다 빨리 바뀐다. 고객 매니저의 말 한마디에 SOP가 v2에서 v3으로 바뀌고, 누군가 새 서식을 벽에 붙인다. 낡은 PDF는 "폐기됨" 표시도, 효력일 필터도 없이 지식 베이스에 남는다. 모델은 어느 버전이 최신인지 모른다 — 그냥 점수 높은 조각들을 조립할 뿐이다. 폰타나에서는 어시스턴트가 적재 제한에 대해 "SOP v3.2, 제4절"을 인용한 적이 있다. 그 창고는 v3.2를 만든 적이 없다. 모델이 v2의 한 절과 v3의 한 절을 합쳐 버전 번호를 지어낸 것이다. 환각은 '무'에서가 아니라, 반쯤 진실인 검색 조각에서 만들어지는 경우가 많다.
세 번째 실패 지점은 지식의 경계다. 작업자들은 지식 베이스 밖의 질문을 한다. 지역 최저임금 변경, 옆 인력사무소 시급, 인사 정책. 잘 설계된 어시스턴트라면 "그건 없어요 — 반장에게 물어보세요"라고 말해야 한다. 하지만 기본 설정된 모델은 "모른다"고 말하기를 싫어한다. 지어내고, 지어낸 숫자에는 소수점이 붙어 있어서 그럴듯해 보인다.
골든 세트: 모델 얘기 전에 50~100개 문항부터
이제 사업자들에게 하는 내 조언은 직설적이다. 모델 선정부터 시작하지 마라. 평가 세트부터 시작하라.
레시피는 간단하다. 교대 반장과 안전 관리자에게 각각 "이걸 틀리면 사람이 다친다"는 질문 20개씩을 적어달라고 한다. 적재 제한, 통로 여유 폭, 위험물 분리 거리, 콜드체인 알람 임계값, 고객별 포장 규칙. 그리고 직원들이 실제로 물어본 3개월치 질문을 뽑아 가장 빈도가 높은 30~50개를 취한다. 이렇게 50~100개 문항이 되며, 각 문항에는 시니어 작업자와 컴플라이언스 책임자가 승인한 "골든 정답"을 붙인다 — 조항 번호와 효력 버전까지.
이 세트는 세 가지 일을 한다. 첫째, 가동 전에 돌린다. 골든 정답과의 완전 일치 정확도가 85% 미만이면 출시하지 않는다. 둘째, 모델 교체, 리트리벌 변경, 문서 업데이트 때마다 다시 돌린다. 하나 고치다가 다른 걸 깨뜨리지 않게. 셋째 — 가장 중요한 건데 — 벤더 계약서에 쓴다. 수락 정확도, 거부율, 인용 커버리지를 지불 조건에 묶는다.
내가 본 가장 진지한 계약서는 하루 최소 50문항의 30일 파일럿을 정했고, 수락 조건은 골든 세트 ≥90% 정확도, 거부율 5%~15%였다. 거부율의 하한에 주목하라. "모른다"를 한 번도 안 하는 어시스턴트는 가끔 거절하는 어시스턴트보다 훨씬 위험하다. 거부는 건강 신호이지 실패가 아니다.
모델을 탓하기 전에 리트리벌을 고쳐라
답변이 틀어지면 대부분 팀은 더 큰 모델을 찾는다. 내 경험상 열에 여덟은 문제가 리트리벌에 있고, 모델이 뒤집어쓴다.
청킹 전략부터 바꿔라. 고정 토큰 수로 자르는 걸 그만둬라. 문서의 자연스러운 구조대로 잘라라. SOP는 절·조항 단위로, 장비 매뉴얼은 트러블슈팅 절차 하나 통째로. 반토막 난 조항은 더 좋은 임베딩으로도 못 살린다. 실제로 세맨틱 청킹은 가장 싼 정확도 향상이다 — 거의 돈이 안 든다.
다음은 메타데이터 필터링을 추가한다. 수집 시점에 문서마다 태그를 단다. 버전, 효력일, 적용 사이트, 적용 존. 의미 매칭 전에 최신 효력 버전에 맞춰 필터링한다. 옛 버전은 지우지 마라 — 감사 때 필요할 수 있다 — 하지만 폐기 표시를 하고 기본적으로 검색에서 제외한다. 폰타나 현장은 정확히 이 변경을 했고, 유령 버전 번호는 대부분 사라졌다.
한 가지 더, 저평가된 수. 고빈도·고위험 질문에는 결정론적 고속 차선을 줘라. 적재 높이, 통로 폭, 알람 임계값 — 그런 질문이 서너 다스쯤 된다. 벡터 검색을 완전히 우회하는 정확 일치 Q&A 쌍에 넣어라. 이건 반칙이 아니다. 가장 위험한 질문을 확률적 시스템에서 결정론적 시스템으로 옮기는 것이다.
어시스턴트가 불확실함을 인정하게 만드는 세 가지 규칙
리트리벌을 고쳐도 모델은 가끔 꾸며낸다. 환각은 희망으로 다스리지 않는다. 세 가지 엄격한 규칙으로 다스린다.
첫째, 인용 의무화. 모든 답변은 출처 문서와 조항을 명시해야 하고, 링크는 실제 본문으로 이어져야 한다. 평가에서 검증 가능한 인용이 없는 답변은 무조건 오답으로 채점한다. 이 규칙 하나면 벤더는 리트리벌을 제대로 만들 수밖에 없다. 지어낼 게 없으니까.
둘째, 신뢰도 임계값 아래에서는 거부. 검색된 문서의 점수가 관련성 기준을 밑돌거나, 여러 출처가 서로 모순되면 어시스턴트는 "지식 베이스에 명확한 답이 없습니다 — 교대 반장에게 에스컬레이션했습니다"라고 답하고 질문을 사람에게 넘긴다. 임계값은 보수적으로 잡는다. 창고 현장에서는 틀린 답의 비용이 답이 없는 비용보다 항상 크다.
셋째, 일정에 따른 인간의 표본 검사. 가동 후 1개월차: 매일 무작위 실제 Q&A 20건을 사람이 검사. 2개월차: 주 30건. 3개월 안정 후: 주 10건. 모든 실패는 파이프라인으로 돌려보낸다 — 리트리벌 문제면 청킹과 태그를 고치고, 문서 문제면 지식 베이스를 업데이트하고, 경계 문제면 거부 규칙을 추가한다. 감사 추적은 남겨둬라. 안전 담당이 물어볼 때 필요해진다.
만들면 안 되는 창고들
이제 벤더가 싫어하는 부분이다. 모든 창고가 AI Q&A 어시스턴트를 만들 필요는 없다.
30명 미만 사업장은 만들 필요 없다. SOP는 바인더 한 권에 들어가고, 베테랑은 현장에 있고, 통로 너머로 소리쳐 묻는 게 더 빠르고 무료다. SOP 자체가 엉망인 창고도 만들 필요 없다. 틀리고, 유효기간 지나고, 서로 모순되는 문서를 AI에 먹이면 기계 속도로 자신감 넘치는 혼란만 생긴다. 그리고 하루 20문항 미만인 곳도 굳이 하지 마라. 평가 세트 유지, 표본 검사, 문서 거버넌스의 노동력이 아끼는 Q&A 시간보다 비싸다.
진짜 맞는 곳은 교대 여러 개, 고객마다 SOP가 실질적으로 다른 100명 이상 현장이다 — 이직률 높고, 야간에는 물어볼 사람이 없고, 고객별 요구사항이 산더미. 그래도 정직하게 자리매김해라. 판단을 대신해주는 매니저가 아니라, 언제든 찾아볼 수 있는 디지털 베테랑이다.
뭐든 서명하기 전에 한 가지 질문에 답해봐라. 시니어 작업자들이 노트북 안 열고 최신 SOP 버전을 찾을 수 있는가. 못 찾는다면 AI도 못 찾는다. AI는 그냥 틀린 답을 더 빨리 줄 뿐이다 — 진짜처럼 보이는 인용과 함께.
영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.
