LLM으로 창고 지식베이스 구축하기: SOP Q&A 봇

서막: SOP는 공유 드라이브에서 죽는다

한 물류 단지는 200개가 넘는 SOP 문서를 공유 드라이브에 쌓아두고 먼지만 쌓였다. 신입은 혼자 일하기까지 2주의 교육이 필요했고, 야간 예외 상황은 관리자를 침대에서 깨웠다. 그의 말: "같은 질문에 1년에 300번 답합니다." LLM 지식베이스가 해결하는 것은 "문서가 있느냐"가 아니라 지식과 사람 사이의 라스트마일이다.

핵심 프레임워크: 네 가지 포인트

1. 코퍼스 준비: 먼저 표준화하고, 그 다음 모델에 투입

RAG 성능의 70%는 코퍼스 품질이다. 준비는 네 단계: 수집(SOP, 장비 매뉴얼, 과거 예외 로그, QC 기준) → 중복 제거(하나의 프로세스에 여러 버전? 먼저 유일한 정본을 선언) → 청킹(청크당 500–800단어, 청크당 하나의 완성된 절차) → 태깅(공정 단계, 장비, 예외 유형별).

뼈아픈 교훈: 쓰레기를 넣으면 쓰레기가 나온다. SOP끼리 서로 모순되면, 모델은 그 모순을 자신감 있는 답변으로 포장할 뿐이다. 런칭 전에는 현장 부서가 코퍼스가 "유일한 정본"임을 승인해야 한다.

2. RAG 아키텍처: 모든 답변은 출처를 밝힌다 — 환각 금지

표준 RAG: 벡터 검색 + LLM 생성. 세 가지 철칙: 모든 답변은 출처를 밝힌다(문서명 + 장 번호). 검색에서 관련 내용을 찾지 못하면 봇은 "지식베이스에 없습니다 — 담당자에게 전달합니다"라고 답하고 절대 지어내지 않는다. 안전이나 위험물 관련 답변은 사람의 확인을 거쳐야 유효하다.

"환각 금지"는 창고 현장의 사활선이다. 지어낸 위험물 보관 지침은 감점이 아니라 사고를 부른다.

3. 상위 5개 질문부터 잡아라

순위	자주 묻는 질문	가치
1	파손품/예외품 처리 방법	야간 전화 40% 감소
2	장비 알람 코드의 의미	가동 중단 대기 시간 단축
3	반품/교환 절차	신입이 가장 많이 막히는 지점
4	위험물 보관 요건	컴플라이언스 레드라인
5	교대 인계 체크리스트	인계 누락 감소

이 다섯 개를 정확도 95%까지 끌어올린 뒤 롱테일로 확장하라. 500개 질문을 한 번에 투입하면 정확도는 70%로 떨어진다 — 실망스러운 답변 두 번이면 작업자는 다시 돌아오지 않는다.

4. 운영 지표: 매주 "미답변 질문"을 리뷰하라

런칭은 결승선이 아니라 출발선이다. 네 가지 지표를 본다: 해결률(목표 80%+), 평균 응답 시간(5초 미만), 담당자 전달률, 그리고 매주 "미답변 질문" 목록. 마지막이 가장 중요하다 — 코퍼스의 무료 건강검진이기 때문이다. 매주 코퍼스를 손보면 지식베이스는 쓸수록 똑똑해진다.

현장 사례: 생산성 도달 14일에서 7일로

랙 사이에서 태블릿으로 SOP Q&A 봇에게 묻는 신입 사원

한 물류 단지, 지식베이스 가동 6개월 후: 신입의 독립 도달은 14일에서 7일로, 야간 예외 전화는 60% 감소했고, 관리자는 마침내 밤새 편히 잠든다. 투자는 주로 코퍼스 정리에 들어간 인건비(2명, 1개월)와 모델 API 비용 — 연간 $150K 미만.

피해야 할 함정

권한 경계. 급여와 고객 단가는 절대 공개 지식베이스에 넣지 않는다. 수집 전 문서를 분류하고, 민감 문서는 별도 권한의 별도 인덱스로.
SOP 변경과 코퍼스 동기화. 절차는 바뀌었는데 문서가 안 바뀌었다? 봇이 잘못된 절차를 가르친다. 규칙: SOP 개정은 48시간 이내에 지식베이스에 반영.
교육을 대체할 거라 기대하지 말 것. 주머니 속 코치이지 대체 코치가 아니다. 실전 기술과 안전 감각은 여전히 사수에게서 배운다.

정착: 작업자가 실제로 쓰게 하려면

아무도 안 쓰는 시스템은 없는 시스템과 같다. 정착을 위한 네 가지 수:

모든 작업대에 QR 코드. 피킹 구역과 입고 도크에 지식베이스 QR 코드 — 스캔하고 질문하면 SOP 뒤지는 것보다 10배 빠르다.
관리자 챔피언. 먼저 2–3명의 조장에게 쓰게 한다. 야간의 성공담은 어떤 교육 자료보다 입소문으로 빠르게 퍼진다.
월간 "가장 유용한 답변" 시상. 투표 상위 Q&A를 월간 소식지에 싣고 선순환을 만든다.
기존 도구에 끼워 넣기. 작업자에게 새 앱을 설치하게 하지 마라 — WeChat Work, DingTalk, 푸시투토크 앱에 연동해 Q&A가 업무 흐름 안에 살게 한다.

정착 지표: 일간 질문자 수 ÷ 현장 인원, 목표는 3개월 내 60%. 40% 미만이면 진입점이나 정확도에 문제가 있는 것 — 돌아가서 확인할 것.

코퍼스 유지보수: 지식베이스에는 유통기한이 있다

지식베이스의 최대 적은 낡음이다. SOP가 바뀐 순간, 옛 절차를 가르치는 봇은 없는 것만 못하다. 유지보수 세 가지 규칙:

변경 트리거 업데이트: SOP 개정은 승인 후 48시간 이내에 코퍼스에 반영. SOP 거버넌스 규정에 명문화하고, 미준수는 리뷰에서 지적한다.
월간 리뷰: 미답변 질문 상위 20개에 코퍼스를 새로 추가하고, 저평가 답변을 수정한다.
버전 관리: 코퍼스 업데이트마다 버전을 찍는다. 오답이 "어느 문서 버전이 가르쳤는지"까지 추적되면 원인 규명이 10배 빨라진다.

지식베이스 관리자를 두어라(겸직도 가능) — 프로젝트 전체에서 가장 저렴하면서도 가장 중요한 역할이다. 주인이 없는 지식베이스는 6개월 만에 유통기한 지난 답변의 무덤이 된다.