결론부터 말하겠습니다. 창고 현장 팀과 고객 서비스 팀이 쌓여 있는 SOP, 장비 매뉴얼, 예외 로그에 대해 AI에게 질문하기를 원한다면, 열 번 중 아홉 번은 RAG 지식베이스를 구축하세요. 모델을 파인튜닝하지 마세요. 파인튜닝은 모델에게 먹이를 주고 돌보는 것입니다. RAG는 언제든 펼쳐볼 수 있는 '살아있는 매뉴얼'을 모델에게 건넵니다. 창고 문서는 끊임없이 바뀝니다. 파인튜닝 한 사이클이 끝날 때쯤이면, RAG 구성은 이미 수십 건의 업데이트를 흡수했을 것입니다.
작년에 한 3PL 고객이 저를 찾아왔습니다. 로스앤젤레스 동쪽에 120,000평방피트 시설을 운영하고, 2만 개가 넘는 팔레트 위치를 보유하고 있으며, SOP는 공유 드라이브, 이메일 첨부파일, 그리고 몇몇 베테랑 슈퍼바이저의 머리 속에 흩어져 있었습니다. 신입 사원들은 2주간의 교육을 마치고도 감독 없이 한 교대 근무를 해내지 못했습니다. 야간 교대 예외 상황은 슈퍼바이저를 잠자리에서 깨우는 것을 의미했습니다. 오너의 요청은 단순했습니다. '우리 사람들이 누군가에게 전화하는 대신 그냥 AI에게 물어보면 안 되나요?' 두 벤더가 두 가지 접근법을 제안했습니다. 비공개 모델 파인튜닝이냐, RAG 지식베이스 구축이냐였고, 가격표는 몇 배나 차이 났습니다. 고객은 저에게 어떤 것을 선택해야 하냐고 물었습니다. 저는 세 가지 질문으로 되물었습니다. SOP는 얼마나 자주 바뀌나요? 예외 로그를 제대로 된 텍스트로 정리할 의향이 있나요? 그리고 이 모델을 장기적으로 누가 유지하나요? 세 번째 질문 뒤에 그는 답을 얻었습니다.
파인튜닝은 실제로 무엇을 조정하는가
먼저 가장 큰 오해부터 풀겠습니다. 파인튜닝은 '문서를 모델에게 먹여 외우게 하는 것'이 아닙니다. 파인튜닝이 실제로 바꾸는 것은 모델의 행동입니다. 말투, 답변 구조, 회사 특유의 목소리로 답변을 구성하는 방식. 하지만 구체적인 사실에 대한 기억은 여전히 모호합니다. 오늘 주문 마감 시간을 바꾸면, 어제 튜닝한 모델이 내일도 옛 시간을 자신 있게 인용할 수 있습니다. 업계에서는 이를 환각(hallucination)이라 부르며, 파인튜닝은 이를 고치지 못합니다. 오히려 '이건 우리 자체 파인튜닝 모델이다'라는 꼬리표가 사람들의 신뢰를 높여, 실수의 타격이 더 커집니다.
다음은 샘플 크기 문제로, 창고업계를 특히 강타합니다. 실제로 고품질 문답 쌍을 몇 개나 가지고 있습니까? 수백 건의 SOP 문서로는 본격적인 파인튜닝 한 사이클도 돌지 않습니다. 빈약한 데이터로 억지로 하면 범용 모델보다 형편없는 답변을 내놓는 모델이 나옵니다. 그리고 쳇바퀴는 멈추지 않습니다. 새 시설을 열고, 새 분류 라인을 설치하고, 특수 라벨 요구사항이 있는 고객을 확보하면, 다시 데이터 준비, 재학습, 재검증으로 돌아갑니다. 사이클당 수만 달러의 비용으로 얻는 것은 '우리 회사처럼 말하는' 모델이지만, 구체적인 용어를 물으면 여전히 즉흥적으로 답합니다.
그리고 아무도 말하지 않는 청구서가 있습니다. 파인튜닝은 하나의 모델 벤더에 발이 묶인다는 뜻입니다. 베이스 모델은 몇 달마다 세대교체를 하고, 튜닝된 버전은 공짜로 따라가지 못합니다. 대부분의 창고 IT 팀은 이미 인력이 빠듯합니다. '모델 유지관리'를 상시 항목으로 추가하는 것은 대부분의 현장 운영이 감당하기 어렵습니다.
실무적으로, 파인튜닝 데이터 준비 자체가 하나의 프로젝트입니다. 문답 쌍은 SOP 복사 붙여넣기가 아닙니다. 직원들이 실제로 어떻게 질문하는지, 정답은 무엇인지, 어떤 표현이 틀렸는지, 누군가 써내려가야 합니다. 중형 3PL이라면 충분한 품질의 샘플을 모으는 것만으로도 최고의 현장 인력의 몇 달을 잡아먹습니다. 그 몇 달을 지식베이스 정리에 쓰면 RAG는 즉시 성과를 냅니다. 파인튜닝 데이터 준비에 쓰면 몇 달 뒤에 불확실한 결과를 볼 수 있을지도 — 모릅니다. 오너는 뭔가에 서명하기 전에 이 시간 계산을 해야 합니다.
RAG는 실제로 어떻게 작동하는가
RAG의 아이디어는 민망할 정도로 단순하고, 창고에 놀랍도록 잘 맞습니다. 누군가 질문하면, 시스템은 먼저 지식베이스에서 가장 관련 있는 구절을 검색하고, 질문과 함께 모델에게 건넵니다. 모델은 '눈앞의 자료를 바탕으로' 답변하는 것입니다. 자료가 바뀌면 지식베이스를 업데이트합니다. 모델 자체는 움직이지 않습니다. 오늘 SOP를 개정하면, 내일 직원들이 새 버전을 받습니다. 이 '모델은 가만히, 자료는 신선하게'라는 속성은 창고 문서의 현실적인 움직임과 정확히 일치합니다.
여기 멋진 아이러니가 있습니다. 검색 단계는 사실 분류와 인덱싱에 불과합니다. 창고 사람들이 매일 하는 일과 같습니다. SOP는 공정별로, 장비 매뉴얼은 기종별로, 예외 로그는 사유 코드별로, 고객별 요구사항은 고객 번호별로. WMS 선정을 겪어본 사람이라면 누구나 아는 규칙이 있습니다. 검색 품질은 70퍼센트가 좋은 인덱싱, 30퍼센트가 모델입니다. 그 3PL 고객은 나중에 티켓 구성을 측정해 보니 고객 서비스가 같은 수십 가지 질문에 반복해서 답하고 있었습니다. 마감 시간, 반품 주소, 한 대형 고객의 특수 라벨 규정. RAG는 그것들을 빠르고 정확하게 처리합니다. 답이 이미 문서 안에 살아 있기 때문입니다. 모델은 아무것도 '기억할' 필요가 없습니다.
RAG에도 나름의 골칫거리가 있고, 꽤 심각합니다. 첫째, 쓰레기를 넣으면 쓰레기가 나온다는 것은 RAG에 가장 잘 적용됩니다. 창고 SOP 중 많은 것이 '참고용'일 뿐, 진짜 절차는 베테랑들의 머리 속에 있습니다. 이를 먼저 정리하지 않으면 RAG는 장식입니다. 댈러스 인근의 8만 평방피트 이커머스 시설에서 반대 사례를 봤습니다. 반품 절차의 모순되는 세 가지 버전이 세 개의 다른 폴더에 있었습니다. RAG 첫 주에 누군가 반품 처리 방법을 물었고, 시스템은 세 버전을 모두 검색했고, 모델은 그 모순을 충실히 요약했습니다. 어떤 단일 문서보다 혼란스러운 답변이었습니다. 그들은 2주에 걸쳐 모든 것을 '유일한 진실의 원천' 하나로 통합했고, 문제는 사라졌습니다. 교훈은 구체적입니다. RAG를 시작하기 전에, 같은 질문에 문서가 몇 가지 답을 내놓는지 세어보세요. 하나보다 많으면, AI 이야기를 하기 전에 문서를 통합하세요.
두 번째 골칫거리는 접근 제어입니다. 고객 A의 요율과 취급 요구사항은 고객 B를 담당하는 팀이 절대 검색할 수 없어야 합니다. 권한 설계는 지식베이스 첫날의 일이며, 나중의 개조 작업이 아닙니다. 셋째, RAG가 당신 대신 생각해주길 기대하지 마세요. '이번 달 반품이 많은데, 근본 원인이 뭔가요?' 이런 문서 간 추론은 검색의 범위를 넘어섭니다. RAG는 자료를 찾아줍니다. 결론은 여전히 사람이 내립니다.
그럼 파인튜닝이 가치 있는 때는 언제인가
파인튜닝이 쓸모없다는 말이 아닙니다. 다만 순서상 나중에 오는 것뿐입니다. RAG가 돌아가고 답이 정확해졌는데, '맛'이 맞지 않을 때 — 지원 스크립트에 일관된 하나의 목소리가 필요하고, 예외 보고서에 고정된 형식이 필요하고, 다국어 사이트에 공통의 핵심 메시지가 필요할 때 — 그때 소량의 고품질 샘플에 대한 가벼운 파인튜닝이 진가를 발휘합니다. RAG를 강화하는 것이지, 대체하는 것이 아닙니다. 순서를 잘못 잡으면 정확도도 없는 상태에서 말투부터 다듬게 됩니다.
또 다른 정당한 경우는 극도의 규정 준수나 오프라인 환경입니다. 데이터가 건물을 나갈 수 없고, 검색과 모델 모두 온프레미스로 돌아갑니다. 그런 프로젝트에는 대부분의 창고가 갖지 못한 예산과 팀이 필요하므로, 다른 세상의 이야기입니다. 거의 모든 창고와 3PL에게 RAG는 출발점이며, 한동안은 도착점이기도 합니다. 그리고 핵심은 여기 있습니다. RAG 지식베이스에 사람이 검증한 문답 쌍이 수천 개 쌓이면, 파인튜닝이 실제로 필요로 하는 유일한 것 — 고품질 데이터 — 를 마침내 갖게 됩니다. 그때, 그리고 그때서야 파인튜닝 이야기가 흥미로워집니다.
마지막으로 한 가지. 다음에 벤더가 '자체 LLM 파인튜닝'을 영업해 오면 세 가지 질문을 하세요. 학습 데이터를 누가 준비하는가, 모델은 얼마나 자주 재학습되는가, SOP가 바뀌면 어떻게 되는가. 이 세 가지에 답하지 못하면, 문제를 푸는 게 아니라 라이선스를 파는 것입니다.
내일 할 수 있는 일은 하나뿐입니다. 아직 프로젝트를 시작하지 마세요. 현장 직원과 CSR이 가장 자주 받는 질문 50개를 뽑고, 해당 SOP 구절을 일반 텍스트로 정리한 뒤, 최소한의 RAG 파일럿을 2주간 돌려보세요. 두 가지 지표로만 평가하세요. 답이 정확한가, 그리고 사람들이 실제로 사용하는가. 파일럿 비용은 거의 들지 않지만, 가장 중요한 질문에 답해줍니다. 당신의 지식베이스에 정말 물을 만한 가치가 있는 것이 있는가, 하고.
영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.
