지난 두 해 동안 대규모 언어 모델을 기반으로 한 창고 프로젝트들은 분명한 패턴을 따라왔다. 거의 모든 프로젝트가 지식 질의응답에서 시작한다. 작업자가 특정 SKU를 어떻게 피킹하는지 물으면, 시스템은 매뉴얼과 작업 지침서, 과거 작업 지시서에서 답을 찾는다. 문제는 만들 것이냐가 아니라, 어떻게 만드느냐이다. 기술적인 길은 두 가지가 있다 — 파인튜닝과 RAG — 둘 다 데모에서는 좋아 보인다. 잘못 선택한 대가는 가동 시작 여섯 달 뒤에야 드러난다.
나는 실제 창고 지식 베이스 프로젝트 세 개를 지켜봐 왔다. 하나는 중국 동부의 3PL 고객 서비스 질의응답으로, 2024년 초 파인튜닝으로 출범했다. 하나는 중국 남부의 전자상거래 창고 내부 운영 어시스턴트로, 2024년 중반 RAG로 출범했다. 세 번째는 중국 북부의 제조업체 예비 부품 조회 시스템으로, 2025년 초 두 가지 방식을 모두 시험했다. 세 프로젝트 모두 데모는 잘됐다. 여섯 달 뒤, 그 운명은 크게 갈렸다.
파인튜닝 프로젝트가 먼저 문제를 맞았다. 지식 베이스는 40개가 넘는 운영 문서를 다뤘고, 초기 정확도는 괜찮아 보였다. 문제는 업데이트였다. 창고가 프로세스를 바꾸거나 장비 파라미터를 교체할 때마다 팀은 새로운 학습 데이터를 준비하고 파인튜닝을 한 번 더 돌려야 했다 — 잘돼야 두 주, 잘못되면 한 달이었다. 더 나쁜 것은, 새로운 지식에 대한 모델의 이해가 불안정했다는 점이다. 한 번 업데이트한 뒤, 모델은 같은 답변 안에서 옛 절차와 새 절차를 섞기 시작했다. 작업자가 피킹 규칙을 묻자 새 버전의 절반과 옛 버전의 절반이 섞인 답이 돌아왔다. 프로젝트 책임자는 나중에 노력의 절반은 시스템을 개선하는 데가 아니라 "모델이 잊지 않도록 막는 일"에 쓰였다고 말했다.
RAG 프로젝트는 더 꾸준히 나아갔다. 지식은 벡터 스토어 안의 문서로 존재했기 때문에, 프로세스 변경은 문서를 교체하는 것으로 끝나고 몇 분 안에 반영됐다. 2024년 말 새로운 분류 시스템을 설치했을 때, 업데이트된 작업 지침서는 당일에 검색이 가능해졌다. 하지만 RAG에도 약점이 있었다. 검색이 빗나가면 답은 확신에 차서 틀릴 수 있었다. 한 번은 작업자가 냉장 보관 온도 경보 임계값을 물었는데, 시스템이 만료된 문서에서 오래된 수치를 가져와 완전한 확신을 담아 답했다. 해당 교대조는 잘못된 기준을 따를 뻔했다. 사후 분석의 결론은 분명했다 — 잘못은 모델이 아니라 지식 거버넌스에 있었다. 만료된 문서를 아무도 정리하지 않았기 때문에 검색이 쓰레기를 반환했던 것이다.
파인튜닝 vs RAG: 진짜 경계는 어디인가
두 길의 경계는 어느 쪽이 더 "똑똑한가"가 아니다. 지식의 형태와 그것이 얼마나 빨리 변하는가의 문제이다. 파인튜닝은 지식을 모델의 가중치에 새겨 넣기 때문에 안정적이고, 일반적이며, 오래 가는 능력에 어울린다. 말투, 답변 형식, 도메인 상식 같은 것이다. RAG는 지식을 모델 밖에 두기 때문에 자주 바뀌고 정확한 인용이 필요한 내용에 어울린다. 운영 절차, 장비 파라미터, 고객 계약 조건 같은 것이다.
창고 지식 베이스의 대부분은 두 번째 범주에 속한다. 프로세스는 바뀌고, 장비는 교체되고, 고객은 요구사항을 추가하고, 규정은 업데이트된다. 업데이트할 때마다 재학습이 필요하다면 유지 비용은 곧 시스템의 가치를 넘어선다. 그래서 나의 기본 입장은 이렇다. RAG가 창고 지식 베이스의 기본 아키텍처가 되어야 하며, 파인튜닝은 그 가치를 입증하는 경우에만 써야 한다.
아래 비교는 실용적인 선택 기준을 제시한다.
| 차원 | 파인튜닝 | RAG |
|---|---|---|
| 지식 업데이트 비용 | 높음 — 재학습 필요 | 낮음 — 문서 교체 |
| 답변 추적 가능성 | 낮음 — 인용할 출처 없음 | 좋음 — 출처 문서를 가리킴 |
| 환각 위험 | 중간 — 기억에서 답변 | 검색 품질에 따라 달라지며 통제 가능 |
| 최적 용도 | 안정적인 일반 능력, 문체 | 자주 바뀌는 구체적 지식 |
| 필요한 데이터 | 수백 개에서 수천 개의 양질 샘플 | 시작할 때 수십 개의 문서 |
| 전형적인 실패 | 옛 지식이 간섭하고, 치명적 망각 발생 | 오래된 문서가 검색을 오염시킴 |
"치명적 망각"은 좀 더 자세히 살펴볼 만하다. 파인튜닝은 새로운 데이터로 모델 가중치를 다시 쓰기 때문에, 지나치게 밀어붙이면 모델이 이미 갖고 있던 능력을 손상시킨다. 파인튜닝을 적용한 3PL이 정확히 이를 겪었다. 새로운 절차에 맞춘 세 차례의 튜닝 뒤, 모델은 기본적인 산술 문제에서 실패하기 시작했다. 튜닝 횟수를 최소로 줄여야 했고, 효과도 그만큼 줄어들었다.
RAG를 선택하는 것은 시작에 불과하다
RAG를 선택한다는 것은 올바르게 선택했다는 뜻이 아니다 — 수정하기 쉬운 출발점을 선택했다는 뜻이다. RAG 시스템에서는 성공의 약 70퍼센트가 지식 거버넌스이고 30퍼센트가 기술이다. 거버넌스란 세 가지다. 문서 버전 관리, 만료된 콘텐츠의 정기 정리, 검색 품질의 지속 평가이다.
중국 남부의 전자상거래 창고는 유용한 참고 사례이다. 베이스에 들어가는 모든 문서에는 시행일과 만료일이 붙어 있고, 만료된 문서는 자동으로 검색 대상에서 빠진다. 매주 팀은 실제 질문 50개를 표본 추출해 답변이 올바른 문서를 인용했는지 손으로 확인하고, 검색 정확도가 임계값 아래로 떨어지면 검토를 시작한다. 이 루틴을 여섯 달 이어간 결과, 답변 정확도는 출범 당시 약 70퍼센트에서 안정적인 90퍼센트 이상으로 올랐다. 아키텍처가 상한을 정한다. 거버넌스가 하한을 정한다.
직관에 반하는 점이 하나 있다. 데이터가 적을 때는 서둘러 파인튜닝하지 말라. 많은 팀이 거기서 시작한다. "우리 데이터로 학습한 모델이라면 우리 업무를 이해할 것"이라고 믿으면서 말이다. 실제로는 수백 개의 샘플로 파인튜닝하면 과적합되기 쉽다 — 모델은 학습 세트의 질문에는 완벽히 답하고, 한 번도 본 적 없는 표현 앞에서는 무너진다. 두 달을 들여 파인튜닝 데이터를 모으느니, 먼저 RAG를 가동하고 실제 질문이 흘러들어오게 한 뒤, 충분한 근거가 생기면 파인튜닝을 결정하라.
나의 권고는 세 단계 경로이다. 첫 번째 단계: 기존 문서로 RAG를 출범시켜 세 달 동안 운영하고, 실제 질문과 실패 사례를 수집한다. 두 번째 단계: 실패 사례가 파인튜닝 추가 여부를 결정하게 한다 — 실패가 말투와 형식에 몰려 있다면 파인튜닝할 가치가 있고, 실패가 잘못된 지식에 몰려 있다면 지식 베이스를 먼저 고친다. 세 번째 단계: 둘을 결합한다 — 시스템이 어떻게 말하는지는 파인튜닝으로, 무엇을 말하는지는 RAG로.
이 선택에 보편적인 답은 없지만, 보편적인 테스트는 있다. 여섯 달 뒤, 당신의 팀은 시스템을 쓰고 있는가, 아니면 시스템에 봉사하고 있는가? 업무가 바뀔 때마다 기술팀이 모델과 씨름하며 초과 근무를 해야 한다면, 그 선택은 아마 잘못된 것이다. 창고 지식 베이스는 업무와 함께 변함으로써 제 몫을 하는 것이지, 업무에 자신에게 맞춰 달라고 요구하는 것이 아니다.
Dr. Chen, 공급망 연구자 지음
영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.







