창고 지식 베이스에서 LLM 파인튜닝 vs RAG의 문제는 대개 거꾸로 묻습니다. 팀들은 어느 기법이 더 나은지 묻는데, 마치 어느 한쪽이 반드시 이겨야 하는 것처럼 말입니다. 공개된 증거는 다른 방향을 가리킵니다. 모델에 새로운 지식을 주입하는 작업에서는 검색이 비지도 파인튜닝을 일관되게 앞질렀다고 2023년 비교 연구는 밝히고 있으며, RAG를 처음 소개한 2020년의 원 논문은 모든 것을 파라미터에 억지로 넣는 대신 답변 시점에 외부 지식에 접근할 수 있게 하는 것으로 이 아이디어를 제시했습니다. 한편 창고 지식은 끊임없이 변합니다. 절차가 개정되고, 적재 규칙이 바뀌고, 대형 고객이 시즌 도중에 라벨링 요건을 추가합니다. 사실이 이토록 빠르게 움직일 때 선택 결정은 두 가지 질문에서 시작해야 합니다. 답은 얼마나 자주 바뀌는가, 그리고 잘못된 답을 출처까지 추적할 수 있는가?
파인튜닝은 습관을 바꾸고, RAG는 모델이 볼 수 있는 것을 바꾼다
파인튜닝과 RAG는 시스템의 서로 다른 부분에 작용합니다. 파인튜닝은 학습을 계속 이어가며 모델의 가중치를 조정해 새로운 습관을 들입니다. 고정된 형식, 고정된 어조, 답변을 구성하는 고정된 방식입니다. RAG는 모델을 건드리지 않습니다. 질문이 들어오면 시스템은 지식 베이스를 검색해 가장 관련성이 높은 구절을 뽑아내고, 질문과 함께 모델에 전달합니다. 모델은 눈앞의 자료를 바탕으로 답합니다.
이 구분이 중요한 이유는 지식이 서로 다른 곳에 살기 때문입니다. RAG에서는 지식이 문서와 인덱스 안에 있습니다. 문서를 바꾸고 인덱스를 새로 고치면 다음 답변도 그에 맞춰 바뀝니다. 보통 몇 분 이내입니다. 파인튜닝에서는 지식이 가중치 안에 있습니다. 바꾸려면 새로운 학습 데이터를 준비하고, 또 한 번의 학습 사이클을 돌리고, 다시 평가하고, 다시 배포해야 합니다. 수정 비용은 분이 아니라 주 단위로 측정되며, 수정 자체도 들여다보기 어렵습니다. 가중치 집합을 열어 모델이 그런 말을 하게 만든 단락을 가리킬 수 있는 사람은 아무도 없습니다.
창고의 질문 대부분은 행동 질문이 아니라 지식 질문입니다. 작업자는 두 제품이 한 위치를 공유할 수 있는지, 특정 고객에게 어떤 라벨링 규칙이 적용되는지, 콜드체인 단절 후 다음 단계가 무엇인지 묻습니다. 정답은 정확히 하나의 문서 안에 존재하고, 다음 달에는 그 문서의 개정판 안에 존재할 수 있습니다. 그 답을 가중치에 새긴다는 것은 곧 바뀔 문서를 바꾸기 어려운 매체에 새기는 것입니다.
창고의 계산: 업데이트 빈도 대 오류 비용
가상의 시나리오를 생각해 봅시다. 2025년 가을, 중국 동부의 한 제3자 창고가 4,000건이 넘는 운영 절차와 고객별 요구사항으로 모델을 파인튜닝했습니다. 답변은 일관되게 되었고, 새로운 고객 서비스 직원은 빠르게 업무에 적응했습니다. 그러다 성수기가 찾아왔고, 세 곳의 대형 고객이 동시에 라벨링과 포장 요건을 변경했습니다. 문서는 업데이트되었지만 모델의 답변은 그렇지 않았습니다. 2주 동안 현장 직원은 예전 요건대로 일했고, 고객 검사에서 불일치가 발견될 때까지 이어졌습니다. 해결책은 또 한 번의 학습 실행과 또 한 번의 평가 라운드였고, 3주가 걸렸습니다. 기술은 설계대로 동작했습니다. 선택 결정이 변하는 지식을 잘못된 곳에 두었던 것입니다.
두 번째 가상의 시나리오는 반대 길을 택했습니다. 한 전자상거래 풀필먼트 창고는 약 2,000건의 문서를 검색 시스템에 유지했습니다. 각 질문마다 문서 이름과 섹션과 함께 가장 관련성이 높은 3~5개의 구절을 가져왔고, 모델은 그 구절들로부터 답변을 구성했습니다. 성수기 도중 고객이 반품 주소를 변경했을 때, 작업자는 문서의 한 줄을 수정했고, 인덱스가 업데이트되었으며, 다음 질문은 올바른 답을 받았습니다. 뭔가 잘못되었을 때 당직 감독자는 인용을 따라 출처 구절까지 거슬러 올라가 문서가 잘못되었는지, 검색이 잘못된 구절을 골랐는지 판단할 수 있었습니다. 책임의 연결고리는 온전했고, 그 추적 가능성은 창고 지식 시스템이 가질 수 있는 가장 가치 있는 속성입니다.
직관에 반하는 핵심은 이것입니다. 파인튜닝은 모델이 여러분의 창고를 더 잘 이해하게 만들지 않습니다. 모델이 여러분의 창고처럼 들리게 만들 뿐입니다. 지식과 행동은 서로 다른 문제이며, 이를 혼동하는 것은 아무것도 해결하지 못한 채 돈을 쓰는 가장 확실한 방법 중 하나입니다. 완벽한 사내 문체로 답하면서도 폐기된 절차를 인용하는 모델은, 현재 문서에서 담백하게 답하는 모델보다 나쁩니다.
비교표: RAG가 승리하는 경우와 파인튜닝이 제 몫을 하는 경우
| 선택 질문 | RAG를 선택 | 파인튜닝을 선택 |
|---|---|---|
| 답은 얼마나 자주 바뀌는가? | 매주 또는 매일 | 수개월간 안정 |
| 잘못된 답을 추적할 수 있어야 하는가? | 예, 정확한 문서까지 | 아니요, 형식이 더 중요 |
| 사람마다 다른 내용을 보는가? | 예, 검색 전에 필터링 | 아니요, 가중치에는 권한이 없음 |
| 지식인가, 스타일인가를 바꾸는가? | 지식 | 스타일, 형식, 고정 루틴 |
| 레이블이 지정된 사례가 있는가? | 없어도 동작 | 없으면 시작 불가 |
권한 행은 주목할 만합니다. 팀이 가장 자주 간과하는 행이기 때문입니다. 창고 지식 베이스에는 일상적으로 고객 가격, 계약 조건, 내부 비용 데이터가 들어 있습니다. RAG에서는 접근 제어가 검색 전에 이루어집니다. 시스템은 요청자가 볼 수 있는 구절만 모델에 전달합니다. 파인튜닝은 이를 할 수 없습니다. 지식이 일단 가중치 안에 들어가면 누가 봐야 하고 누가 봐서는 안 되는지 말할 방법이 없습니다. 권한 수준이 섞인 지식 베이스는 파인튜닝이 등장하기 전에 이 문제를 먼저 해결해야 합니다.
비용도 같은 비교에 속하지만, 양쪽은 다르게 측정해야 합니다. 가상의 예를 들어 보겠습니다. 하루에 600건의 지식 베이스 질문을 처리하는 창고에서 RAG가 각 질문에 약 2,000토큰의 검색 컨텍스트를 추가하면 한 달에 약 36 million토큰의 컨텍스트를 소모합니다. 이 비용은 질문량에 따라 선형으로 증가하며 매달 눈에 보입니다. 파인튜닝은 질문당 비용은 적지만 지식 업데이트 때마다 청구됩니다. 샘플 준비, 학습, 평가, 회귀 테스트 실행이 필요하고, 각 사이클마다 직원 시간이 예약됩니다. 지식이 자주 바뀔수록 파인튜닝의 숨은 비용은 높아지고, 질문량이 많을수록 RAG의 운영 비용은 높아집니다. 일회성 학습 비용과 월간 토큰 비용을 비교하는 것은 전혀 요점을 놓친 것입니다.
적어도 처음에는 어느 쪽도 하지 않는 경우도 있습니다. 공개된 실무 지침에 따르면 지식 베이스 총량이 약 200,000토큰, 즉 약 500페이지의 문서일 경우, 코퍼스 전체를 프롬프트에 넣는 것이 검색 시스템을 구축하는 것보다 종종 더 간단하고 더 정확하다고 합니다. 중소 규모 창고의 많은 곳이 정확히 그 범위의 지식 베이스를 가지고 있습니다. 그 단계에서는 문서를 모으고 명확하게 작성하는 것이 어떤 검색 파이프라인보다 가치가 큽니다.
먼저 RAG, 그다음 행동이 문제인 곳에 파인튜닝
대부분의 창고에 실용적인 순서는 먼저 RAG를 가동한 뒤, 파인튜닝이 실제로 잘 메울 수 있는 행동상의 격차를 찾는 것입니다. RAG가 가동되고 나면 실제 문제는 대개 지식이 아니라 출력에 관한 것임이 드러납니다. 일관된 형식을 따르지 않는 답변, 나타났다 사라졌다 하는 작업 지시서 필드, 모델의 재량에 맡겨진 에스컬레이션 규칙 등이 그렇습니다. 이는 행동 문제이며, 검토된 질문-답변 사례 수백 건으로 소규모 파인튜닝을 수행하면 RAG가 질문 시점에 사실을 계속 공급하는 동안 형식과 에스컬레이션 문구를 바로잡을 수 있습니다.
이 순서는 롤백도 저렴하게 유지합니다. RAG가 잘못되면 팀은 문서를 수정하고, 검색을 조정하고, 순위를 바꾸면 되며, 수정 사항은 당일 검증할 수 있습니다. 파인튜닝된 모델이 잘못되면 팀은 어떤 학습 사례 묶음이 모델을 궤도에서 벗어나게 했는지 파악하고, 다시 학습하고, 다시 평가해야 하며, 그 사이클은 주 단위로 측정됩니다. 되돌릴 수 있는 단계부터, 되돌릴 수 없는 단계는 나중에. 이 순서는 창고 시스템 결정 전반에 적용되며, 여기에도 적용됩니다.
세 가지 질문이 모든 창고의 선택을 결정합니다. 문서는 얼마나 자주 바뀌는가, 잘못된 답을 출처까지 추적할 수 있는가, 그리고 서로 다른 역할이 서로 다른 내용을 볼 수 있는가? 이 세 가지 질문에 대한 답이 파인튜닝과 RAG 각각의 자리를 정합니다. 기반 기술은 계속 변하겠지만, 이 세 가지 질문의 무게는 당분간 변할 것 같지 않습니다.
Dr. Chen, 공급망 연구원 지음 영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.







