파인튜닝 vs RAG: 짧은 답

창고 지식 베이스가 SOP, 고장 매뉴얼, 고객 문의에 대한 질문에 답한다면, 파인튜닝과 RAG 중 어느 쪽을 택할지는 분명합니다. RAG부터 시작하십시오. 저는 지금까지 세 팀이 먼저 파인튜닝에 예산을 다 써버리고, 여섯 주 뒤에 같은 시스템을 RAG로 다시 만드는 것을 지켜봤습니다. 파인튜닝에도 자리는 있지만, 영업 자료가 암시하는 것보다 훨씬 좁은 자리이며, 대부분의 창고에는 첫걸음으로 잘못된 선택입니다.

이것이 결론입니다. 이 글의 나머지는 그 근거와 숫자, 그리고 가동 전날 밤에 제가 사용하는 체크리스트입니다.

RAG가 창고 지식 업무에 맞는 이유

창고 지식 베이스는 일반 챗봇이 아닙니다. 그 일은 좁습니다. 올바른 문서에서 올바른 문단을 찾아 정확히 인용하고, 문서가 질문을 다루지 않을 때는 아무 말도 하지 않는 것입니다. RAG는 정확히 그 일을 합니다. 먼저 문서를 검색한 뒤, 찾은 내용에서 모델이 답하게 합니다. SOP가 바뀌면 모델이 아니라 문서를 업데이트합니다.

파인튜닝은 다르게 작동합니다. 지식을 모델의 가중치에 새겨 넣습니다. 첫 SOP 개정이 오기 전까지는 우아하게 들립니다. 오하이오주에 있는 제 고객은 네 개 사업장을 가진 3PL로, 400페이지짜리 SOP 라이브러리를 운영했습니다. 작년 절차로 모델을 파인튜닝한 뒤 삼월에 사이클 카운트 절차를 바꿨습니다. 모델은 몇 주 동안 옛 절차로 답을 이어갔습니다. 자신감 있게, 정중하게. 아무도 재학습 예산을 잡아두지 않아서 팀은 모니터에 정정 메모를 붙였습니다. 그것은 지식 베이스가 아닙니다. 아주 비싼 포스트잇입니다.

두 번째 이유는 근거입니다. RAG라면 모든 답변에 출처를 달 수 있습니다. 문서 이름, 섹션, 페이지입니다. 감독자는 클릭해서 확인할 수 있습니다. 파인튜닝한 모델에서는 답변이 영수증 없이 도착합니다. 창고에서는 잘못된 토크 값이나 잘못된 위험물 절차가 실제 결과를 낳기 때문에, 출처 없는 답변은 기능이 아니라 책임입니다.

다음은 제가 고객에게 설명하는 비교표입니다. 아래 수치는 시나리오 예시로, 제가 봐 온 소규모 프로젝트의 전형적인 견적에서 만든 것이지, 벤더 가격표가 아닙니다. 여러분의 숫자는 다르겠지만, 청구서의 모양은 다르지 않을 것입니다.

항목 RAG 파인튜닝
구축 노력 2-4주: 문서 나누기, 검색 구축, 검색 테스트 4-8주: 학습 쌍 다듬기, 학습, 평가, 회귀 수정
준비해야 할 데이터 깨끗한 문서, 명확한 제목, 버전 관리 500-2,000개의 고품질 질의응답 쌍, 전문가 검토 완료
SOP 하나 업데이트 문서를 편집하고 다시 인덱싱하면 한 시간 안에 완료 새 사례 수집, 재학습, 재테스트, 재배포
환각 위험 낮음: 모델이 검색한 텍스트에서 답함 학습 데이터 밖의 사실에서는 높음. 모델은 그래도 확신에 차 들림
지속 비용 검색과 호스팅, 대체로 안정적 재학습 주기에 같은 호스팅을 더한 것

숨은 항목은 학습 데이터입니다. 좋은 파인튜닝 쌍은 PDF에서 긁어모은 것이 아닙니다. 현장을 정말로 아는 사람이 질문을 쓰고, 올바른 답을 쓰고, 경계 사례를 확인해야 합니다. 한 프로젝트에서는 300쌍으로 예산을 잡았는데, 모델이 비슷한 두 컨베이어 고장을 혼동하지 않게 되기까지 900쌍이 필요했습니다. 그것은 아무도 계획에 넣어두지 않았던 시니어 엔지니어의 세 주짜리 시간이었습니다.

파인튜닝 vs RAG: 세 가지 차원의 의사결정 프레임워크

프로젝트를 세 가지 차원으로 채점하십시오. 각 차원은 1부터 5까지입니다. 합산하십시오. 합계가 어디서 시작해야 하는지 알려줍니다.

1. 지식이 얼마나 자주 바뀌는가? 매일 또는 매주 업데이트는 RAG에 5점입니다. 일 년에 거의 움직이지 않는 안정적인 지식은 1점입니다.

2. 정확성 요구는 얼마나 엄격한가? 잘못된 답이 장비를 손상시키거나, 출하를 지연시키거나, 안전 규칙을 어길 수 있다면, 추적 가능한 출처가 필요하므로 RAG에 5점입니다. 오류 비용이 약간 어색한 답변 정도라면 점수는 더 낮습니다.

3. 깨끗한 학습 데이터를 실제로 얼마나 가지고 있는가? 검증된 쌍이 300개 미만이면 RAG에 5점입니다. 현장에서 일하는 사람이 쓴 검증된 쌍이 1,000개를 넘으면 1점입니다.

합계가 10 이상이면 먼저 RAG를 구축하십시오. 합계가 6 이하면 파인튜닝을 진지하게 살펴볼 가치가 있습니다. 7에서 9 사이라면 RAG를 구축하고, 나중에 파인튜닝은 RAG이 메우지 못하는 특정한 공백, 이를테면 사내 문체나 분류 과제 때문에만 하십시오. 저는 창고 프로젝트가 첫 채점에서 7 미만이 된 것을 본 적이 없습니다. 그게 직관에 반하는 부분입니다. 파인튜닝에 가장 열광하는 팀은 대개 문서가 가장 빨리 바뀌고 학습 데이터가 가장 적은데, 그 프로필이야말로 RAG가 이기는 경우입니다.

실제로 잘 된 RAG 프로젝트는 이런 모습이었습니다. 텍사스주의 3PL 고객은 두 개 사업장에 약 120명의 직원을 두고, 고객 서비스 팀이 그때마다 창고 현장에 전화하지 않고도 재고 질문에 답할 수 있기를 바랐습니다. 우리는 SOP, 운송사 마감 시트, 일 년치 해결된 티켓 위에 RAG를 구축했습니다. 구축에 세 주가 걸렸습니다. 테스트 세트는 티켓 대기열에서 가져온 실제 질문 200개였습니다.

결과는 마법이 아니었습니다. 시스템은 200개 중 168개에 첫 시도에 올바르게 답했고, 24개에는 "모르겠습니다. 관련 섹션은 여기 있습니다"라고 답했고, 8개를 틀렸습니다. 팀은 8개를 재학습이 아니라 출처 문서를 고쳐서 바로잡았습니다. 한 달 안에 팀 자체의 통화 기록에 따르면 현장 전화는 대략 삼분의 일로 줄었습니다. 중요한 것은 비율이 아닙니다. 중요한 것은 모든 수정이 문서 편집이었고, 문서 소유자 스스로 수정할 수 있었다는 점입니다.

제가 지금도 인용하는 파인튜닝 실패는 세 번 본 것이고, 세 번째가 가장 비쌌습니다. 한 장비 공급업체는 현장 기술자가 토크 설정과 정비 간격에 대해 물을 수 있도록 제품 매뉴얼로 모델을 파인튜닝했습니다. 학습 데이터는 좋았습니다. 데모도 좋았습니다. 그런데 새 모델 변형이 다른 토크 사양으로 출하되고 매뉴얼은 업데이트됐지만, 파인튜닝한 모델은 재학습되지 않았습니다. 기술자는 옛 숫자를 따랐고, 피팅을 과도하게 조여 하우징에 균열을 냈습니다. 다친 사람은 없었지만, 수리와 가동 중단으로 고객은 일주일을 잃었습니다.

사후 분석은 직설적이었습니다. 지식은 바뀌었는데 모델은 바뀌지 않았고, 재학습 단계를 맡은 사람이 없었습니다. RAG였다면 모든 실수를 막을 수는 없었겠지만, 기술자는 새 숫자와 날짜가 적힌 새 매뉴얼 페이지를 눈앞에서 볼 수 있었을 것입니다. 그것이 우아하게 나이 드는 시스템과 조용히 썩어가는 시스템의 차이입니다.

가동 전 체크리스트: 전날 밤의 목록

시스템을 켜기 전에 사용하십시오. 체크가 하나라도 빠져 있으면 준비가 안 된 것입니다.

  • 실제 질문 200개 테스트 완료. 직접 쓴 데모용 질문이 아닐 것
  • 모든 답변이 출처 문서와 섹션에 연결될 것
  • "모르겠습니다" 응답이 정의되고 테스트되며 운영에서 받아들여질 것
  • 각 출처 문서마다 지정된 소유자 한 명과 검토 날짜가 있을 것
  • 업데이트 경로를 끝까지 테스트할 것: 문서 편집, 다시 인덱싱, 새 답변 확인
  • 시스템이 다운됐을 때의 대비책: 누가 답하고, 어떻게 답하는가
  • 틀린 답변에 대한 주간 검토, 수정은 모델이 아니라 문서에 할당할 것

흔한 실패 지점은 세 가지입니다. 첫째는 지저분한 문서입니다. 제목 없는 스캔 PDF, 같은 파일 이름의 같은 SOP 다섯 가지 버전, 교육 자료와 모순되는 고장 매뉴얼. RAG는 먹인 것을 그대로 가져옵니다. 엉망을 먹이면 그 엉망을 정확히 인용할 것입니다.

둘째는 테스트한 적이 없는 검색입니다. 팀은 모델의 글쓰기를 테스트하고 검색 테스트를 잊습니다. 검색이 잘못된 세 문단을 반환하면 모델이 아무리 좋아도 답은 틀립니다. 검색은 따로 테스트하십시오. 비슷해 보이는 답이 있는 질문으로 말입니다.

셋째는 소유자가 없는 것입니다. 문서 소유자가 없는 지식 베이스는 한 분기 안에 낡습니다. 첫 불만이 나온 뒤가 아니라 가동 전에 소유자를 지정하십시오.

제 조언은 간단합니다. RAG를 구축하고 실제 질문으로 증명하고, 파인튜닝은 한 문장으로 이름 붙일 수 있는 공백을 해결함으로써 그 자리를 얻게 하십시오. 공백을 이름 붙일 수 없다면 아직 파인튜닝이 필요하지 않습니다.

Lin Xiao, WMS 구현 컨설턴트 지음 영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.