倉庫ナレッジベースにおける LLM ファインチューニング vs RAG の問いは、たいてい逆の立て方をされています。チームはどちらの手法が優れているかを問います。まるでどちらか一方が勝たなければならないかのように。しかし公開されている証拠は別の方向を示しています。新しい知識をモデルに注入する仕事では、検索が教師なしファインチューニングを一貫して上回ってきたと、2023年の比較研究は述べており、RAG を導入した 2020年の原論文は、この考え方を、すべてをパラメータに押し込むのではなく、回答時に外部知識へのアクセスをモデルに与えるものとして提示しました。一方で倉庫の知識は絶えず変化します。手順は改訂され、ロケーションルールは変わり、大口顧客がシーズン途中でラベル要件を追加します。事実がこれほど速く動くとき、選択の判断は2つの問いから始めなければなりません。答えはどれほど頻繁に変わるのか、そして誤った答えを出典まで追跡できるのか、という問いです。
ファインチューニングは習慣を変え、RAG はモデルが見られるものを変える
ファインチューニングと RAG は、システムの異なる部分に作用します。ファインチューニングは学習を継続し、モデルの重みを調整することで新しい習慣を身につけさせます。固定フォーマット、固定トーン、回答を構成する固定のやり方です。RAG はモデルに手を加えません。質問が届くと、システムはナレッジベースを検索し、最も関連性の高い箇所を抜き出し、質問とともにモデルに渡します。モデルは目の前の資料から回答します。
この違いが重要なのは、知識が置かれる場所が異なるからです。RAG では、知識は文書とインデックスの中にあります。文書を変えてインデックスを更新すれば、次の回答はそれに合わせて変わります。通常は数分以内です。ファインチューニングでは、知識は重みの中にあります。変えるには、新しい学習データを用意し、もう一度学習サイクルを回し、再評価して、再デプロイしなければなりません。修正のコストは分ではなく週単位で測られ、修正そのものも検証が困難です。重みの集合を開いて、モデルにその発言をさせた段落を指し示せる人は誰もいません。
倉庫における質問のほとんどは、振る舞いの質問ではなく知識の質問です。作業者は、2つの商品が同じロケーションを共有できるか、特定の顧客にどのラベルルールが適用されるか、コールドチェーンが途切れた後の次の手順は何かを尋ねます。正しい答えは、正確に1つの文書の中に存在し、来月にはその文書の改訂版の中に存在するかもしれません。その答えを重みに焼き付けることは、まもなく変わる文書を、変えるのが難しい媒体に刻み込むことです。
倉庫の計算:更新頻度と誤りのコスト
仮のシナリオを考えてみましょう。2025年の秋、中国東部のサードパーティ倉庫が、4,000件を超える作業手順と顧客固有の要件でモデルをファインチューニングしました。回答は一貫するようになり、新しいカスタマーサービス担当者はすぐに仕事に慣れました。するとピークシーズンが到来し、3社の大口顧客が同時にラベルと梱包の要件を変更しました。文書は更新されましたが、モデルの回答は更新されませんでした。2週間にわたり、現場スタッフは古い要件で作業し、顧客の検査で不一致が見つかるまで続きました。解決策は、もう一度の学習と、もう一度の評価ラウンドで、3週間かかりました。技術は設計どおりに機能していました。選択の判断が、変化する知識を間違った場所に置いていたのです。
2つ目の仮のシナリオは逆の道を取りました。ある E コマースのフルフィルメント倉庫は、約2,000件の文書を検索システムに保持していました。各質問では、文書名とセクションとともに、最も関連性の高い3〜5件の箇所を抽出し、モデルはそれらの箇所から回答を構成しました。ピークシーズン中に顧客が返品先住所を変更したとき、作業者は文書の1行を編集し、インデックスが更新され、次の質問は正しい答えを得ました。何か問題が起きたとき、当番のスーパーバイザーは引用をたどって出典の箇所まで戻り、文書が間違っていたのか、検索が間違った箇所を選んだのかを判断できました。責任の連鎖は保たれており、その追跡可能性こそ、倉庫の知識システムが持ちうる最も価値ある特性です。
直感に反するポイントはここにあります。ファインチューニングは、モデルがあなたの倉庫をより深く理解するようにはしません。モデルがあなたの倉庫らしく聞こえるようにするのです。知識と振る舞いは別の問題であり、それらを混同することは、何も解決せずにお金を使う最も確実な方法の一つです。完璧な社内スタイルで答えながら、廃止された手順を引用するモデルは、現在の文書から素直に答えるモデルよりも悪いものです。
比較表:RAG が勝つ場合とファインチューニングが価値を発揮する場合
| 選択の問い | RAG を選ぶ | ファインチューニングを選ぶ |
|---|---|---|
| 答えはどれほど頻繁に変わるか? | 毎週または毎日 | 数か月安定 |
| 誤った答えを追跡できなければならないか? | はい、正確な文書まで | いいえ、フォーマットがより重要 |
| 人によって見られる内容は異なるか? | はい、検索前にフィルタする | いいえ、重みには権限がない |
| 変えるのは知識かスタイルか? | 知識 | スタイル、フォーマット、固定ルーチン |
| ラベル付き事例はあるか? | なくても機能する | なければ始められない |
権限の行には注意が必要です。チームが最も見落としがちな行だからです。倉庫のナレッジベースには、顧客価格、契約条件、社内コストデータが日常的に含まれています。RAG では、アクセス制御は検索の前に行われます。システムは、要求者が閲覧を許可された箇所だけをモデルに渡します。ファインチューニングにはこれができません。知識が重みに入ってしまえば、誰が見るべきで誰が見るべきでないかを言い分ける方法はありません。権限レベルが混在するナレッジベースは、ファインチューニングが登場する前に、この問題を解決しなければなりません。
コストも同じ比較に含めるべきですが、両側は異なる方法で測らなければなりません。仮の例を挙げましょう。1日に600件のナレッジベースの質問を処理する倉庫で、RAG が各質問に約2,000トークンの検索コンテキストを追加すると、月に約36 millionトークンのコンテキストを消費します。このコストは質問量に比例して増加し、毎月目に見えます。ファインチューニングは質問ごとのコストは小さいですが、知識の更新のたびに請求が発生します。サンプルの用意、学習、評価、回帰テストの実行で、各サイクルにスタッフの時間が確保されます。知識が変わる頻度が高いほど、ファインチューニングの隠れたコストは高くなります。質問量が多いほど、RAG の運用コストは高くなります。一度きりの学習費用と月々のトークン費用を比較しても、まったく意味がありません。
少なくとも最初は、どちらもやらないという選択肢もあります。公開されている実践的なガイダンスによれば、ナレッジベースの総量が約200,000トークン、つまり約500ページの文書の場合、コーパス全体をプロンプトに入れる方が、検索システムを構築するよりもシンプルで正確なことが多いとされています。中小規模の倉庫の多くは、まさにその範囲のナレッジベースを持っています。その段階では、文書を集めて明確に書くことが、どんな検索パイプラインよりも価値があります。
まず RAG、次に振る舞いが課題の箇所でファインチューニング
ほとんどの倉庫にとって実践的な順序は、まず RAG を稼働させ、次にファインチューニングが実際に得意とする振る舞いのギャップを探すことです。RAG が稼働し始めると、実際の問題はたいてい知識ではなく出力に関するものだと分かります。一貫したフォーマットに従わない回答、現れたり消えたりする作業指示書のフィールド、モデルの裁量に委ねられたエスカレーションルールなどです。これらは振る舞いの問題であり、レビュー済みの質問と回答の事例を数百件使った小規模なファインチューニングで、フォーマットとエスカレーションの文言を修正できます。その間も RAG は質問時に事実を供給し続けます。
この順序なら、ロールバックも安く済みます。RAG がうまくいかないとき、チームは文書を編集し、検索を調整し、ランキングを変えれば、修正はその日のうちに検証できます。ファインチューニングしたモデルがうまくいかないとき、チームはどのバッチの学習事例がモデルを軌道から外したのかを突き止め、再学習し、再評価しなければならず、そのサイクルは週単位で測られます。可逆的なステップを先に、不可逆的なステップを後に。この順序は倉庫システムのあらゆる判断に当てはまり、ここでも当てはまります。
3つの問いが、どの倉庫の選択も決めます。文書はどれほど頻繁に変わるのか、誤った答えを出典まで追跡できるのか、そして異なる役割が異なる内容を見ることができるのか。この3つの問いへの答えが、ファインチューニングと RAG のそれぞれの居場所を決めます。基盤となる技術は変わり続けるでしょうが、この3つの問いの重みがすぐに変わることはないでしょう。
Dr. Chen(サプライチェーン研究者)著 英語版からの翻訳。内容に相違がある場合は英語版を優先します。







