ファインチューニング vs RAG:短い答え
倉庫のナレッジベースが SOP や故障マニュアル、顧客からの問い合わせに関する質問に答えるなら、ファインチューニングと RAG のどちらを選ぶかは明確です。まず RAG から始めましょう。私はこれまで三つのチームがまずファインチューニングに予算を使い果たし、六週間後に同じシステムを RAG として作り直すのを見てきました。ファインチューニングにも居場所はありますが、営業資料が示唆するよりずっと狭い場所であり、ほとんどの倉庫にとって最初の選択としては誤りです。
それが結論です。この記事の残りは、その根拠と数字、そして稼働前夜に私が使うチェックリストです。
RAG が倉庫のナレッジワークに合う理由
倉庫のナレッジベースは汎用チャットボットではありません。その仕事は限られています。正しい文書の中の正しい段落を見つけ、正確に引用し、文書が質問をカバーしていないときは何も言わないことです。RAG はまさにそれを行います。まず文書を検索し、見つけた内容からモデルに答えさせます。SOP が変われば、モデルではなく文書を更新します。
ファインチューニングは仕組みが異なります。知識をモデルの重みに焼き付けます。最初の SOP 改訂が来るまではエレガントに聞こえます。オハイオ州の私のクライアントは、四つの拠点を持つ 3PL で、400ページの SOP ライブラリを運用していました。昨年の手順でモデルをファインチューニングした後、三月にサイクルカウントの手順を変更しました。モデルは数週間にわたって古い手順で答え続けました。自信たっぷりに、丁寧に。誰も再学習の予算を組んでいなかったので、チームは修正メモをモニターに貼りました。それはナレッジベースではありません。非常に高価な付箋です。
二つ目の理由は証拠です。RAG なら、すべての回答に出典を付けられます。文書名、セクション、ページです。監督者はクリックして確認できます。ファインチューニングしたモデルでは、回答に領収書が付きません。倉庫では、誤ったトルク値や誤った危険物手順が現実の結果を招くため、出典のない回答は機能ではなく負債です。
以下は、私がクライアントに説明する比較表です。下の数字はシナリオの例示で、私が見てきた小規模プロジェクトの典型的な見積もりから作ったもので、ベンダーの価格表ではありません。あなたの数字は異なるでしょうが、請求書の形は変わりません。
| 項目 | RAG | ファインチューニング |
|---|---|---|
| 構築の労力 | 2-4週間:文書を分割し、検索を構築し、検索をテスト | 4-8週間:学習ペアを整え、学習し、評価し、回帰を修正 |
| 準備が必要なデータ | きれいな文書、明確な見出し、バージョン管理 | 500-2,000件の高品質な質問と回答のペア、専門家による査読済み |
| SOP を一つ更新する | 文書を編集し、再インデックスすれば、一時間で完了 | 新しい事例を集め、再学習し、再テストし、再デプロイ |
| ハルシネーションのリスク | 低い:モデルは検索したテキストから答える | 学習データ外の事実では高い。モデルはそれでも確信に満ちて聞こえる |
| 継続コスト | 検索とホスティング、ほぼ一定 | 再学習サイクルに同じホスティングを加えたもの |
隠れた項目は学習データです。良質なファインチューニングのペアは PDF からかき集めたものではありません。現場を本当に知る人が質問を書き、正しい答えを書き、エッジケースを確認しなければなりません。あるプロジェクトでは 300ペアで予算を組みましたが、モデルが似た二つのコンベヤ故障を混同しなくなるまでに 900ペアが必要でした。それは、誰も計画に入れていなかったシニアエンジニアの三週間の時間です。
ファインチューニング vs RAG:三つの次元による判断フレームワーク
プロジェクトを三つの次元で採点します。各次元は 1 から 5 です。合計します。合計がどこから始めるべきかを教えてくれます。
**1. 知識はどのくらいの頻度で変わりますか。**毎日または毎週の更新は RAG に 5点です。一年間ほとんど動かない安定した知識は 1点です。
**2. 正確性の要件はどのくらい厳しいですか。**誤った回答が設備を損傷したり、出荷を遅らせたり、安全規則に違反したりする可能性があるなら、追跡可能な出典が必要なので RAG に 5点です。誤りのコストが少し気まずい返答だけなら、点数は低くなります。
**3. きれいな学習データを本当にどれだけ持っていますか。**検証済みペアが 300件未満なら RAG に 5点です。現場で働く人が書いた検証済みペアが 1,000件を超えるなら 1点です。
合計が 10以上なら、まず RAG を構築します。合計が 6以下なら、ファインチューニングを真剣に検討する価値があります。7から 9の間なら、RAG を構築し、後でファインチューニングするのは、RAG では埋められない特定のギャップ、たとえば社内の文体や分類タスクのためだけにします。私は倉庫プロジェクトが最初の採点で 7未満になったのを見たことがありません。それが直感に反する部分です。ファインチューニングに最も熱心なチームは、たいてい文書の変化が最も速く、学習データが最も少ないのですが、それこそ RAG が勝つプロファイルです。
実際にうまくいった RAG プロジェクトは次のようなものでした。テキサス州の 3PL クライアントは、二つの拠点で約 120名のスタッフを抱え、カスタマーサービスチームがその都度倉庫フロアに電話することなく在庫の質問に答えられるようにしたいと考えていました。私たちは SOP、運送会社の締切シート、一年分の解決済みチケットの上に RAG を構築しました。構築には三週間かかりました。テストセットはチケットキューからの実際の質問 200問でした。
結果は魔法ではありませんでした。システムは 200問のうち 168問に初回で正しく答え、24問には「分かりません。関連するセクションはこちらです」と答え、8問を間違えました。チームは 8問を、再学習ではなく出典文書を修正することで直しました。一か月以内に、チーム自身の通話記録によれば、フロアへの電話はおよそ三分の一に減りました。大切なのは割合ではありません。大切なのは、すべての修正が文書の編集であり、文書の所有者自身が修正できたことです。
私が今も引用するファインチューニングの失敗は、三回見たもので、三回目が最も高くつきました。ある設備サプライヤーは、現場技術者がトルク設定や整備間隔について尋ねられるよう、製品マニュアルでモデルをファインチューニングしました。学習データは良好でした。デモも良好でした。すると新しいモデルバリエーションが異なるトルク仕様で出荷され、マニュアルは更新されましたが、ファインチューニングしたモデルは再学習されませんでした。技術者は古い数値に従い、継手を締めすぎてハウジングにひびを入れました。けが人は出ませんでしたが、修理とダウンタイムで顧客は 一週間を失いました。
事後分析は率直でした。知識は変わったのにモデルは変わらず、再学習の手順を所有する人がいなかったのです。RAG ならすべての間違いを防げたわけではありませんが、技術者は新しい数値と日付の入った新しいマニュアルのページを目の前に見ることができたでしょう。それが、優雅に年を重ねるシステムと、静かに腐っていくシステムの違いです。
稼働前チェックリスト:前夜のリスト
システムをオンにする前に使ってください。チェックが一つでも外れていれば、準備はできていません。
- 実際の質問 200問をテスト済み。自分で書いたデモ用の質問ではないこと
- すべての回答が出典文書とセクションにリンクしていること
- 「分かりません」という回答が定義され、テストされ、現場で受け入れられていること
- 各出典文書に名前付きの所有者が一人おり、見直し日が決まっていること
- 更新パスを端から端までテスト済みであること:文書を編集し、再インデックスし、新しい回答を確認する
- システムがダウンしたときの代替手段:誰が答え、どのように答えるか
- 間違った回答の週次見直し。修正はモデルではなく文書に割り当てること
よくある失敗ポイントは三つあります。一つ目は汚い文書です。見出しのないスキャン PDF、同じファイル名の同じ SOP の五つのバージョン、研修資料と矛盾する故障マニュアル。RAG は与えたものをそのまま検索します。混乱を与えれば、その混乱を正確に引用します。
二つ目は、テストされたことのない検索です。チームはモデルの文章をテストし、検索のテストを忘れます。検索が誤った三つの段落を返せば、モデルがどれだけ優れていても回答は誤ります。検索は別にテストしてください。似たような答えを持つ質問で。
三つ目は所有者がいないことです。文書の所有者がいないナレッジベースは、四半期のうちに陳腐化します。所有者は最初の苦情の後ではなく、稼働前に割り当ててください。
私の助言はシンプルです。RAG を構築し、実際の質問で証明し、ファインチューニングには、一文で名指しできるギャップを解決することでその居場所を得させてください。そのギャップを名指しできないなら、まだファインチューニングは必要ありません。
Lin Xiao(WMS 導入コンサルタント)著 英語版からの翻訳。内容に相違がある場合は英語版を優先します。







