この二年間、大規模言語モデルを基盤とする倉庫プロジェクトは明確なパターンをたどってきた。ほぼすべてがナレッジQ&Aから始まる。作業員があるSKUのピッキング方法を尋ねると、システムはマニュアル、作業手順書、過去の作業指示書から答えを探し出す。問題は作るかどうかではなく、どう作るかだ。技術的な道筋は二つある——ファインチューニングとRAG——どちらもデモではよく見える。選択を誤った代償が現れるのは、本番稼働から六か月後のことだ。
私は実際の倉庫ナレッジベースのプロジェクトを三つ追跡してきた。一つは中国東部の3PLのカスタマーサービスQ&Aで、2024年初めにファインチューニングで立ち上がった。一つは中国南部のEC倉庫の内部業務アシスタントで、2024年半ばにRAGで立ち上がった。三つ目は中国北部のメーカーのスペアパーツ検索システムで、2025年初めに両方のアプローチを試した。三つともデモはうまくいった。六か月後、その運命は大きく分かれていた。
最初に問題を抱えたのはファインチューニングのプロジェクトだった。そのナレッジベースは40を超える運用文書をカバーし、当初の精度は悪くないように見えた。問題は更新だった。倉庫がプロセスを変更したり、設備パラメータを入れ替えたりするたびに、チームは新しい学習データを用意し、もう一度ファインチューニングを実行しなければならなかった——早くて二週間、遅ければ一か月だ。さらに悪いことに、新しい知識に対するモデルの理解は不安定だった。ある更新の後、モデルは同じ回答の中で古い手順と新しい手順を混ぜ始めた。作業員がピッキングルールについて尋ねると、新バージョンの半分と旧バージョンの半分が返ってきた。プロジェクトリーダーは後に、努力の半分はシステムを良くするためではなく、「モデルに物を忘れさせないこと」に費やされていたと語ってくれた。
RAGのプロジェクトはより着実に進んだ。知識はベクトルストア内の文書として存在するため、プロセスの変更は文書の差し替えで済み、数分で反映された。2024年後半に新しい仕分けシステムを導入した際、更新された作業手順書はその日のうちに検索できるようになった。だがRAGにも弱点があった。検索が外れると、答えは自信満々に間違うことがある。一度、作業員が冷蔵保管の温度アラーム閾値を尋ねたところ、システムは期限切れの文書から古い数値を引いてきて、完全な自信をもって答えた。シフトは危うく誤った基準に従うところだった。事後検証の結論は明確だった——問題はモデルではなく、知識のガバナンスにあった。期限切れの文書を誰も整理していなかったため、検索はゴミを返していたのだ。
ファインチューニング vs RAG:本当の境界はどこにあるか
二つの道の境界は、どちらが「賢いか」ではない。知識の形と、それが変わる速さの問題だ。ファインチューニングは知識をモデルの重みに焼き込むため、安定した、汎用的で、長く使える能力に適している。口調、回答形式、ドメインの常識といったものだ。RAGは知識をモデルの外に置くため、頻繁に変わり、正確な引用を要する内容に適している。作業手順、設備パラメータ、顧客との契約条件といったものだ。
倉庫ナレッジベースの大部分は後者に属する。プロセスは変わり、設備は入れ替わり、顧客は要件を追加し、規制は更新される。更新のたびに再学習が必要なら、維持コストはすぐにシステムの価値を上回る。だから私の基本的な立場はこうだ。RAGを倉庫ナレッジベースの既定のアーキテクチャとし、ファインチューニングはそれが価値を示す場合に限って使うべきだ。
以下の比較は、実践的な選択の枠組みを示している。
| 次元 | ファインチューニング | RAG |
|---|---|---|
| 知識の更新コスト | 高い——再学習が必要 | 低い——文書を差し替える |
| 回答のトレーサビリティ | 乏しい——引用できる出典がない | 良い——出典文書を示せる |
| ハルシネーションのリスク | 中程度——記憶から回答する | 検索品質に依存し、制御可能 |
| 最適な用途 | 安定した汎用能力、文体 | 頻繁に変わる具体的な知識 |
| 必要なデータ | 数百から数千件の質の高いサンプル | 開始時は数十件の文書 |
| 典型的な失敗 | 古い知識が干渉し、破滅的忘却が起きる | 古い文書が検索を汚染する |
「破滅的忘却」はもう少し詳しく見る価値がある。ファインチューニングは新しいデータでモデルの重みを書き換えるため、やりすぎるとモデルがもともと持っていた能力を損なう。ファインチューニングの3PLはまさにこれを経験した。新しい手順に合わせた三回の調整の後、モデルは基本的な算数の問題に失敗し始めた。彼らは調整回数を最小限に減らさざるを得ず、得られる効果もそれとともに小さくなった。
RAGを選ぶことは始まりにすぎない
RAGを選ぶことは、正しく選ぶことではない——修正しやすい出発点を選ぶことだ。RAGシステムでは、成功のおよそ70パーセントは知識のガバナンスで決まり、30パーセントが技術である。ガバナンスとは三つのことだ。文書のバージョン管理、期限切れコンテンツの定期的な整理、検索品質の継続的な評価である。
中国南部のEC倉庫は有用な参考例だ。ベースに入るすべての文書には有効開始日と有効期限日が付いており、期限切れの文書は自動的に検索対象から外れる。毎週、チームは実際の質問を50件サンプリングし、回答が正しい文書を引用しているかを手作業で確認し、検索精度が閾値を下回ればレビューを開始する。このルーティンを六か月続けた結果、回答精度は立ち上げ時のおよそ70パーセントから、安定的に90パーセント以上へと上昇した。アーキテクチャが上限を決める。ガバナンスが下限を決める。
直感に反する点を一つ挙げよう。データが少ないときは、急いでファインチューニングをしてはいけない。多くのチームがそこから始める。「自分たちのデータで学習させたモデルなら自社の業務を理解するはずだ」と信じて。しかし実際には、数百件のサンプルでのファインチューニングは過学習しやすい——モデルは学習セットの問題には完璧に答え、見たことのない言い回しには崩れてしまう。二か月かけてファインチューニング用データを集めるより、まずRAGを動かし、実際の質問が流れてくるのを待ち、十分な証拠がそろってからファインチューニングを検討すべきだ。
私の推奨は三段階の道筋だ。第一段階:既存の文書でRAGを立ち上げ、三か月運用し、実際の質問と失敗事例を集める。第二段階:失敗事例がファインチューニングを追加すべきかを決める——失敗が口調や形式に集中しているならファインチューニングには価値がある。失敗が誤った知識に集中しているなら、まずナレッジベースを直す。第三段階:両方を組み合わせる——システムの話し方はファインチューニングで、話す内容はRAGで。
この選択に普遍的な答えはないが、普遍的なテストはある。六か月後、あなたのチームはシステムを使っているだろうか、それともシステムに仕えているだろうか。業務の変更のたびに技術チームがモデルと格闘して残業を強いられるなら、その選択はおそらく間違っていた。倉庫ナレッジベースは、業務に合わせて変わることでこそ価値を発揮するのであり、業務に自分への適応を求めるものではない。
Dr. Chen(サプライチェーン研究者)著
英語版からの翻訳。内容に相違がある場合は英語版を優先します。







