Réglage fin vs RAG : la réponse courte
Si votre base de connaissances d'entrepôt répond à des questions sur les SOP, les manuels de panne et les demandes des clients, la question du réglage fin contre RAG a une réponse claire : commencez par RAG. J'ai vu trois équipes brûler leur budget sur le réglage fin d'abord, puis reconstruire le même système en RAG six semaines plus tard. Le réglage fin a sa place, mais c'est une place plus étroite que ne le suggèrent les présentations commerciales, et c'est le mauvais premier pas pour la plupart des entrepôts.
Voilà la conclusion. Le reste de cet article, c'est le raisonnement, les chiffres et la liste de contrôle que j'utilise avant une nuit de mise en service.
Pourquoi RAG convient au travail de connaissance en entrepôt
Une base de connaissances d'entrepôt n'est pas un chatbot généraliste. Son travail est limité : trouver le bon paragraphe dans le bon document, le citer avec précision et ne rien dire quand le document ne couvre pas la question. RAG fait exactement cela. Il cherche d'abord dans vos documents, puis laisse le modèle répondre à partir de ce qu'il a trouvé. Quand la SOP change, vous mettez à jour le document, pas le modèle.
Le réglage fin fonctionne différemment. Il intègre la connaissance dans les poids du modèle. Cela semble élégant jusqu'à la première révision de SOP. Un de mes clients dans l'Ohio exploitait un 3PL avec quatre sites et une bibliothèque de SOP de 400 pages. Ils ont réglé un modèle sur les procédures de l'année dernière, puis ont changé leur routine de comptage cyclique en mars. Le modèle a continué à répondre avec l'ancienne routine pendant des semaines, avec confiance et politesse. Personne n'avait budgété le réentraînement, alors l'équipe a collé une note de correction sur l'écran. Ce n'est pas une base de connaissances. C'est un pense-bête très cher.
La deuxième raison, c'est la preuve. Avec RAG, chaque réponse peut porter sa source : nom du document, section et page. Un superviseur peut cliquer et vérifier. Avec un modèle réglé, la réponse arrive sans reçu. Dans un entrepôt, où une mauvaise valeur de couple ou une mauvaise étape hazmat a des conséquences réelles, une réponse sans source est un risque, pas une fonction.
Voici la comparaison que je présente aux clients. Les chiffres ci-dessous sont une illustration de scénario, construite à partir de devis typiques de petits projets que j'ai vus, pas une liste de prix de fournisseur. Vos chiffres seront différents, mais la forme de la facture ne le sera pas.
| Élément | RAG | Réglage fin |
|---|---|---|
| Effort de construction | 2-4 semaines : découper les documents, construire la recherche, tester la récupération | 4-8 semaines : préparer les paires d'entraînement, entraîner, évaluer, corriger les régressions |
| Données à préparer | Documents propres, titres clairs, contrôle des versions | 500-2,000 paires question-réponse de haute qualité, relues par des experts |
| Mettre à jour une SOP | Modifiez le document, réindexez, terminé en une heure | Collectez de nouveaux exemples, réentraînez, retestez, redéployez |
| Risque d'hallucination | Plus faible : le modèle répond à partir du texte récupéré | Plus élevé sur les faits hors des données d'entraînement ; le modèle a l'air sûr de lui quand même |
| Coût continu | Recherche et hébergement, à peu près stable | Cycles de réentraînement plus le même hébergement |
La ligne cachée, ce sont les données d'entraînement. Les bonnes paires de réglage fin ne se récupèrent pas dans un PDF. Quelqu'un qui connaît vraiment l'opération doit écrire la question, écrire la bonne réponse et vérifier les cas limites. Dans un projet, nous avions budgété 300 paires et il en a fallu 900 avant que le modèle cesse de confondre deux pannes de convoyeur similaires. Cela représente trois semaines du temps d'un ingénieur senior que personne n'avait mises dans le plan.
Réglage fin vs RAG : un cadre de décision en trois dimensions
Notez votre projet sur trois dimensions, de 1 à 5 chacune. Additionnez. Le total vous dit par où commencer.
1. À quelle fréquence la connaissance change-t-elle ? Des mises à jour quotidiennes ou hebdomadaires valent 5 pour RAG. Une connaissance stable qui bouge à peine en un an vaut 1.
2. Quelle est l'exigence de précision ? Si une mauvaise réponse peut endommager l'équipement, retarder une expédition ou enfreindre une règle de sécurité, notez 5 pour RAG, car il vous faut des sources traçables. Si le coût d'une erreur est une réponse légèrement embarrassante, notez plus bas.
3. De combien de données d'entraînement propres disposez-vous vraiment ? Moins de 300 paires vérifiées vaut 5 pour RAG. Plus de 1,000 paires vérifiées, écrites par des gens qui font le travail, vaut 1.
Un total de 10 ou plus signifie construire RAG d'abord. Un total de 6 ou moins signifie que le réglage fin mérite un examen sérieux. Entre 7 et 9, construisez RAG, puis ne réglez plus tard que pour l'écart précis que RAG ne peut pas combler, comme un style maison ou une tâche de classification. Je n'ai jamais vu un projet d'entrepôt descendre sous 7 au premier passage. C'est la partie contre-intuitive : les équipes les plus enthousiastes pour le réglage fin ont généralement les documents qui changent le plus vite et le moins de données d'entraînement, ce qui est exactement le profil où RAG gagne.
Un projet RAG qui a vraiment marché ressemblait à ceci. Un client 3PL au Texas, environ 120 employés sur deux sites, voulait que l'équipe du service client réponde aux questions d'inventaire sans appeler le sol de l'entrepôt à chaque fois. Nous avons construit RAG sur leurs SOP, leurs fiches de cut-off transporteur et une année de tickets résolus. La construction a pris trois semaines. L'ensemble de test était de 200 vraies questions tirées de la file de tickets.
Le résultat n'était pas magique. Le système a répondu correctement à 168 des 200 du premier coup, a dit « Je ne sais pas, voici la section pertinente » pour 24, et s'est trompé sur 8. L'équipe a corrigé les 8 en corrigeant les documents sources, pas en réentraînant quoi que ce soit. En un mois, les appels au sol ont chuté d'environ un tiers, selon le journal d'appels de l'équipe elle-même. L'important n'est pas le pourcentage. L'important, c'est que chaque correction était une modification de document, et que les personnes propriétaires des documents pouvaient faire la correction elles-mêmes.
L'échec de réglage fin que je cite encore est celui que j'ai vu trois fois, et la troisième fois a été la plus chère. Un fournisseur d'équipements a réglé un modèle sur ses manuels produit pour que les techniciens de terrain puissent poser des questions sur les réglages de couple et les intervalles d'entretien. Les données d'entraînement étaient bonnes. La démo était bonne. Puis une nouvelle variante de modèle est sortie avec une spécification de couple différente, et le manuel a été mis à jour, mais le modèle réglé n'a pas été réentraîné. Un technicien a suivi l'ancien chiffre, a trop serré un raccord et a fissuré un boîtier. Personne n'a été blessé, mais la réparation et l'arrêt ont coûté une semaine au client.
L'analyse post-mortem était brutale : la connaissance avait changé, le modèle non, et personne ne possédait l'étape de réentraînement. RAG n'aurait pas empêché toutes les erreurs, mais le technicien aurait vu la nouvelle page du manuel devant lui, avec le nouveau chiffre et une date dessus. C'est la différence entre un système qui vieillit gracieusement et un système qui pourrit en silence.
Liste de contrôle de mise en service : la liste de la veille
Utilisez-la avant d'allumer le système. Si une case n'est pas cochée, vous n'êtes pas prêt.
- 200 vraies questions testées, pas des questions de démo que vous avez écrites vous-même
- Chaque réponse renvoie à son document source et à sa section
- Une réponse « je ne sais pas » est définie, testée et acceptable pour les opérations
- Un responsable nommé pour chaque document source, avec une date de révision
- Un chemin de mise à jour testé de bout en bout : modifier le document, réindexer, vérifier la nouvelle réponse
- Un plan de secours quand le système est en panne : qui répond, et comment
- Une revue hebdomadaire des mauvaises réponses, avec des corrections assignées aux documents, pas au modèle
Il y a trois points de défaillance courants. Le premier, ce sont les documents sales. Des PDF scannés sans titres, cinq versions de la même SOP avec le même nom de fichier, un manuel de panne qui contredit le support de formation. RAG récupère ce que vous lui donnez. Donnez-lui un désordre et il citera le désordre, avec précision.
Le deuxième, c'est une récupération qui n'a jamais été testée. Les équipes testent la rédaction du modèle et oublient de tester la recherche. Si la recherche renvoie les trois mauvais paragraphes, la réponse sera fausse, aussi bon soit le modèle. Testez la récupération séparément, avec des questions qui ont des réponses qui se ressemblent.
Le troisième, c'est l'absence de responsable. Une base de connaissances sans propriétaire de document devient obsolète en un trimestre. Nommez le responsable avant la mise en service, pas après la première plainte.
Mon conseil est simple : construisez RAG, prouvez-le sur de vraies questions, et laissez le réglage fin gagner sa place en résolvant un écart que vous pouvez nommer en une phrase. Si vous ne pouvez pas nommer l'écart, vous n'avez pas encore besoin du réglage fin.
Par Lin Xiao, Consultant en implémentation WMS Traduit de l'anglais. En cas de divergence, la version anglaise fait foi.







