Ajuste fino vs RAG: la respuesta corta
Si su base de conocimiento de almacén responde preguntas sobre SOP, manuales de averías y consultas de clientes, la pregunta entre ajuste fino y RAG tiene una respuesta clara: empiece con RAG. He visto a tres equipos quemar su presupuesto en el ajuste fino primero, para luego reconstruir el mismo sistema como RAG seis semanas después. El ajuste fino tiene su lugar, pero es un lugar más estrecho de lo que sugieren las presentaciones comerciales, y es el primer paso equivocado para la mayoría de los almacenes.
Esa es la conclusión. El resto de este artículo es el razonamiento, los números y la lista de verificación que uso antes de una noche de puesta en marcha.
Por qué RAG encaja en el trabajo de conocimiento de almacén
Una base de conocimiento de almacén no es un chatbot general. Su trabajo es limitado: encontrar el párrafo correcto en el documento correcto, citarlo con precisión y no decir nada cuando el documento no cubre la pregunta. RAG hace exactamente eso. Primero busca en sus documentos y luego deja que el modelo responda a partir de lo que encontró. Cuando cambia el SOP, usted actualiza el documento, no el modelo.
El ajuste fino funciona de otra manera. Incrusta el conocimiento en los pesos del modelo. Eso suena elegante hasta que llega la primera revisión del SOP. Un cliente mío en Ohio gestionaba un 3PL con cuatro sedes y una biblioteca de SOP de 400 páginas. Ajustaron un modelo con los procedimientos del año pasado y luego cambiaron su rutina de conteo cíclico en marzo. El modelo siguió respondiendo con la rutina antigua durante semanas, con confianza y cortesía. Nadie había presupuestado el reentrenamiento, así que el equipo pegó una nota de corrección en el monitor. Eso no es una base de conocimiento. Eso es una nota adhesiva muy cara.
La segunda razón es la evidencia. Con RAG, cada respuesta puede llevar su fuente: nombre del documento, sección y página. Un supervisor puede hacer clic y comprobar. Con un modelo ajustado, la respuesta llega sin recibo. En un almacén, donde un valor de par incorrecto o un paso de hazmat equivocado tiene consecuencias reales, una respuesta sin fuente es una responsabilidad, no una función.
Aquí está la comparación con la que guío a los clientes. Las cifras siguientes son una ilustración de escenario, elaborada a partir de presupuestos típicos de proyectos pequeños que he visto, no una lista de precios de un proveedor. Sus números serán diferentes, pero la forma de la factura no lo será.
| Elemento | RAG | Ajuste fino |
|---|---|---|
| Esfuerzo de construcción | 2-4 semanas: fragmentar documentos, construir la búsqueda, probar la recuperación | 4-8 semanas: curar pares de entrenamiento, entrenar, evaluar, corregir regresiones |
| Datos que debe preparar | Documentos limpios, encabezados claros, control de versiones | 500-2,000 pares de preguntas y respuestas de alta calidad, revisados por expertos |
| Actualizar un SOP | Edite el documento, reindexe, listo en una hora | Recoja nuevos ejemplos, reentrene, vuelva a probar, redespliegue |
| Riesgo de alucinación | Menor: el modelo responde a partir del texto recuperado | Mayor en hechos fuera de los datos de entrenamiento; el modelo suena seguro de todos modos |
| Costo continuo | Búsqueda y alojamiento, más o menos estable | Ciclos de reentrenamiento más el mismo alojamiento |
La línea oculta son los datos de entrenamiento. Los buenos pares de ajuste fino no se extraen de un PDF. Alguien que realmente conoce la operación tiene que escribir la pregunta, escribir la respuesta correcta y comprobar los casos límite. En un proyecto, presupuestamos 300 pares y necesitamos 900 antes de que el modelo dejara de confundir dos averías similares de transportador. Eso son tres semanas del tiempo de un ingeniero sénior que nadie había puesto en el plan.
Ajuste fino vs RAG: un marco de decisión en tres dimensiones
Puntúe su proyecto en tres dimensiones, de 1 a 5 cada una. Súmelas. El total le dice por dónde empezar.
1. ¿Con qué frecuencia cambia el conocimiento? Las actualizaciones diarias o semanales puntúan 5 para RAG. El conocimiento estable que apenas se mueve en un año puntúa 1.
2. ¿Qué tan estricto es el requisito de precisión? Si una respuesta incorrecta puede dañar el equipo, retrasar un envío o incumplir una norma de seguridad, puntúe 5 para RAG, porque necesita fuentes rastreables. Si el costo de un error es una respuesta ligeramente incómoda, puntúe más bajo.
3. ¿Cuántos datos de entrenamiento limpios tiene realmente? Menos de 300 pares verificados puntúa 5 para RAG. Más de 1,000 pares verificados, escritos por personas que hacen el trabajo, puntúa 1.
Un total de 10 o más significa construir RAG primero. Un total de 6 o menos significa que el ajuste fino merece una mirada seria. Entre 7 y 9, construya RAG y luego ajuste más tarde solo para la brecha específica que RAG no puede cerrar, como un estilo propio o una tarea de clasificación. Nunca he visto un proyecto de almacén puntuar por debajo de 7 en el primer intento. Esa es la parte contraintuitiva: los equipos más entusiasmados con el ajuste fino suelen tener los documentos que cambian más rápido y los menos datos de entrenamiento, que es exactamente el perfil en el que RAG gana.
Un proyecto de RAG que realmente funcionó se veía así. Un cliente 3PL en Texas, con unos 120 empleados en dos sedes, quería que el equipo de atención al cliente respondiera preguntas de inventario sin llamar al piso del almacén cada vez. Construimos RAG sobre sus SOP, sus hojas de corte de transportista y un año de tickets resueltos. La construcción tomó tres semanas. El conjunto de pruebas fue de 200 preguntas reales de la cola de tickets.
El resultado no fue magia. El sistema respondió 168 de las 200 correctamente al primer intento, dijo "No lo sé, aquí está la sección relevante" en 24, y se equivocó en 8. El equipo corrigió las 8 corrigiendo los documentos fuente, no reentrenando nada. En un mes, las llamadas al piso se redujeron aproximadamente en un tercio, según el propio registro de llamadas del equipo. Lo importante no es el porcentaje. Lo importante es que cada corrección fue una edición de documento, y las personas dueñas de los documentos podían hacer la corrección ellas mismas.
El fracaso de ajuste fino que sigo citando es el que he visto tres veces, y la tercera vez fue la más cara. Un proveedor de equipos ajustó un modelo con sus manuales de producto para que los técnicos de campo pudieran preguntar sobre ajustes de par e intervalos de servicio. Los datos de entrenamiento eran buenos. La demostración era buena. Luego salió una nueva variante de modelo con una especificación de par diferente, y el manual se actualizó, pero el modelo ajustado no se reentrenó. Un técnico siguió el número antiguo, apretó demasiado un accesorio y agrietó una carcasa. Nadie resultó herido, pero la reparación y el tiempo de inactividad le costaron al cliente una semana.
La autopsia fue contundente: el conocimiento había cambiado, el modelo no, y nadie era dueño del paso de reentrenamiento. RAG no habría evitado todos los errores, pero el técnico habría visto la nueva página del manual frente a él, con el nuevo número y una fecha. Esa es la diferencia entre un sistema que envejece con gracia y uno que se pudre en silencio.
Lista de verificación para la puesta en marcha: la lista de la noche anterior
Úsela antes de encender el sistema. Si alguna casilla no está marcada, no está listo.
- 200 preguntas reales probadas, no preguntas de demostración que escribió usted mismo
- Cada respuesta enlaza con su documento fuente y su sección
- Una respuesta de "no sé" está definida, probada y es aceptable para operaciones
- Un responsable nombrado para cada documento fuente, con una fecha de revisión
- Una ruta de actualización probada de principio a fin: editar documento, reindexar, verificar la nueva respuesta
- Un plan alternativo cuando el sistema está caído: quién responde, y cómo
- Una revisión semanal de las respuestas incorrectas, con correcciones asignadas a los documentos, no al modelo
Hay tres puntos de fallo comunes. El primero son los documentos sucios. PDF escaneados sin encabezados, cinco versiones del mismo SOP con el mismo nombre de archivo, un manual de averías que contradice la presentación de formación. RAG recupera lo que usted le da. Déle un desastre y citará el desastre, con precisión.
El segundo es una recuperación que nunca se probó. Los equipos prueban la redacción del modelo y se olvidan de probar la búsqueda. Si la búsqueda devuelve los tres párrafos equivocados, la respuesta será incorrecta por bueno que sea el modelo. Pruebe la recuperación por separado, con preguntas que tengan respuestas parecidas.
El tercero es que no hay responsable. Una base de conocimiento sin un dueño de documento se vuelve obsoleta en un trimestre. Asigne el responsable antes de la puesta en marcha, no después de la primera queja.
Mi consejo es simple: construya RAG, pruébelo con preguntas reales, y deje que el ajuste fino se gane su lugar resolviendo una brecha que pueda nombrar en una frase. Si no puede nombrar la brecha, aún no necesita el ajuste fino.
Por Lin Xiao, Consultor de Implementación de WMS Traducido del inglés. En caso de discrepancia, prevalece la versión en inglés.







