Ajuste fino vs RAG: a resposta curta
Se a sua base de conhecimento de armazém responde a perguntas sobre SOP, manuais de avarias e consultas de clientes, a questão entre ajuste fino e RAG tem uma resposta clara: comece com RAG. Já vi três equipas queimarem o orçamento no ajuste fino primeiro, para depois reconstruírem o mesmo sistema como RAG seis semanas depois. O ajuste fino tem o seu lugar, mas é um lugar mais estreito do que sugerem as apresentações comerciais, e é o primeiro passo errado para a maioria dos armazéns.
Essa é a conclusão. O resto deste artigo é o raciocínio, os números e a lista de verificação que uso antes de uma noite de entrada em produção.
Por que RAG se encaixa no trabalho de conhecimento de armazém
Uma base de conhecimento de armazém não é um chatbot geral. O seu trabalho é limitado: encontrar o parágrafo certo no documento certo, citá-lo com precisão e não dizer nada quando o documento não cobre a pergunta. RAG faz exatamente isso. Primeiro pesquisa nos seus documentos e depois deixa o modelo responder a partir do que encontrou. Quando o SOP muda, você atualiza o documento, não o modelo.
O ajuste fino funciona de outra forma. Ele grava o conhecimento nos pesos do modelo. Isso soa elegante até chegar a primeira revisão do SOP. Um cliente meu em Ohio geria um 3PL com quatro unidades e uma biblioteca de SOP de 400 páginas. Ajustaram um modelo com os procedimentos do ano passado e depois mudaram a sua rotina de contagem cíclica em março. O modelo continuou a responder com a rotina antiga durante semanas, com confiança e cortesia. Ninguém tinha orçamentado o retreinamento, por isso a equipa colou uma nota de correção no monitor. Isso não é uma base de conhecimento. Isso é um post-it muito caro.
A segunda razão é a evidência. Com RAG, cada resposta pode trazer a sua fonte: nome do documento, secção e página. Um supervisor pode clicar e verificar. Com um modelo ajustado, a resposta chega sem recibo. Num armazém, onde um valor de torque errado ou um passo de hazmat errado tem consequências reais, uma resposta sem fonte é um risco, não uma funcionalidade.
Aqui está a comparação com que oriento os clientes. Os números abaixo são uma ilustração de cenário, construída a partir de orçamentos típicos de projetos pequenos que já vi, não uma tabela de preços de um fornecedor. Os seus números serão diferentes, mas o formato da fatura não será.
| Item | RAG | Ajuste fino |
|---|---|---|
| Esforço de construção | 2-4 semanas: dividir documentos, construir a pesquisa, testar a recuperação | 4-8 semanas: preparar pares de treinamento, treinar, avaliar, corrigir regressões |
| Dados que deve preparar | Documentos limpos, títulos claros, controle de versões | 500-2,000 pares de perguntas e respostas de alta qualidade, revistos por especialistas |
| Atualizar um SOP | Edite o documento, reindexe, pronto numa hora | Recolha novos exemplos, retreine, volte a testar, reimplante |
| Risco de alucinação | Menor: o modelo responde a partir do texto recuperado | Maior em fatos fora dos dados de treinamento; o modelo soa seguro na mesma |
| Custo contínuo | Pesquisa e hospedagem, mais ou menos estável | Ciclos de retreinamento mais a mesma hospedagem |
A linha escondida são os dados de treinamento. Bons pares de ajuste fino não se recolhem de um PDF. Alguém que realmente conhece a operação tem de escrever a pergunta, escrever a resposta correta e verificar os casos-limite. Num projeto, orçamentamos 300 pares e precisamos de 900 antes de o modelo deixar de confundir duas avarias semelhantes de transportador. Isso são três semanas do tempo de um engenheiro sénior que ninguém tinha posto no plano.
Ajuste fino vs RAG: um quadro de decisão em três dimensões
Pontue o seu projeto em três dimensões, de 1 a 5 cada uma. Some. O total diz-lhe por onde começar.
1. Com que frequência o conhecimento muda? Atualizações diárias ou semanais valem 5 para RAG. Conhecimento estável que mal se move num ano vale 1.
2. Quão rigoroso é o requisito de precisão? Se uma resposta errada pode danificar o equipamento, atrasar um envio ou violar uma regra de segurança, pontue 5 para RAG, porque precisa de fontes rastreáveis. Se o custo de um erro é uma resposta ligeiramente constrangedora, pontue mais baixo.
3. Quantos dados de treinamento limpos tem realmente? Menos de 300 pares verificados vale 5 para RAG. Mais de 1,000 pares verificados, escritos por pessoas que fazem o trabalho, vale 1.
Um total de 10 ou mais significa construir RAG primeiro. Um total de 6 ou menos significa que o ajuste fino merece uma análise séria. Entre 7 e 9, construa RAG e depois só ajuste mais tarde para a lacuna específica que RAG não consegue fechar, como um estilo próprio ou uma tarefa de classificação. Nunca vi um projeto de armazém pontuar abaixo de 7 na primeira passagem. Essa é a parte contraintuitiva: as equipas mais entusiasmadas com o ajuste fino costumam ter os documentos que mudam mais depressa e os menos dados de treinamento, que é exatamente o perfil em que RAG ganha.
Um projeto RAG que realmente funcionou era assim. Um cliente 3PL no Texas, com cerca de 120 funcionários em duas unidades, queria que a equipa de atendimento ao cliente respondesse a perguntas de inventário sem ligar para o piso do armazém de cada vez. Construímos RAG sobre os seus SOP, as suas folhas de cut-off de transportadora e um ano de tickets resolvidos. A construção levou três semanas. O conjunto de testes foi de 200 perguntas reais da fila de tickets.
O resultado não foi magia. O sistema respondeu a 168 das 200 corretamente à primeira tentativa, disse "Não sei, aqui está a secção relevante" em 24, e errou 8. A equipa corrigiu as 8 corrigindo os documentos de origem, não retreinando nada. Num mês, as chamadas para o piso caíram cerca de um terço, segundo o próprio registro de chamadas da equipa. O importante não é a percentagem. O importante é que cada correção foi uma edição de documento, e as pessoas donas dos documentos podiam fazer a correção elas próprias.
O fracasso de ajuste fino que continuo a citar é o que já vi três vezes, e a terceira vez foi a mais cara. Um fornecedor de equipamentos ajustou um modelo com os seus manuais de produto para que os técnicos de campo pudessem perguntar sobre ajustes de torque e intervalos de serviço. Os dados de treinamento eram bons. A demonstração era boa. Depois saiu uma nova variante de modelo com uma especificação de torque diferente, e o manual foi atualizado, mas o modelo ajustado não foi retreinado. Um técnico seguiu o número antigo, apertou demais um acessório e rachou uma carcaça. Ninguém se feriu, mas a reparação e o tempo parado custaram ao cliente uma semana.
A autópsia foi direta: o conhecimento tinha mudado, o modelo não, e ninguém era dono do passo de retreinamento. RAG não teria evitado todos os erros, mas o técnico teria visto a nova página do manual à sua frente, com o novo número e uma data. Essa é a diferença entre um sistema que envelhece com graça e um que apodrece em silêncio.
Lista de verificação de entrada em produção: a lista da noite anterior
Use-a antes de ligar o sistema. Se alguma caixa não estiver marcada, não está pronto.
- 200 perguntas reais testadas, não perguntas de demonstração que escreveu você mesmo
- Cada resposta liga ao seu documento de origem e à sua secção
- Uma resposta de "não sei" está definida, testada e é aceitável para as operações
- Um responsável nomeado para cada documento de origem, com uma data de revisão
- Um caminho de atualização testado de ponta a ponta: editar documento, reindexar, verificar a nova resposta
- Um plano alternativo quando o sistema está em baixo: quem responde, e como
- Uma revisão semanal das respostas erradas, com correções atribuídas aos documentos, não ao modelo
Há três pontos de falha comuns. O primeiro são os documentos sujos. PDF digitalizados sem títulos, cinco versões do mesmo SOP com o mesmo nome de ficheiro, um manual de avarias que contradiz a apresentação de formação. RAG recupera o que você lhe dá. Dê-lhe uma bagunça e ele citará a bagunça, com precisão.
O segundo é uma recuperação que nunca foi testada. As equipas testam a redação do modelo e esquecem-se de testar a pesquisa. Se a pesquisa devolve os três parágrafos errados, a resposta estará errada por melhor que seja o modelo. Teste a recuperação em separado, com perguntas que tenham respostas parecidas.
O terceiro é não haver responsável. Uma base de conhecimento sem um dono de documento fica obsoleta num trimestre. Atribua o responsável antes da entrada em produção, não depois da primeira queixa.
O meu conselho é simples: construa RAG, prove-o com perguntas reais, e deixe o ajuste fino ganhar o seu lugar resolvendo uma lacuna que consiga nomear numa frase. Se não consegue nomear a lacuna, ainda não precisa do ajuste fino.
Por Lin Xiao, Consultor de Implementação de WMS Traduzido do inglês. Em caso de divergência, prevalece a versão em inglês.







