Meu veredito logo de cara: se você quer que sua equipe de armazém e de atendimento ao cliente faça perguntas a uma IA sobre sua pilha de SOPs, manuais de equipamentos e registros de exceções, construa uma base de conhecimento RAG em nove de cada dez casos. Não faça fine-tuning de um modelo. Fine-tuning significa alimentar e manter um modelo. RAG significa entregar ao modelo um manual vivo que ele pode folhear a qualquer momento. Os documentos de armazém mudam o tempo todo — quando um ciclo de fine-tuning termina, uma configuração RAG já absorveu dezenas de atualizações.
Um cliente 3PL me procurou no ano passado. Ele opera uma instalação de 120,000 pés quadrados a leste de Los Angeles, com mais de vinte mil posições de palete, e os SOPs espalhados por drives compartilhados, anexos de e-mail e a cabeça de alguns supervisores veteranos. Os recém-contratados terminavam duas semanas de treinamento e ainda assim não trabalhavam um turno sem supervisão. As exceções do turno da noite significavam tirar o supervisor da cama. O pedido do dono era simples: «Nossa gente pode simplesmente perguntar à IA em vez de ligar para alguém?» Dois fornecedores propuseram duas abordagens — fazer fine-tuning de um modelo privado, ou construir uma base de conhecimento RAG — com preços várias vezes diferentes. O cliente me perguntou qual escolher. Eu devolvi três perguntas: com que frequência seus SOPs mudam? Vocês estão dispostos a transformar seus registros de exceções em texto de verdade? E quem mantém esse modelo no longo prazo? Depois da terceira pergunta, ele já tinha a resposta.
O que o fine-tuning realmente ajusta?
Vamos esclarecer primeiro o maior equívoco: fine-tuning não é «jogar documentos no modelo para ele decorar». O que o fine-tuning realmente muda é o comportamento do modelo — o tom, a estrutura das respostas, como ele enquadra uma resposta com a voz da sua empresa. Mas a memória de fatos específicos continua nebulosa. Mude hoje seu horário limite de pedido, e o modelo que você ajustou ontem pode citar o antigo amanhã, com total confiança. A indústria chama isso de alucinação, e o fine-tuning não a cura. Pior: o rótulo de «este é nosso próprio modelo com fine-tuning» faz as pessoas confiarem mais nele, então os erros pesam mais.
Depois vem o problema do tamanho da amostra, que atinge o armazenamento com força especial. Quantos pares de perguntas e respostas de alta qualidade você realmente tem? Algumas centenas de documentos SOP não sustentam um ciclo sério de fine-tuning. Force com dados escassos e você terá um modelo que responde pior que um de uso geral. E a esteira nunca para: abrir uma nova instalação, instalar uma nova linha de separação, fechar com um cliente com requisitos especiais de etiquetagem — e você volta a preparar dados, retreinar e revalidar. Dezenas de milhares de dólares por ciclo compram um modelo que «fala como a sua empresa», mas que ainda improvisa quando perguntado sobre termos específicos.
E esta é a conta que quase ninguém menciona: o fine-tuning prende você a um fornecedor de modelos. Os modelos base mudam a cada poucos meses, e a sua versão ajustada não acompanha de graça. A maioria das equipes de TI de armazém já é enxuta. Adicionar «manutenção do modelo» como item permanente é mais do que a maioria das operações consegue carregar.
E, na prática, preparar dados de fine-tuning é um projeto por si só. Pares de perguntas e respostas não são SOPs copiados e colados — alguém tem que escrever como os funcionários realmente perguntam, qual é a resposta correta e quais formulações estão erradas. Para um 3PL de médio porte, reunir amostras suficientes de qualidade pode consumir meses do tempo da sua melhor gente de operações. Dedique esses meses a limpar uma base de conhecimento e o RAG rende de imediato. Dedique-os a preparar dados de fine-tuning e você pode — pode — ver um resultado incerto meses depois. Os donos deveriam fazer essa conta de tempo antes de assinar qualquer coisa.
Como o RAG realmente funciona?
A ideia por trás do RAG é quase constrangedoramente simples, e combina maravilhosamente bem com armazéns. Quando alguém faz uma pergunta, o sistema primeiro recupera os trechos mais relevantes da sua base de conhecimento, e depois os entrega ao modelo junto com a pergunta — para que o modelo responda «a partir do material que tem na frente». Quando o material muda, você atualiza a base de conhecimento. O modelo em si não se move. SOP revisado hoje, os funcionários recebem a nova versão amanhã. Essa propriedade de «o modelo fica parado, o material fica fresco» combina exatamente com o comportamento da documentação de armazém na vida real.
Há uma bela ironia aqui: a etapa de recuperação não é mais que classificação e indexação — o mesmo ofício que o pessoal de armazém pratica todo dia. SOPs arquivados por processo, manuais de equipamentos por modelo de máquina, registros de exceções por código de motivo, requisitos específicos de clientes por número de cliente. Quem já passou por uma seleção de WMS conhece a regra: a qualidade da recuperação é setenta por cento boa indexação, trinta por cento modelo. Aquele cliente 3PL depois mediu seu mix de tickets e descobriu que o atendimento ao cliente respondia repetidamente as mesmas poucas dezenas de perguntas: horários limite, endereços de devolução, as regras especiais de etiquetagem de um grande cliente. O RAG resolve essas rápido e com precisão, porque as respostas já vivem nos documentos. O modelo não precisa «lembrar» de nada.
O RAG tem seus próprios dores de cabeça, e elas são bem reais. Primeiro: lixo dentro, lixo fora se aplica ao RAG mais do que em qualquer lugar. Muitos SOPs de armazém são «apenas para referência», enquanto o procedimento real vive na cabeça dos veteranos. Se você não limpar isso primeiro, o RAG é decoração. Vi o contraexemplo perto de Dallas, numa instalação de e-commerce de 80,000 pés quadrados com três versões conflitantes do procedimento de devoluções em três pastas diferentes. Na primeira semana do RAG, alguém perguntou como as devoluções eram tratadas, o sistema recuperou as três versões, e o modelo resumiu fielmente a contradição — uma resposta mais confusa que qualquer documento isolado. Eles passaram duas semanas fundindo tudo numa única fonte da verdade, e o problema sumiu. A lição é concreta: antes de lançar o RAG, pergunte-se quantas respostas seus documentos dão à mesma pergunta. Se for mais de uma, funda os documentos antes de falar de IA.
Segunda dor de cabeça: controle de acesso. As tarifas e os requisitos de manuseio do Cliente A jamais devem ser recuperáveis pela equipe que atende o Cliente B. O design de permissões pertence ao dia um da base de conhecimento, não a uma reforma posterior. Terceiro: não espere que o RAG pense por você. «As devoluções estão altas este mês — qual é a causa raiz?» Esse tipo de raciocínio cruzado entre documentos está além da recuperação. O RAG encontra o material. As conclusões, as pessoas continuam tirando.
Então, quando o fine-tuning vale a pena?
Não estou dizendo que o fine-tuning é inútil — ele só vem mais tarde na sequência. Depois que o RAG está rodando e as respostas estão certas, mas o tempero não combina — os roteiros de suporte precisam de uma única voz consistente, os relatórios de exceções precisam de um formato fixo, os sites multilíngues precisam dos mesmos pontos de conversa — é aí que um leve fine-tuning sobre um conjunto pequeno e de alta qualidade conquista seu lugar. Ele aprimora o RAG; não o substitui. Erre a ordem e você estará polindo o tom antes de ter a precisão.
O outro caso legítimo são ambientes de conformidade extrema ou offline: os dados não podem sair do prédio, a recuperação e o modelo rodam ambos no local. Projetos assim exigem orçamentos e equipes que a maioria dos armazéns não tem, então vivem em outra conversa. Para quase todos os armazéns e 3PLs, o RAG é o ponto de partida — e a linha de chegada por um bom tempo. E aqui está o ponto-chave: depois que sua base de conhecimento RAG acumula milhares de pares de perguntas e respostas verificados por humanos, você finalmente possui a única coisa que o fine-tuning realmente precisa — dados de qualidade. Então, e só então, a conversa do fine-tuning fica interessante.
Mais uma coisa. Da próxima vez que um fornecedor te oferecer «fazer fine-tuning do seu próprio LLM», faça três perguntas: quem prepara os dados de treinamento, com que frequência o modelo é retreinado, e o que acontece quando os SOPs mudam. Se ele não souber responder as três, está vendendo licenças, não resolvendo problemas.
A única coisa que você pode fazer amanhã: não lance um projeto ainda. Pegue as 50 perguntas que seu pessoal de chão e seus agentes de atendimento mais recebem, limpe os trechos SOP correspondentes em texto simples, e rode um piloto RAG mínimo por duas semanas. Julgue-o em apenas duas métricas: as respostas estão certas, e as pessoas realmente usam. O piloto custa quase nada, mas responde a pergunta que mais importa: sua base de conhecimento realmente tem algo que vale a pena perguntar.
Traduzido do inglês. Em caso de divergência, prevalece a versão em inglês.
