Eram 6:30 da manhã, e uma avaliação de POC de WMS estava prestes a começar em nosso armazém. O turno da noite ainda não tinha ido embora. O turno do dia já estava batendo o ponto. Um caminhão esperava no cais para descarregar, e o telefone do escritório não parava de tocar. O representante de vendas clicava rapidamente pela tela grande. Escanear uma caixa, e o pedido estava dentro. Liberar uma onda, e os picks estavam ordenados. O caminho de picking se desenhava sozinho na tela como um mapa. Os supervisores ao meu lado não paravam de assentir. Sinceramente, parecia bom. Mas um pensamento não parava de me incomodar. Este era o território deles, os dados deles, o roteiro deles. Claro que parecia bom. Uma demonstração que parece boa não prova nada. O que importa é o que acontece em nosso prédio, com nossa carga, em nossos turnos.

Já vi um fornecedor tirar nota máxima na demonstração e depois passar três meses apagando incêndios após o go-live, e outro parecer mediano na tela e funcionar sem problemas por anos. A diferença nunca foi a lista de funcionalidades. Foi o que realmente testamos. É assim que fazemos agora: definir os cenários, rodar volume real e escrever a aceitação no contrato.

A avaliação de POC de WMS começa com o seu pior dia, não com a melhor demonstração deles

Uma avaliação de POC de WMS não começa reservando um horário para demonstração. Começa escrevendo o nosso dia mais difícil. Para nós, é a semana antes da alta temporada. Mais de duzentos pedidos precisam sair antes das dez. As devoluções chegam à tarde. O turno da noite ainda precisa rodar uma contagem cíclica. Todos sabemos quais elos desse dia quebram primeiro: o recebimento de lotes mistos, um endereço cheio sem lugar para colocar o palete, um pick curto que precisa ser retido, um pedido urgente que força a onda a mudar no meio do caminho.

Então escrevemos os cenários de teste na ordem em que esse dia realmente acontece, do primeiro caminhão no cais até o último caminhão saindo e o fechamento do turno. Cada cenário indica três coisas: qual é a posição inicial, quem faz o trabalho e o que conta como aprovado. Tomemos o recebimento de lotes mistos: um caminhão traz três lotes, mas o sistema mostra apenas um. Como a diferença é registrada? Quem a confirma? A carga pode esperar em uma zona de retenção? Esse único cenário travou um fornecedor por completo. O sistema dele podia registrar a diferença, mas o ticket precisava que um supervisor o aprovasse em um computador de mesa enquanto o recebedor esperava no cais e o caminhão ficava bloqueado.

Mantenha a lista curta, de oito a doze cenários, cada um algo que realmente aconteceu aqui. Traga os veteranos. Eles lembram os detalhes que uma demonstração nunca mostra: qual endereço sua no inverno, qual cliente precisa de uma etiqueta separada, qual etiqueta de transportadora escaneia pior. O velho Zhang do turno da noite me disse uma vez: demonstrações só mostram dias bons, e um armazém vive ou morre em alguns poucos minutos ruins de um dia ruim.

Nunca deixe o fornecedor escrever os cenários de teste. Nove em cada dez vezes, um cenário escrito pelo fornecedor é feito sob medida para o próprio sistema dele, cada passo caindo em sua funcionalidade mais forte. Nós escrevemos as perguntas. O fornecedor as executa. Quem escreve a prova detém o poder.

A avaliação de POC de WMS roda com pedidos reais, e as contas são feitas ao vivo

Definidos os cenários, passamos volume real de pedidos por eles. É aqui que a maioria das provas de conceito desmorona: uma dúzia de linhas de dados de demonstração limpos voa, todos aplaudem, o contrato é assinado, e então chega o volume real e o sistema engatinha.

Nossa regra é simples: os pedidos, produtos e endereços vêm todos dos nossos próprios registros do mês passado. Escolha o maior dia e o dia mais bagunçado. O maior dia testa se o sistema aguenta a carga. O dia mais bagunçado testa se o tratamento de exceções acompanha. Passe nos dois, e você dorme tranquilo.

Aqui vai um exemplo ilustrativo, não nossos números reais. Digamos que um armazém envie 2,000 pedidos por dia, e o teste rode uma amostra de 500 pedidos. Os pickers foram em média meio minuto mais rápidos por pedido, cerca de quatro horas economizadas em toda a amostra. Mas fizemos três perguntas na hora: quantos pedidos sofreram uma exceção, quanto tempo a mais cada um levou, e se o tempo de resposta ficou mais lento no pico. Mais de um pedido em cada dez sofreu uma exceção, cada um levando quase quatro minutos extras. As exceções comeram mais tempo do que os pedidos normais economizaram. Economia líquida: menos de uma hora, não quatro.

O que testamos O número da demonstração O número do dia real
Velocidade de picking Tempo por pedido com dados de demonstração limpos Repetir com pedidos reais do dia de pico, exceções incluídas
Tratamento de exceções Caminho padrão na demonstração Lotes mistos, picks curtos e inserções urgentes, cada um uma vez
Resposta do sistema Velocidade com um banco de dados vazio Testar novamente com estoque cheio e concorrência máxima
Relatórios e fechamento Um relatório impresso no mesmo dia Fechamento do turno da noite e diferenças de contagem tratadas de ponta a ponta

As pessoas que executam o teste devem ser as pessoas que depois operarão o sistema, não os consultores do fornecedor nem o rapaz do escritório que se dá bem com computadores. Deixe os recebedores, pickers e conferentes colocarem as mãos nele. As mãos deles dizem a verdade. Em uma demonstração, um picker com oito anos de chão de fábrica testou três pedidos e disse que o texto era pequeno demais para ler de luvas. Essa única frase valeu mais que três horas de reuniões de revisão. As pessoas fazem parte do sistema. Se a interface luta contra elas, o sistema falha por melhor que seja o motor.

Aqui está a parte contraintuitiva: o fornecedor cuja demonstração roda mais suave nem sempre é o melhor fornecedor. Uma vez, uma demonstração rodou com zero erros, do início ao fim, e isso me deixou nervoso em vez de contente. Quando nosso armazém já teve um dia com zero erros? Investigamos e descobrimos que eles tinham desligado de antemão todos os ramos de exceção. A demonstração rodava por uma estrada que eles já tinham pavimentado. O sistema que vale a pena comprar mantém a calma quando as coisas dão errado: um pedido errado pode ser revertido, um endereço cheio ganha um novo lar, uma queda de rede permite que o chão continue trabalhando offline. Uma demonstração impecável geralmente significa que o teste era fácil demais, não que o sistema seja forte.

A avaliação de POC de WMS termina no contrato, ou não aconteceu

O teste terminou e os números estão na mesa. Agora o padrão de aceitação vai para o contrato, o passo mais ignorado porque todos estão cansados de demonstrações e querem decidir. Mas ouça: o que não estiver no contrato, o fornecedor não assumirá. Um «sem problema» verbal vira «isso precisa de desenvolvimento sob medida» no dia do go-live.

Nossa lista de aceitação já está fixada. Cinco itens, cada um com um número, um responsável e uma data de reteste. Velocidade de picking: no volume real do dia de pico, quanto mais rápido por pedido que o sistema antigo, e qual taxa de exceções conta como aprovado. Precisão de inventário: qual taxa de diferenças de contagem aceitamos, e qual método de contagem a comprova. Tratamento de exceções: para lotes mistos, picks curtos e pedidos urgentes, em quantos passos o sistema deve resolvê-los, sem desvio para registros em papel. Estabilidade do sistema: o teto de tempo de resposta em concorrência máxima, e os passos de recuperação após um corte de rede ou de energia. Treinamento e passagem: tempo real de treinamento prático para cada turno, mais permissões e registros que combinem com a forma como nossos veteranos treinam os novatos.

O contrato também estabelece as regras de reteste: quanto tempo o fornecedor tem para corrigir um primeiro teste com falha, e que rodamos novamente os mesmos cenários após a correção, sem trocá-los por outros mais fáceis. Duas rodadas com falha, e podemos nos retirar, com os termos do depósito por escrito. Diga as coisas difíceis logo de início. Aprendemos isso da forma cara. Um ano, nosso contrato dizia que o sistema «atenderia às expectativas após o go-live». Ninguém conseguia dizer quais eram essas expectativas. Seguiram-se dois meses de discussões, o dinheiro pago, todos exaustos. Desde então, nossos contratos não trazem nenhuma frase como «atender às expectativas». Apenas números e códigos de cenário.

Antes de assinar, mais um item: o fornecedor deixa os cenários e os dados que executou, anexados ao contrato. Quando algo dá errado após o go-live, conferimos. Nunca foi testado, ou algo mudou após o teste? Esse mesmo anexo serve também como material de treinamento para novos contratados.

Escolher um WMS não pode ser apressado. Uma bela hora em uma sala de demonstrações não vale nada diante de 365 dias de operação real. Uma avaliação de POC de WMS deixa de lado a conversa bonita e testa o sistema contra o nosso dia mais difícil, nossos pedidos reais e contas feitas ao vivo na sala. Passe nesse teste, e sua mão fica firme ao assinar. Reprove, e trocar de fornecedor agora é melhor do que apagar incêndios todos os dias após o go-live. Quando o próximo fornecedor entrar, entregue-lhe a lista de cenários antes que ele abra o laptop.

Por Chen Feng, Gerente de Operações de Armazém Traduzido do inglês. Em caso de divergência, prevalece a versão em inglês.