Nosso pequeno armazém não pode se dar ao luxo de queimar dinheiro assim, então, quando se trata de métricas de aceitação de POC de IA, eu confiro tudo duas vezes.

Esta é a nossa situação: um armazém de 3,000 metros quadrados, 12 pessoas, mais de 800 pedidos por dia. No início de 2025, um fornecedor veio oferecer inspeção visual de qualidade: «99.5% de precisão, retorno em três meses». O vídeo da demonstração era lindo: caixas deslizando pela esteira, retângulos verdes surgindo na tela um após o outro. Quase assinei na hora. Então fiz uma pergunta: as mercadorias da demonstração foram escolhidas por vocês? O vendedor sorriu e mudou de assunto. Naquele momento, soube que esse dinheiro não podia ser gasto numa demonstração.

As métricas de aceitação de POC de IA não tratam de quão boa parece a demonstração. Tratam de como o sistema se sai num armazém de verdade. A sala de demonstração tem luzes fortes, caixas arrumadas e Wi-Fi com sinal cheio. Um armazém de verdade tem metade das luzes piscando, caixas tortas e zonas sem Wi-Fi por toda parte. Uma precisão de 99% na demonstração pode cair facilmente para 85% na operação real — e com 85%, o sistema é pior do que os olhos do Lao Zhang.

A demonstração parece ótima; o armazém de verdade é o verdadeiro teste de aceitação de POC de IA

Esta é a primeira história (cenário ilustrativo). Em março de 2025, testamos um fornecedor de inspeção visual. Na demonstração, ele usava caixas padrão com etiquetas impressas nítidas e prometia 99% de precisão. No nosso armazém, as etiquetas estavam meio cobertas de fita, as caixas amassadas e os códigos de barras empoeirados. A precisão da primeira semana ficou em 87% (exemplo ilustrativo). Uma taxa de erro de 13% significa que 13 em cada 100 pedidos precisam de rechecagem manual — mais trabalho manual do que a nossa antiga inspeção totalmente manual. Essa IA, na prática, foi comprada para nada.

A diferença entre demonstração e realidade se resume a três coisas. Primeiro, as amostras: as demonstrações usam os «bons alunos», enquanto os armazéns de verdade estão cheios de casos extremos — danos, manchas, reflexos, rugas, de tudo. Segundo, a velocidade: uma demonstração que escaneia 20 itens por minuto desacelera rápido quando a esteira acelera e as caixas se aglomeram. Terceiro, a resistência: uma demonstração dura 20 minutos, mas um armazém de verdade funciona 10 horas, e o superaquecimento, as lentidões e as quedas de conexão da sexta hora nunca aparecem numa demonstração.

Então o meu método prático é este: antes da aceitação, fazer o fornecedor rodar duas semanas com o nosso volume real de pedidos, usando as nossas mercadorias mais difíceis. Não usem o conjunto de testes deles — usem as nossas piores caixas. Os números dessa prova são os únicos que pertencem a um contrato.

Cinco métricas de aceitação de POC de IA para colocar no contrato

Primeiro, o ponto contraintuitivo: uma IA com 99% de precisão ainda pode fazer você perder dinheiro. Se ela protege a precisão empurrando cada caso duvidoso para um humano e a taxa de intervenção manual chega a 40%, você pagou pela IA e manteve o trabalho manual. A aceitação não pode se apoiar num único número. As cinco métricas precisam ser aprovadas juntas.

Métrica Como medir (verificado por teste ao vivo) Limite de reprovação
Precisão / taxa de erro Contar falsos positivos e falsos negativos separadamente em pedidos reais Falsos positivos acima de 2%, ou defeitos não detectados acima de 0.5%
Velocidade e capacidade Capacidade real ao longo de 4 horas contínuas, sem contar o tempo de preparação Abaixo de 90% da velocidade prometida
Estabilidade e tempo de atividade 8 horas de funcionamento contínuo sem falha nem reinício Mais de 1 falha em 8 horas
Taxa de intervenção manual Proporção de pedidos que precisam de revisão ou intervenção humana Acima de 5%
Retorno real do investimento Mão de obra economizada menos os novos custos, calculado a partir dos dados do teste ao vivo Retorno superior a 18 meses

A precisão precisa ser dividida em falsos positivos e falsos negativos. Um falso positivo marca mercadorias boas como ruins e desperdiça mão de obra; um defeito não detectado deixa passar mercadorias ruins e custa clientes e pedidos de indenização. Os dois números vão para o contrato. Qualquer fornecedor que informe um único número de «precisão» está jogando.

A velocidade precisa ser medida ao longo de quatro horas contínuas com volume real. Uma arrancada de dez minutos numa demonstração não conta — o que importa é manter a velocidade durante um pico de quatro horas. A estabilidade é ainda mais concreta: oito horas seguidas, e mais de uma falha significa reprovação. A IA é um equipamento, e equipamento se testa como equipamento.

A taxa de intervenção manual é o número que mais me importa. Num pequeno armazém, 5% e 15% são dois negócios diferentes. Com 5%, uma pessoa confere em meio período; com 15%, você precisa de uma pessoa dedicada a vigiar o sistema, e a mão de obra economizada volta direto. O ROI funciona da mesma forma: mão de obra economizada, menos eletricidade, manutenção, consumíveis e o salário do revisor de que você ainda precisa. A economia líquida dividida pelo investimento é o verdadeiro prazo de retorno. Os fornecedores costumam contar só a economia e ignorar os custos — então refaça as contas você mesmo.

Os jogos de números dos fornecedores — e as armadilhas em que já caí

Esta é a segunda história (cenário ilustrativo). Em maio de 2025, outro fornecedor ofereceu previsão de demanda. A demonstração mostrava 92% de precisão de previsão, o que parecia ótimo. Perguntando mais, esse 92% cobria apenas os itens mais vendidos; os produtos de cauda longa estavam totalmente excluídos. Os itens de cauda longa representam 60% do nosso armazém, então esse 92% quase não nos servia. Outro fornecedor prometeu «5,000 pedidos por dia» — com letras miúdas dizendo «condições de laboratório». Na nossa rede e iluminação reais, a capacidade caiu 30%.

Os jogos de números habituais dos fornecedores são: informar o subconjunto mais bonito, informar condições de laboratório, dar crédito à IA por trabalho que humanos de fato fizeram, e contar a receita no ROI ignorando os custos. A solução é simples e teimosa: cada número é verificado por teste ao vivo, e cada número do contrato traz a frase «com base em duas semanas consecutivas de testes ao vivo no nosso armazém». Qualquer número sem fonte é tratado como «sujeito a teste ao vivo» — eu não discuto sobre isso, apenas meço.

Há também o truque do «piloto gratuito». Parece grátis, mas quando o piloto termina, os formatos de dados, as interfaces e o treinamento ficam todos presos a esse fornecedor, e trocar significa começar do zero. Grátis é o preço mais caro que existe, e isso também vale para pilotos de IA. Antes de qualquer piloto, faça uma pergunta: quando o piloto terminar, posso exportar todos os meus dados por completo? Se não, não vou fazer nem de graça.

Se a aceitação falhar: escreva primeiro a cláusula de saída

A parte mais importante do contrato não são as métricas de aceitação de POC de IA — é o que acontece quando a aceitação falha. A minha versão tem três cláusulas, e nenhuma pode ser pulada.

Primeiro, pagamento por etapas: 30% na assinatura, 40% quando os testes ao vivo forem aprovados, e os 30% finais após três meses de operação estável. Quem detém o dinheiro detém a vantagem. Com um contrato pago integralmente adiantado, você quase não tem poder de negociação na hora da aceitação.

Segundo, um prazo de correção e um direito de saída: se a aceitação falhar, o fornecedor tem 30 dias para corrigir, e se a correção falhar, podemos rescindir o contrato e recuperar 70% do que foi pago (exemplo ilustrativo; as condições reais seguem o contrato assinado). Limite o número de tentativas de correção a dois — não deixe «só mais um ajuste» se arrastar para sempre. Três meses de ajustes e a alta temporada já se foi.

Terceiro, propriedade dos dados: todos os dados de rotulagem e registros de ajuste produzidos durante o piloto pertencem a nós, e o fornecedor entrega tudo completo ao sair. Esta cláusula evita a dependência. Sem ela, trocar de fornecedor significa começar do zero.

Um pequeno armazém tem seu próprio jeito de sobreviver. Nosso método é rude, mas funciona: não confie na demonstração, confie no teste ao vivo; não confie num número, confie em cinco métricas; não assine um contrato sem cláusula de saída. Se a IA pode de fato economizar dinheiro para um pequeno armazém, isso é decidido pelos cinco números da folha de aceitação — não pelos números de um discurso de vendas. Testado assim, pelo menos uma coisa é garantida: o dinheiro é gasto de olhos abertos, e não desperdiçado.

Por Xiao Ma, proprietário de um pequeno armazém Traduzido do inglês. Em caso de divergência, prevalece a versão em inglês.