Em setembro de 2025, o gerente-geral de um armazém 3PL no leste da China ligou-me por causa de um piloto de reconhecimento visual. A demonstração do fornecedor tinha atingido 99.6% de precisão de reconhecimento, o contrato dizia «precisão não inferior a 99%», e o formulário de aceitação já estava assinado. Na primeira semana de operação real, etiquetas danificadas, fita refletora e códigos de barras tortos começaram a chegar em massa, e a precisão caiu para cerca de 91%. A estação de retrabalho precisou de mais duas horas de mão de obra por dia para limpar a confusão. Ele perguntou-me de quem era a culpa. A minha resposta foi que a culpa era do contrato. Se os critérios de aceitação de uma POC de IA consistem numa única linha a dizer «não inferior a 99%», sem definição do conjunto de testes, sem método de amostragem e sem protocolo de medição, essa linha não tem força vinculativa na reunião de aceitação. Um fornecedor pode escolher 2,000 fotos limpas de caixas padrão e o número continua válido.

Não é um caso isolado. A julgar pelos termos de entrega publicados por vários integradores de referência, e pela dezena de projetos de IA para armazéns que acompanhei nos últimos dois anos, a forma mais comum de uma POC morrer não é a tecnologia falhar. É o padrão de aceitação ter sido escrito com demasiada folga.

Transformar os critérios de aceitação de uma POC de IA em quatro números mensuráveis

Uma função que funciona na demonstração tem de sobreviver a três transições antes de funcionar em produção: a distribuição dos dados muda, o ritmo de operação muda e as exceções aparecem. Se o contrato define o sucesso apenas no ambiente de demonstração, as três transições tornam-se custo do comprador.

Categoria Métrica principal Como é medida Armadilha comum
Precisão Precisão de reconhecimento ou previsão, taxa de erro Amostragem contínua do fluxo real, pelo menos 5,000 unidades, estratificada por categoria de produto Testar apenas o conjunto de demonstração, ou reportar a precisão global sem a pior categoria
Velocidade Tempo de processamento por unidade, resposta do sistema P95 Medida continuamente nas horas de pico, usando o percentil 95, não a média Reportar apenas médias, que escondem a cauda longa dos atrasos
Estabilidade Tempo de funcionamento contínuo sem intervenção manual, tempo de recuperação após falha 72 horas de operação contínua, registando cada paragem e cada recuperação Testar apenas um turno diurno de oito horas, nunca o turno da noite nem uma mudança de turno
Custo Custo por unidade processada, poupança de mão de obra convertida em dinheiro Calculado a partir do volume real e das horas de mão de obra durante o período de aceitação Contar apenas a licença de software, ignorando o retrabalho, a manutenção e o tratamento de exceções

A precisão é onde a redação mais frequentemente falha. O mesmo «99%» pode descrever dois mundos diferentes, conforme tenha sido medido num conjunto de demonstração selecionado pelo fornecedor ou no fluxo real. O contrato deve indicar que o conjunto de testes vem da mercadoria real do comprador, que a amostragem cobre todas as categorias de produto e tipos de exceção, e que os resultados são avaliados categoria a categoria, com a pior categoria pontuada separadamente em vez de escondida dentro de uma média global. A velocidade deve ser escrita como um valor P95, não como uma média, porque um armazém nunca sofre na média: sofre quando os piores 5% dos pedidos entopem a linha. A estabilidade deve ser escrita como tempo de funcionamento contínuo, e 72 horas é uma referência prática, cobrindo um turno de dia, um turno de noite e uma passagem de turno.

O custo é a métrica mais facilmente reduzida a uma frase vazia. «Espera-se poupar 30% da mão de obra» não pode ser aceite, porque não tem linha de base. A versão viável é fixar primeiro a linha de base — o custo real por unidade e as horas de mão de obra desse processo nas duas semanas anteriores à POC — e depois compará-la com os valores medidos durante a aceitação. O retrabalho, o tratamento de exceções e a mão de obra de manutenção têm de ser incluídos, ou as horas que o fornecedor poupa serão novamente consumidas na estação de retrabalho.

Passar com dados de demonstração, falhar com o fluxo real

Um segundo caso vem de um armazém de comércio eletrónico em Guangdong, no final de 2024. O algoritmo de agendamento de AMR do fornecedor prometia um aumento de 25% na eficiência de picking, e a aceitação foi medida numa única onda durante um período de inatividade. Os números pareciam excelentes. Quando a simulação da época alta foi executada, o aumento caiu para 7%, e após 72 horas de operação contínua o sistema sofreu um impasse de agendamento cuja reinicialização levou 40 minutos. O contrato não dizia nada sobre tempo de funcionamento contínuo, tempo de recuperação ou desempenho sob concorrência máxima. A POC foi marcada como «aprovada», e os problemas surgiram em massa três meses após o go-live, quando o retrabalho custou mais do que a própria POC.

Ambos os casos apontam para a mesma causa. Existe uma lacuna sistemática entre o ambiente de testes da POC e o ambiente de produção, e o tamanho dessa lacuna depende de que dados foram usados, a que ritmo foram testados e por quanto tempo. Os dados de demonstração são a zona de conforto do fornecedor; os dados reais são a realidade diária do comprador. A minha recomendação é fixar três coisas no contrato: primeiro, os dados de teste têm de vir da mercadoria real do comprador, amostrados para cobrir os padrões de ondas da época alta e os tipos de exceção; segundo, a medição de aceitação tem de cobrir pelo menos um período operacional completo de pico, nunca apenas uma janela de inatividade; terceiro, o período de aceitação tem de durar pelo menos duas semanas, incluindo uma passagem de turno e um ciclo completo de tratamento de exceções.

Há aqui um ponto contraintuitivo: quanto mais alto se define a meta de precisão, mais facilmente uma POC se distorce. Uma meta de 99.9% parece rigorosa, mas na prática muitas vezes empurra o fornecedor a sobreajustar o conjunto de demonstração, gastando a sua energia a polir o conjunto de testes até à perfeição em vez de tornar o sistema mais robusto. Uma meta de aceitação útil não é um único número impressionante, mas um conjunto de métricas em camadas: precisão global, precisão da pior categoria e cobertura dos tipos de exceção, as três tendo de passar juntas. O dilema é claro. Um conjunto de métricas de aspeto mais folgado mas estruturalmente completo dá-lhe credibilidade com a mercadoria real; um único número muito alto geralmente dá-lhe uma boa demonstração.

Se a aceitação falhar, o contrato precisa de uma saída

Uma vez claras as métricas, o contrato ainda tem de dizer o que acontece quando não são cumpridas. Muitos contratos de POC têm apenas uma frase aqui — «se a aceitação falhar, ambas as partes negociarão» — o que na prática significa uma disputa. Uma estrutura mais duradoura é uma saída em camadas: na primeira aceitação falhada, o fornecedor recebe uma remediação gratuita no prazo de 30 dias, com o âmbito e o teto de custo escritos no contrato; se falhar uma segunda vez, o comprador pode rescindir, recuperar as taxas de implementação não gastas e liquidar o hardware entregue pelo seu valor depreciado, com a propriedade dos dados e do modelo fixada na assinatura.

A aritmética mostra o que vale essa cláusula. Tomemos uma POC que custa 400,000 yuan com um orçamento total de implementação de 4 milhões. Se o padrão de aceitação for vago e o sistema for declarado aprovado, apenas para ficar aquém durante a implementação, o retrabalho e a remediação podem facilmente consumir mais um milhão de yuan, além de três meses de janela perdida. Perante isso, duas páginas de condições de aceitação não custam quase nada. O outro lado do mesmo cálculo é que uma POC é, em essência, um pequeno pagamento por informação — a resposta à pergunta de saber se esta solução funciona realmente no meu armazém. Se o padrão de aceitação for escrito de forma que o fornecedor não possa perder, o dinheiro não compra informação, mas um bilhete para a implementação.

Uma POC bem-sucedida também precisa de uma cláusula de transição para a entrada em produção. Três coisas pertencem ao contrato: primeiro, os dados de aceitação da POC e o conjunto de testes são mantidos como linha de base do go-live, e as métricas de produção não devem cair abaixo dos valores de aceitação da POC; segundo, a implementação avança por etapas, cada uma com um ponto de controlo, e um ponto de controlo falhado interrompe a implementação nessa etapa; terceiro, o período de suporte no local do fornecedor e os tempos de resposta são escritos nas condições de implementação em vez de ficarem como promessas verbais. A rutura mais perigosa entre a POC e o go-live é o momento em que a aceitação termina e as melhores pessoas do fornecedor se vão embora, deixando um sistema pelo qual ninguém responde.

O juízo, a esta altura, é bastante claro: a aceitação de uma POC não é uma revisão técnica, mas uma precificação do risco. As métricas escritas no contrato decidem quem suporta a incerteza da mercadoria real; a cláusula de saída decide quem tem o direito de parar quando essa incerteza excede as expectativas. Nos próximos dois ou três anos, os projetos de IA para armazéns só se multiplicarão, e as demonstrações dos fornecedores só ficarão mais polidas. A forma de saber se um fornecedor é sério está a passar de observar a demonstração para observar se ele está disposto a colocar os critérios de aceitação da POC de IA no contrato, e se essas métricas sobrevivem ao contacto com a mercadoria real. Quanto à sua próxima POC, quem define os números no formulário de aceitação é uma questão que vale a pena resolver antes de o contrato ser assinado, e não depois.

Por Dr. Chen, Investigador de Cadeia de Suprimentos Traduzido do inglês. Em caso de divergência, prevalece a versão em inglês.