Aceitação do POC de IA: seis métricas que pertencem ao seu contrato — não assine nada sem elas

A conclusão primeiro: as métricas de aceitação do POC de IA precisam ser negociadas e escritas no contrato antes que qualquer pessoa assine — negociar depois da assinatura entrega todas as cartas ao fornecedor. Três coisas para travar: pelo menos seis métricas — precisão, recall, taxa de falsos positivos, taxa de falhas, latência, estabilidade — cada uma definida por quatro elementos (definição, amostra, medição, limite); e pagamentos por etapas, cada marco liberando o próximo. Vi esse fracasso exato acontecer três vezes, e em todas o contrato tinha uma única linha: "a acurácia não será inferior a 95%."

Por que os POCs continuam morrendo no go-live

Os números são brutais. A pesquisa 2025 da S&P Global: 42% das empresas descartaram a maioria das iniciativas de IA, o dobro dos 17% do ano anterior, e a organização média matou 46% das suas provas de conceito de IA antes da produção. O Project NANDA do MIT: 95% dos pilotos de IA generativa nas empresas não produziram nenhum efeito mensurável no P&L. A maioria teve POCs "bem-sucedidos" — demos lindas, métricas impressionantes. Morreram entre a demo e a implantação.

Três razões. Primeiro, os dados do POC foram escolhidos a dedo: 500 fotos perfeitamente encenadas, nada a ver com as caixas amassadas e etiquetas enrugadas da sua esteira real. Segundo, o POC rodou num laboratório com engenheiros ajustando ao vivo ao lado da máquina — a produção não oferece esse luxo. Terceiro, as métricas do contrato eram fumaça: "95% de acurácia" sem definição do que é "correto", sem contador, sem amostra, é uma nota promissória escrita no ar.

História de guerra: um POC de 97% que entrou em produção a 81%

Maio de 2025, Chicago. Um 3PL que movimenta mercadorias volumosas de e-commerce — 120,000 pés quadrados, 20,000 unidades por dia. O dono queria visão computacional na esteira para substituir quatro inspetores. O POC do fornecedor era lindo: 500 fotos, 97% de acurácia. O contrato tinha uma única linha: "a acurácia de reconhecimento do sistema não será inferior a 95%." O dono assinou feliz.

Na primeira semana de operação, tudo explodiu. Esteira a toda velocidade, reflexo da claraboia, pacotes danificados em todos os formatos imagináveis — a acurácia nos campos críticos caiu para 81%, os falsos positivos chegaram a 14%, cada um custando cerca de dois minutos de revisão com a linha parada. Os operadores desligaram o sistema — o processo manual era mais rápido. Depois vieram três meses de acusações mútuas sobre o que "acurácia" sequer significava; o contrato nunca a havia definido.

O resgate levou um único movimento: um aditivo com cinco métricas, cada uma carregando os quatro elementos. O fornecedor ajustou de graça por mais dois meses: os falsos positivos caíram para 4.5%, a precisão nos campos críticos chegou a 98% e o recall a 96%, estáveis em duas semanas de dados de produção. Só então passou.

O grupo de controle: um projeto que escreveu tudo antes, e passou de primeira

Fevereiro de 2026, um armazém de temperatura controlada de um 3PL farmacêutico na Califórnia: contagem cíclica assistida por IA com drones lendo endereços altos. Três semanas antes de assinar, ajudei o cliente a redigir as métricas de aceitação como anexo do contrato — uma amostra de referência de 300 endereços, sorteada aleatoriamente pelo cliente, com bastante endereço alto, posição oculta e etiqueta enrugada; a aceitação medida em duas semanas de contagens cíclicas reais contra três números: taxa de divergência de contagem, taxa de falsos positivos, segundos por endereço. O POC passou na primeira tentativa, o piloto atingiu as metas em duas semanas — zero discussão. A lição: métricas de aceitação não se resumem depois do POC; se negociam antes da assinatura.

As seis métricas, passo a passo

Cada uma das seis precisa de quatro elementos: definição, amostra (quais dados, sorteados por quem), método de medição (a contagem de quem vale) e limite. Uma métrica sem qualquer um dos quatro é decoração.

Métrica 1: precisão e recall, escritos separadamente. "95% de acurácia" é a frase mais perigosa de um contrato de IA. Precisão é a parcela dos alertas do sistema que estão corretos; recall, a parcela dos casos reais que ele capturou. Escreva só "acurácia" e o fornecedor otimizará a mais fácil. Redação contratual: precisão nos campos críticos ≥ 98%, recall ≥ 96%; o marco só é liberado quando ambas passam.

Métrica 2: taxa de falsos positivos. O número que decide se o projeto vive ou morre — 14% contra 4.5% não é uma diferença de 10 pontos, são vários funcionários (a conta abaixo). Defina o limite de trás para frente a partir do seu quadro: quantas exceções um turno absorve?

Métrica 3: um piso para a taxa de falhas — uma linha vermelha para campos de segurança e de dinheiro. Um pacote danificado não detectado, uma excursão de temperatura perdida — um incidente custa mais do que cem falsos positivos. Esses campos ganham sua própria linha vermelha de recall; uma única violação dispara o fluxo de revisão.

Métrica 4: latência, expressa como P95 — nunca a média. Uma média de 200 milissegundos soa adorável até o P95 ser de 2 segundos, e a esteira não espera pelos seus 5% mais lentos. Redação contratual: no takt de produção, latência P95 ≤ X milissegundos, com X derivado da velocidade da sua linha.

Métrica 5: vazão contra a linha de base manual. A IA não está aqui para brilhar; está aqui para trabalhar. Unidades por hora e custo por unidade ao lado da linha de base manual — medidos antes do POC, escritos no contrato.

Métrica 6: estabilidade — passar N dias consecutivos de produção. No dia do POC os engenheiros do fornecedor acampam no local e tudo parece ótimo. Exija duas semanas de dados de produção, pontuadas por dia: 12 de 14 passando da régua. Um único dia aprovado não conta.

A conta: o que 14% contra 4.5% de falsos positivos custam em pessoal

Os números de Chicago — 20,000 unidades por dia, cerca de dois minutos por revisão de falso positivo:

Entendeu o ponto? Um sistema a 14% de falsos positivos custa mais do que o processo manual que substituiu: quatro inspetores fora, onze revisores dentro. É por isso que a taxa de falsos positivos pertence ao contrato: ela decide se o projeto economiza dinheiro ou queima.

Três cláusulas contratuais de que as métricas precisam

Sem essas três, as métricas não têm força.

Primeiro, a amostra de aceitação pertence ao cliente. O conjunto de dados de referência é sorteado aleatoriamente pelo cliente, testado às cegas pelo fornecedor, e precisa incluir dados sujos e a cauda longa: etiquetas enrugadas, fita refletiva, pacotes amassados, posições ocultas. O fornecedor escolher as próprias amostras do POC é jogo limpo; a aceitação roda nas do cliente.

Segundo, escalone os pagamentos. Aceitação do POC, aceitação do piloto, produção estável — três marcos, cada um liberando o próximo pagamento, e a retenção final precisa ser grande o bastante para manter o fornecedor ajustando.

Terceiro, defina o caminho do fracasso: um período de ajuste gratuito mais uma cláusula de saída. Duração da janela, número de rodadas e o resultado ainda ausente — percentuais de reembolso, propriedade dos dados, custos de desinstalação — tudo por escrito. Uma cláusula de saída não é uma maldição sobre o projeto; é um stop-loss digno para os dois lados.

Os pontos habituais do acidente — vi isso acontecer três vezes

Acidente 1: o contrato diz só "acurácia". O fornecedor leva a métrica fácil a 99%, a difícil fica em 80%, e o número combinado continua bonito.

Acidente 2: o fornecedor escolhe a amostra de aceitação. As 500 fotos encenadas do POC eram lindas; os dados de produção não.

Acidente 3: um único dia aprovado conta como aceitação. No dia do POC os engenheiros do fornecedor estavam no local, ajustando parâmetros ao vivo. Isso é uma prova de consulta, não uma aprovação.

Acidente 4: nenhum método de medição por escrito. No projeto de Chicago, 80% dos três meses de discussão foram gastos em "como a gente sequer calcula isso."

Uma opinião contraintuitiva

Métricas mais apertadas não são métricas melhores. Vi um cliente fixar a precisão em 99.5%. O fornecedor superajustou a amostra do cliente durante o POC — ajustando sem descanso contra aquelas imagens exatas. A aceitação passou na primeira tentativa; o go-live falhou mesmo assim. O modelo tinha decorado a amostra, não o negócio. Uma régua razoável mais uma cláusula de saída limpa vencem uma penalidade draconiana sempre. Métricas de aceitação filtram "isso pode funcionar" — não são um concurso de rigor. Defina uma linha que o fornecedor consiga passar se esforçando, acompanhada de um mecanismo de ruptura limpo.

O checklist da noite do go-live

Cinco perguntas antes de a caneta pousar:

1. Para cada uma das seis métricas, os quatro elementos (definição, amostra, método de medição, limite) estão escritos?
2. O cliente sorteou a amostra de referência — dados sujos e cauda longa incluídos?
3. Os pagamentos estão escalonados, com retenção grande o bastante para manter o fornecedor ajustando?
4. O caminho do fracasso está escrito, e os dois lados aceitam a cláusula de saída?
5. Numa disputa, a contagem de quem vale — isso está escrito?

Se você não conseguir responder a uma das cinco, não assine. Cole este checklist na última página do contrato, fotografe a página assinada, poste no chat do projeto. Em mais de 30 go-lives, esse é o único ritual que nunca se provou desnecessário.

Por Lin Xiao, consultor de implementação WMS

Traduzido do inglês. Em caso de divergência, prevalece a versão em inglês.