O número de precisão no seu contrato de IA tem data de validade

Meu veredito logo de cara: se um contrato com um fornecedor de IA não trata da degradação do modelo, pense duas vezes antes de assinar. Aquele número de precisão do teste de aceitação? Ele era verdade naquele dia, naquelas condições. Depois da entrada em produção, a degradação não é uma possibilidade — é física. E se o contrato silencia sobre isso, quem carrega todo o risco é você.

Degradação não é bug. É o padrão.

Em 2023, estive num armazém 3PL nos arredores de Phoenix — cerca de 100,000 pés quadrados, e-commerce de artigos para casa. Eles tinham instalado um sistema de visão na estação de auditoria da linha de triagem: câmeras fotografavam a etiqueta de envio e a aparência do produto de cada pacote, verificando automaticamente se o SKU estava correto. Durante a semana de aceitação, o fornecedor chegou com um relatório de testes mostrando 99.2% de precisão de reconhecimento. O gerente do armazém ficou encantado e assinou um contrato de serviços de três anos.

Oito meses depois, começaram as reclamações. Os falsos alarmes na estação de auditoria não paravam de crescer. Os operadores tinham de conferir tudo de novo à mão, e a produtividade caiu para abaixo do que era antes da instalação do sistema. Puxamos os dados: a precisão tinha caído para pouco acima de 95%. O que aconteceu nesses oito meses? Três coisas — e nenhuma foi culpa de ninguém.

Primeiro, o mix de SKU mudou. Artigos para casa giram rápido com as estações. Em oito meses, eles tinham adicionado mais de 400 SKU novos, muitos deles versões reembaladas de produtos existentes. Novas cores, dimensões levemente alteradas, e o modelo começou a ter dificuldade. Segundo, a sazonalidade. Entre o Dia de Ação de Graças e o Natal, o volume de pacotes dobrou, o transportador foi acelerado e a qualidade de captura das câmeras caiu. Terceiro, um pequeno ajuste de processo: o armazém trocou os tubos fluorescentes da estação de auditoria por LEDs mais brilhantes. A temperatura de cor mudou, e as características do modelo baseadas em cor saíram do alvo.

Isso é a deriva da distribuição dos dados, em termos simples: os dados que o modelo vê todo dia deixam aos poucos de se parecer com os dados nos quais foi treinado. Os sistemas de visão não são as únicas vítimas. Já vi um modelo de previsão de reposição num armazém de vestuário dobrar o erro depois que os padrões de compra dos consumidores mudaram — o sistema continuava comprando contra curvas de demanda de anos atrás. Então lembre-se: degradação não é bug, é o padrão. Todo modelo rodando num armazém — visão, previsão, detecção de anomalias — se degrada. A única pergunta é a velocidade.

Sem cláusulas de degradação, o número de aceitação é decoração

O que tornou o caso de Phoenix doloroso não foi a tecnologia. Foi o contrato. Em três anos de contrato, a precisão aparecia exatamente uma vez — na cláusula de aceitação. Atingir 99%, aprovado, fim. Depois da aceitação, o contrato não dizia nada sobre precisão. Quando o modelo caiu para 95%, a resposta do fornecedor foi perfeitamente «razoável»: o contrato não cobre métricas pós-lançamento, então o retreinamento é um serviço novo, cobrado à parte.

O gerente do armazém estava furioso quando me ligou. «Aceitamos com 99.2%, agora são 95% — como isso não é uma violação?» Dei a ele a resposta desconfortável: pela letra do contrato, não é. A cláusula de aceitação regulava um único dia. Tudo depois disso não estava escrito. Ele não tinha assinado «99% de precisão por três anos». Ele tinha assinado «99% no dia da aceitação — boa sorte depois disso».

Já vi mais de um contrato com esse formato. Fornecedores de IA sempre vendem o número de aceitação: 99%, 99.5%, números lindos. Mas a aceitação é medida num conjunto de dados que o fornecedor preparou com cuidado — iluminação ideal, ângulos ideais, distribuição de SKU ideal. Um armazém em operação real é um animal completamente diferente.

Há outra camada que a maioria perde: os fornecedores não têm incentivo para oferecer cláusulas de degradação espontaneamente. O modelo de negócio deles é licenças de software mais serviços de implantação, e as taxas de retreinamento por ciclo são uma linda fonte de receita recorrente. Quanto mais rápido o modelo se degrada, mais retreinamentos eles vendem. Escrever obrigações de degradação no contrato — retreinamento gratuito durante o período de garantia, por exemplo — significa cortar a própria renda. Se você não levantar o assunto, eles também não vão. Essa cabe ao comprador exigir na mesa de negociação.

Meu julgamento permanece: um contrato que fala de aceitação mas nunca menciona degradação transfere silenciosamente 100% do risco de degradação para você. O fornecedor recebe. Você vive com as consequências.

Torne o retreinamento obrigação do fornecedor

O que o contrato deveria realmente conter? Uma cadeia lógica: definir a referência, fixar o gatilho, atribuir o dever de retreinar, detalhar as consequências da falha persistente. Se um elo quebrar, a cadeia toda falha.

Fixe a métrica de referência — e o método de medição. «Precisão nunca abaixo de 98%» sozinho não vale nada. Medida sobre quais dados? Quantas amostras? Agregação diária ou semanal? A alta temporada ponderada igual à baixa temporada? Sem o método por escrito, toda disputa vira bate-boca. Minha redação recomendada: adotar o conjunto de testes de aceitação como conjunto de dados de referência, retestar trimestralmente contra um conjunto do mesmo tamanho e distribuição de amostras recém-rotuladas, e julgar pela média móvel de quatro semanas. Com o método no contrato, o fornecedor não consegue despachar você com um «aqui do nosso lado parece tudo bem».

O gatilho tem de ser específico. Por exemplo: a precisão móvel fica mais de dois pontos percentuais abaixo da referência por quatro semanas consecutivas, e o fornecedor lhe deve um ciclo de retreinamento. Ou uma queda relativa superior a 5%. O número exato é negociável — mas tem de haver um número. Sem gatilho, «retreinar quando degradar» é uma frase vazia. Quem decide o que conta como degradado? Você vai discutir isso em vez de consertar o modelo.

A propriedade e o custo do retreinamento são a cláusula mais valiosa do acordo. Detalhe: quantos dias úteis o fornecedor tem para entregar o modelo retreinado após um gatilho; se o retreinamento é gratuito durante o período de garantia ou cobrado por ciclo com um teto escrito; com quantos dias de antecedência você deve fornecer dados rotulados para SKU novos, e quem paga o retrabalho quando seus rótulos são ruins. O armazém de Phoenix travou precisamente aqui — o orçamento de retreinamento do fornecedor chegou a quase o custo de uma implantação nova. E não ignore a armadilha da rotulagem: em muitos armazéns, a rotulagem é feita em tempo parcial pelos operadores, com qualidade irregular. Coloque no contrato o padrão de rotulagem e uma proporção de amostragem/inspeção, ou você acaba com um modelo retreinado pior e duas partes se culpando.

Por fim, consequências da falha persistente. Créditos de serviço são a ferramenta padrão: se a métrica for perdida num dado mês, a taxa daquele mês é cortada por um percentual declarado. Mais importante é a cláusula de saída: se a métrica continuar perdida por três meses consecutivos apesar do retreinamento, você pode rescindir sem penalidade, e o fornecedor deve entregar o modelo, os dados de treinamento e a documentação — e cooperar na migração. Sem cláusula de saída, você fica preso: o modelo continua degradando, trocar de fornecedor custa uma fortuna, então você renova de nariz tapado.

Checklist pré-assinatura — verifique cada item antes de assinar:

1. Métrica de referência, fixada: o número de aceitação mais o método de medição (composição do conjunto de testes, tamanho da amostra, janela de medição, fórmula da média móvel).
2. Gatilho de degradação: quantos pontos abaixo da referência, sustentados por quantas semanas, acionam o dever de retreinamento do fornecedor.
3. Prazo de retreinamento: dias úteis para entregar o modelo retreinado após um gatilho, e o que conta como entregue.
4. Divisão de custos: o retreinamento é gratuito durante o período de garantia; se cobrado, um teto por ciclo escrito no contrato.
5. Dever de fornecimento de dados: com quantos dias de antecedência você fornece dados rotulados para SKU novos ou mudanças de processo; quem assume o retrabalho de rótulos ruins.
6. Relatórios de monitoramento: o fornecedor entrega curvas de precisão e métricas de deriva mensal ou trimestralmente; você reserva direitos de auditoria sobre os dados brutos.
7. Créditos de serviço: um percentual concreto de redução da taxa para qualquer mês em que a métrica for perdida.
8. Cláusula de saída: falhas persistentes (ex.: três meses) dão rescisão sem penalidade; o fornecedor entrega modelo, dados e documentos, e coopera na migração.

Traduzido do inglês. Em caso de divergência, prevalece a versão em inglês.