Lo primero es lo primero: las métricas de aceptación del POC de IA deben negociarse y quedar por escrito en el contrato antes de que nadie firme — negociar después de la firma pone todas las cartas en manos del proveedor. Tres cosas que hay que fijar: al menos seis métricas — precisión, recall, tasa de falsos positivos, tasa de fallos, latencia, estabilidad — cada una definida por cuatro elementos (definición, muestra, medición, umbral); y pagos por etapas, donde cada hito libera el siguiente. He visto este mismo fracaso tres veces, y en todas el contrato contenía una sola línea: "la exactitud no será inferior al 95%."
Por qué los POC siguen muriendo en el lanzamiento
Los números son brutales. La encuesta 2025 de S&P Global: el 42% de las empresas descartó la mayoría de sus iniciativas de IA, el doble del 17% del año anterior, y la organización promedio eliminó el 46% de sus pruebas de concepto de IA antes de la producción. El Project NANDA del MIT: el 95% de los pilotos de IA generativa en empresas no produjo ningún efecto medible en la cuenta de resultados. La mayoría había tenido POC "exitosos" — demos preciosas, métricas impresionantes. Murieron entre la demo y el despliegue.
Tres razones. Primero, los datos del POC estaban seleccionados a dedo: 500 fotos perfectamente preparadas, nada que ver con las cajas aplastadas y las etiquetas arrugadas de tu transportador real. Segundo, el POC corrió en un laboratorio con ingenieros ajustando en vivo junto a la máquina — la producción no ofrece ese lujo. Tercero, las métricas del contrato eran humo: un "95% de exactitud" sin definición de "correcto", sin contador, sin muestra, es un pagaré escrito en el aire.
Historia de guerra: un POC del 97% que entró en producción al 81%
Mayo de 2025, Chicago. Un 3PL que maneja mercancía de comercio electrónico voluminosa — 120,000 pies cuadrados, 20,000 unidades al día. El dueño quería visión artificial en el transportador para reemplazar a cuatro inspectores. El POC del proveedor era precioso: 500 fotos, 97% de exactitud. El contrato tenía una sola línea: "la exactitud de reconocimiento del sistema no será inferior al 95%." El dueño firmó feliz.
En la primera semana de producción, todo explotó. Transportador a plena velocidad, deslumbramiento del tragaluz, paquetes dañados de todas las formas imaginables — la exactitud en campos críticos cayó al 81%, los falsos positivos llegaron al 14%, cada uno costando unos dos minutos de revisión con la línea parada. Los operarios apagaron el sistema — el proceso manual era más rápido. Luego vinieron tres meses de acusaciones mutuas sobre lo que significaba "exactitud"; el contrato nunca lo había definido.
El rescate se hizo con un solo movimiento: un acuerdo complementario con cinco métricas, cada una con los cuatro elementos. El proveedor ajustó gratis durante dos meses más: los falsos positivos bajaron al 4.5%, la precisión en campos críticos llegó al 98% y el recall al 96%, estables sobre dos semanas de datos de producción. Solo entonces pasó.
El grupo de control: un proyecto que lo escribió todo antes y pasó a la primera
Febrero de 2026, un almacén de temperatura controlada de un 3PL farmacéutico en California: conteo cíclico asistido por IA con drones que leen ubicaciones en altura. Tres semanas antes de firmar, ayudé al cliente a redactar las métricas de aceptación como anexo del contrato — una muestra dorada de 300 ubicaciones, elegida al azar por el cliente, con abundancia de estanterías altas, huecos ocultos y etiquetas arrugadas; la aceptación se midió sobre dos semanas de conteos cíclicos reales contra tres números: tasa de variación de conteo, tasa de falsos positivos, segundos por ubicación. El POC pasó al primer intento, el piloto alcanzó sus objetivos en dos semanas — cero discusiones. La lección: las métricas de aceptación no se resumen después del POC; se negocian antes de la firma.
Las seis métricas, paso a paso
Cada una de las seis necesita cuatro elementos: definición, muestra (qué datos, elegidos por quién), método de medición (el conteo de quién vale) y umbral. Una métrica a la que le falte alguno de los cuatro es decoración.
Métrica 1: precisión y recall, escritos por separado. El "95% de exactitud" es la frase más peligrosa de un contrato de IA. La precisión es la proporción de las alertas del sistema que son correctas; el recall, la proporción de casos reales que detectó. Si solo escribes "exactitud", el proveedor optimizará la más fácil. Redacción contractual: precisión en campos críticos ≥ 98%, recall ≥ 96%; el hito solo se supera si ambas pasan.
Métrica 2: tasa de falsos positivos. El número que decide si el proyecto vive o muere — 14% frente a 4.5% no es una diferencia de 10 puntos, son varias personas (los cálculos abajo). Fija el umbral al revés, desde tu plantilla: ¿cuántas excepciones puede absorber un turno?
Métrica 3: un suelo para la tasa de fallos — una línea roja para campos de seguridad y de dinero. Un paquete dañado no detectado, una excursión de temperatura no vista — un incidente cuesta más que cien falsos positivos. Estos campos tienen su propia línea roja de recall; un solo incumplimiento dispara el flujo de revisión.
Métrica 4: latencia, expresada como P95 — nunca el promedio. Un promedio de 200 milisegundos suena precioso hasta que el P95 es de 2 segundos, y el transportador no espera a tu 5% más lento. Redacción contractual: a takt de producción, latencia P95 ≤ X milisegundos, con X derivado de la velocidad de tu línea.
Métrica 5: rendimiento frente a la base manual. La IA no está aquí para lucirse; está aquí para trabajar. Unidades por hora y costo por unidad junto a la base manual — medidos antes del POC, escritos en el contrato.
Métrica 6: estabilidad — pasar N días consecutivos de producción. El día del POC los ingenieros del proveedor acampan en planta y todo sale bien. Exige dos semanas de datos de producción, puntuadas por día: 12 de 14 superando el listón. Un solo día aprobado no cuenta.
Los cálculos: lo que el 14% frente al 4.5% de falsos positivos cuesta en plantilla
Los números de Chicago — 20,000 unidades al día, unos dos minutos por revisión de falso positivo:
| 14% falsos positivos (lanzamiento inicial) | 4.5% falsos positivos (tras el ajuste) | |
|---|---|---|
| Unidades que entran a la cola de revisión al día | 2,800 | 900 |
| Horas de revisión al día | unas 93 | unas 30 |
| Equivalentes a tiempo completo (turnos de 8 horas) | unos 11–12 | unos 4 |
| frente a los 4 inspectores originales | 7–8 contrataciones extra | Aproximadamente el punto de equilibrio |
¿Se entiende? Un sistema al 14% de falsos positivos cuesta más que el proceso manual al que reemplazó: cuatro inspectores fuera, once revisores dentro. Por eso la tasa de falsos positivos debe estar en el contrato: decide si el proyecto ahorra dinero o lo quema.
Tres cláusulas contractuales que las métricas necesitan
Sin estas tres, las métricas no se pueden hacer cumplir.
Primero, la muestra de aceptación la elige el cliente. El conjunto de datos dorado lo elige al azar el cliente, el proveedor lo prueba a ciegas, y debe incluir datos sucios y la cola larga: etiquetas arrugadas, cinta reflectante, paquetes aplastados, huecos ocultos. Que el proveedor elija sus propias muestras del POC es juego limpio; la aceptación corre con las del cliente.
Segundo, escalona los pagos. Aceptación del POC, aceptación del piloto, producción estable — tres hitos, cada uno libera el siguiente pago, y la retención final debe ser lo bastante grande para mantener al proveedor ajustando.
Tercero, define el camino del fallo: un período de ajuste gratuito más una cláusula de salida. Duración de la ventana, número de rondas y el resultado si aún falta — ratios de reembolso, propiedad de los datos, costos de desinstalación — todo por escrito. Una cláusula de salida no es una maldición sobre el proyecto; es un stop-loss digno para ambas partes.
Los lugares habituales del choque — lo he visto pasar tres veces
Choque 1: el contrato solo dice "exactitud". El proveedor lleva la métrica fácil al 99%, la difícil se queda en el 80%, y el número mezclado sigue viéndose bien.
Choque 2: el proveedor elige la muestra de aceptación. Las 500 fotos preparadas del POC eran preciosas; los datos de producción no.
Choque 3: un solo día aprobado cuenta como aceptación. El día del POC los ingenieros del proveedor estaban en planta, ajustando parámetros en vivo. Eso es un examen a libro abierto, no un aprobado.
Choque 4: ningún método de medición por escrito. En el proyecto de Chicago, el 80% de los tres meses de discusión se gastó en "cómo calculamos esto siquiera."
Una opinión contraintuitiva
Métricas más estrictas no son mejores métricas. He visto a un cliente fijar la precisión en el 99.5%. El proveedor sobreajustó a la muestra del cliente durante el POC — ajustando sin descanso contra esas imágenes exactas. La aceptación pasó al primer intento; el lanzamiento falló de todos modos. El modelo había memorizado la muestra, no el negocio. Un listón razonable más una cláusula de salida clara supera a una penalización draconiana siempre. Las métricas de aceptación filtran "puede esto funcionar" — no son un concurso de dureza. Fija una línea que el proveedor pueda superar con un esfuerzo, acompáñala de un mecanismo de ruptura limpio.
La lista de verificación de la noche del lanzamiento
Cinco preguntas antes de que el bolígrafo aterrice:
- Para cada una de las seis métricas, ¿están escritos los cuatro elementos (definición, muestra, método de medición, umbral)?
- ¿Eligió el cliente la muestra dorada — datos sucios y cola larga incluidos?
- ¿Están escalonados los pagos, con una retención lo bastante grande para mantener al proveedor ajustando?
- ¿Está escrito el camino del fallo, y ambas partes aceptan la cláusula de salida?
- En una disputa, ¿el conteo de quién vale — está eso escrito?
Si no puedes responder a una de las cinco, no firmes. Pega esta lista en la última página del contrato, fotografía la página firmada, publícala en el chat del proyecto. En más de 30 lanzamientos, ese es el único ritual que nunca ha demostrado ser innecesario.
Por Lin Xiao, consultor de implementación WMS
Traducido del inglés. En caso de discrepancia, prevalece la versión en inglés.
