Nuestro pequeño almacén no puede permitirse quemar dinero así, así que cuando se trata de métricas de aceptación de POC de IA, lo reviso todo dos veces.
Esta es nuestra situación: un almacén de 3,000 metros cuadrados, 12 personas, más de 800 pedidos al día. A principios de 2025 vino un proveedor a ofrecernos inspección visual de calidad: «99.5% de precisión, retorno en tres meses». El vídeo de la demostración era precioso: cajas deslizándose por la cinta transportadora, recuadros verdes apareciendo en pantalla uno tras otro. Casi firmo en el acto. Entonces hice una pregunta: ¿las mercancías de la demostración las eligieron ustedes? El vendedor sonrió y cambió de tema. En ese momento supe que ese dinero no se podía gastar en una demostración.
Las métricas de aceptación de POC de IA no tratan de lo bien que se ve la demostración. Tratan de cómo rinde el sistema en un almacén real. La sala de demostración tiene luces brillantes, cajas ordenadas y Wi-Fi a tope. Un almacén real tiene la mitad de las luces parpadeando, cajas torcidas y zonas sin Wi-Fi por todas partes. Una precisión del 99% en la demostración puede caer fácilmente al 85% en la operación real, y con un 85%, el sistema es peor que los ojos de Lao Zhang.
La demostración se ve muy bien; el almacén real es la verdadera prueba de aceptación de POC de IA
Esta es la primera historia (escenario ilustrativo). En marzo de 2025 probamos un proveedor de inspección visual. En la demostración usaba cajas estándar con etiquetas impresas nítidas y prometía un 99% de precisión. En nuestro almacén, las etiquetas estaban medio cubiertas de cinta, las cajas aplastadas y los códigos de barras llenos de polvo. La precisión de la primera semana fue del 87% (ejemplo ilustrativo). Una tasa de error del 13% significa que 13 de cada 100 pedidos necesitan revisión manual: más trabajo manual que nuestra antigua inspección totalmente manual. Esa IA, en la práctica, se compró para nada.
La brecha entre la demostración y la realidad se reduce a tres cosas. Primero, las muestras: las demostraciones usan a los «buenos alumnos», mientras que los almacenes reales están llenos de casos límite: daños, manchas, reflejos, arrugas, de todo. Segundo, la velocidad: una demostración que escanea 20 artículos por minuto se ralentiza rápido cuando la cinta acelera y las cajas se amontonan. Tercero, la resistencia: una demostración dura 20 minutos, pero un almacén real funciona 10 horas, y el sobrecalentamiento, las ralentizaciones y las desconexiones de la sexta hora nunca aparecen en una demostración.
Así que mi método práctico es este: antes de la aceptación, hacer que el proveedor trabaje dos semanas con nuestro volumen real de pedidos, usando nuestras mercancías más difíciles. No usen su conjunto de pruebas: usen nuestras peores cajas. Las cifras de esa prueba son las únicas que pertenecen a un contrato.
Cinco métricas de aceptación de POC de IA para incluir en el contrato
Primero lo contraintuitivo: una IA con un 99% de precisión aún puede hacerte perder dinero. Si protege su precisión derivando cada caso dudoso a un humano y la tasa de intervención manual llega al 40%, has pagado por la IA y te has quedado con el trabajo manual. La aceptación no puede apoyarse en una sola cifra. Las cinco métricas tienen que superarse juntas.
| Métrica | Cómo medirla (verificado con prueba en vivo) | Límite de fallo |
|---|---|---|
| Precisión / tasa de error | Contar por separado los falsos positivos y los falsos negativos en pedidos reales | Falsos positivos por encima del 2%, o defectos no detectados por encima del 0.5% |
| Velocidad y rendimiento | Rendimiento real durante 4 horas continuas, sin contar el tiempo de preparación | Por debajo del 90% de la velocidad prometida |
| Estabilidad y tiempo activo | 8 horas de funcionamiento continuo sin fallos ni reinicios | Más de 1 fallo en 8 horas |
| Tasa de intervención manual | Proporción de pedidos que necesitan revisión o intervención humana | Por encima del 5% |
| Retorno real de la inversión | Mano de obra ahorrada menos los nuevos costes, calculado con datos de la prueba en vivo | Retorno superior a 18 meses |
La precisión debe dividirse en falsos positivos y falsos negativos. Un falso positivo marca mercancías buenas como malas y desperdicia mano de obra; un defecto no detectado deja pasar mercancías malas y cuesta clientes y reclamaciones de indemnización. Ambas cifras van en el contrato. Cualquier proveedor que informe una sola cifra de «precisión» está jugando.
La velocidad debe medirse durante cuatro horas continuas con volumen real. Un sprint de diez minutos en una demostración no cuenta: lo que importa es mantener la velocidad durante un pico de cuatro horas. La estabilidad es aún más concreta: ocho horas seguidas, y más de un fallo significa suspenso. La IA es un equipo, y el equipo se prueba como equipo.
La tasa de intervención manual es la cifra que más me importa. En un almacén pequeño, el 5% y el 15% son dos negocios distintos. Con un 5%, una persona revisa a tiempo parcial; con un 15%, necesitas una persona dedicada a vigilar el sistema, y la mano de obra que ahorraste vuelve de inmediato. El ROI funciona igual: mano de obra ahorrada, menos electricidad, mantenimiento, consumibles y el salario del revisor que aún necesitas. El ahorro neto dividido por la inversión es el verdadero periodo de retorno. Los proveedores suelen contar solo el ahorro y omitir los costes, así que haz las cuentas tú mismo.
Los juegos de cifras de los proveedores, y las trampas en las que he caído
Esta es la segunda historia (escenario ilustrativo). En mayo de 2025 otro proveedor ofreció previsión de demanda. La demostración mostraba un 92% de precisión de previsión, que sonaba muy bien. Al preguntar más, ese 92% cubría solo los artículos más vendidos; los productos de cola larga quedaban excluidos por completo. Los artículos de cola larga representan el 60% de nuestro almacén, así que ese 92% casi no nos servía. Otro proveedor prometió «5,000 pedidos al día», con letra pequeña que decía «en condiciones de laboratorio». En nuestra red y nuestra iluminación reales, el rendimiento cayó un 30%.
Los juegos de cifras habituales de los proveedores son: informar del subconjunto más bonito, informar de condiciones de laboratorio, atribuir a la IA el trabajo que en realidad hicieron humanos, y contar los ingresos en el ROI ignorando los costes. La solución es simple y tozuda: cada cifra se verifica con una prueba en vivo, y cada cifra del contrato lleva la frase «basado en dos semanas consecutivas de pruebas en vivo en nuestro almacén». Cualquier cifra sin fuente se trata como «sujeta a prueba en vivo»: no discuto sobre ella, simplemente la mido.
También está el truco del «piloto gratuito». Suena gratis, pero cuando termina el piloto, los formatos de datos, las interfaces y la formación quedan atados a ese proveedor, y cambiar significa empezar de cero. Gratis es el precio más caro que existe, y eso también se aplica a los pilotos de IA. Antes de cualquier piloto, haz una pregunta: cuando termine el piloto, ¿puedo exportar todos mis datos completos? Si no, no lo haré ni gratis.
Si la aceptación falla: escribe primero la cláusula de salida
La parte más importante del contrato no son las métricas de aceptación de POC de IA, sino lo que ocurre cuando la aceptación falla. Mi versión tiene tres cláusulas, y ninguna se puede saltar.
Primero, pago por etapas: 30% al firmar, 40% cuando se superan las pruebas en vivo, y el 30% final tras tres meses de operación estable. Quien tiene el dinero tiene la ventaja. Con un contrato pagado por adelantado en su totalidad, casi no tienes poder de negociación en el momento de la aceptación.
Segundo, un plazo de corrección y un derecho de salida: si la aceptación falla, el proveedor tiene 30 días para corregirlo, y si la corrección falla, podemos rescindir el contrato y recuperar el 70% de lo pagado (ejemplo ilustrativo; las condiciones reales siguen el contrato firmado). Limita el número de intentos de corrección a dos: no dejes que «un ajuste más» se alargue para siempre. Tres meses de ajustes y la temporada alta ya se ha ido.
Tercero, propiedad de los datos: todos los datos de etiquetado y los registros de ajuste producidos durante el piloto nos pertenecen, y el proveedor entrega todo completo cuando se marcha. Esta cláusula evita la dependencia. Sin ella, cambiar de proveedor significa empezar desde cero.
Un almacén pequeño tiene su propia forma de sobrevivir. Nuestro método es rudimentario, pero funciona: no confíes en la demostración, confía en la prueba en vivo; no confíes en una cifra, confía en cinco métricas; no firmes un contrato sin cláusula de salida. Que la IA realmente pueda ahorrar dinero a un almacén pequeño lo deciden las cinco cifras de la hoja de aceptación, no las cifras de un discurso de ventas. Probado así, al menos una cosa está garantizada: el dinero se gasta con los ojos abiertos, y no se desperdicia.
Por Xiao Ma, propietario de un pequeño almacén Traducido del inglés. En caso de discrepancia, prevalece la versión en inglés.







