El número de precisión de tu contrato de IA tiene fecha de caducidad

Lo digo desde el principio: si un contrato con un proveedor de IA no contempla la degradación del modelo, piénsalo dos veces antes de firmarlo. Ese número de precisión de las pruebas de aceptación era cierto ese día, bajo esas condiciones. Después del lanzamiento, la degradación no es una posibilidad: es física. Y si el contrato no la menciona, tú cargas con todo el riesgo.

La degradación no es un error. Es la norma.

En 2023 estuve en un almacén 3PL a las afueras de Phoenix: unos 100,000 pies cuadrados, comercio electrónico de artículos para el hogar. Habían instalado un sistema de visión en la estación de auditoría de la línea de clasificación: cámaras que fotografiaban la etiqueta de envío y el aspecto del producto de cada paquete, verificando automáticamente que el SKU fuera el correcto. Durante la semana de aceptación, el proveedor llegó con un informe de pruebas que mostraba un 99.2% de precisión de reconocimiento. El gerente del almacén estaba encantado y firmó un contrato de servicios de tres años.

Ocho meses después empezaron las quejas. Las falsas alarmas en la estación de auditoría no dejaban de aumentar. Los operarios tenían que volver a comprobar todo a mano, y el rendimiento cayó por debajo de lo que era antes de instalar el sistema. Sacamos los datos: la precisión había caído a apenas por encima del 95%. ¿Qué pasó en esos ocho meses? Tres cosas, y ninguna fue culpa de nadie.

Primero, la mezcla de SKU cambió. Los artículos para el hogar rotan rápido con las temporadas. En ocho meses habían añadido más de 400 SKU nuevos, muchos de ellos versiones reempaquetadas de productos existentes. Nuevos colores, dimensiones ligeramente modificadas, y el modelo empezó a tener dificultades. Segundo, la estacionalidad. Entre el Día de Acción de Gracias y la Navidad, el volumen de paquetes se duplicó, la cinta transportadora se aceleró y la calidad de captura de las cámaras bajó. Tercero, un pequeño ajuste de proceso: el almacén sustituyó los tubos fluorescentes de la estación de auditoría por LED más brillantes. La temperatura de color cambió y las características basadas en el color del modelo se desviaron de su objetivo.

Eso es la deriva de la distribución de datos, en términos sencillos: los datos que el modelo ve a diario dejan poco a poco de parecerse a los datos con los que fue entrenado. Los sistemas de visión no son las únicas víctimas. He visto un modelo de pronóstico de reposición en un almacén de ropa duplicar su error después de que los patrones de compra de los consumidores cambiaran: el sistema seguía pidiendo según curvas de demanda de años anteriores. Así que recuerda esto: la degradación no es un error, es lo normal. Todos los modelos que operan en un almacén —visión, pronóstico, detección de anomalías— se degradan. La única pregunta es a qué velocidad.

Sin cláusulas de degradación, el número de aceptación es decoración

Lo que hizo doloroso el caso de Phoenix no fue la tecnología. Fue el contrato. En tres años de contrato, la precisión aparecía exactamente una vez: en la cláusula de aceptación. Alcanzar el 99%, aprobado, fin. Después de la aceptación, el contrato no decía nada sobre la precisión. Cuando el modelo cayó al 95%, la respuesta del proveedor fue perfectamente «razonable»: el contrato no cubre métricas posteriores al lanzamiento, así que el reentrenamiento es un servicio nuevo, facturado por separado.

El gerente del almacén estaba furioso cuando me llamó. «Aceptamos con un 99.2%, ahora es un 95%: ¿cómo es eso no un incumplimiento?» Le di la respuesta incómoda: según la letra del contrato, no lo es. La cláusula de aceptación regulaba un solo día. Todo lo posterior no estaba escrito. No había firmado «99% de precisión durante tres años». Había firmado «99% el día de la aceptación, buena suerte después».

He visto más de un contrato con esta forma. Los proveedores de IA siempre venden el número de aceptación: 99%, 99.5%, cifras preciosas. Pero la aceptación se mide sobre un conjunto de datos que el proveedor preparó con cuidado: iluminación ideal, ángulos ideales, distribución ideal de SKU. Un almacén en operación real es un animal completamente distinto.

Hay otra capa que la mayoría no ve: los proveedores no tienen ningún incentivo para ofrecer cláusulas de degradación. Su modelo de negocio son licencias de software más servicios de implementación, y los cargos de reentrenamiento por ciclo son una hermosa fuente de ingresos recurrentes. Cuanto más rápido se degrada el modelo, más reentrenamientos venden. Escribir obligaciones de degradación en el contrato —reentrenamiento gratuito durante el período de garantía, por ejemplo— significa recortar sus propios ingresos. Si tú no lo planteas, ellos tampoco. Esta le toca exigirla al comprador en la mesa de negociación.

Mi juicio se mantiene: un contrato que habla de aceptación pero nunca menciona la degradación transfiere silenciosamente el 100% del riesgo de degradación a ti. El proveedor cobra. Tú vives con las consecuencias.

Haz del reentrenamiento una obligación del proveedor

¿Qué debería contener realmente el contrato? Una cadena lógica: definir la referencia, fijar el disparador, asignar el deber de reentrenar, detallar las consecuencias del fallo persistente. Si se rompe un eslabón, falla toda la cadena.

Fija la métrica de referencia y el método de medición. «Precisión no inferior al 98%» por sí solo no vale nada. ¿Medida sobre qué datos? ¿Cuántas muestras? ¿Agregación diaria o semanal? ¿La temporada alta ponderada igual que la temporada baja? Sin el método por escrito, toda disputa se convierte en una pelea a gritos. Mi redacción recomendada: adoptar el conjunto de pruebas de aceptación como conjunto de datos de referencia, volver a probar trimestralmente contra un conjunto del mismo tamaño y distribución de muestras recién etiquetadas, y juzgar con un promedio móvil de cuatro semanas. Una vez que el método está en el contrato, el proveedor no puede despacharte con un «en nuestro lado se ve bien».

El disparador tiene que ser específico. Por ejemplo: la precisión móvil se mantiene más de dos puntos porcentuales por debajo de la referencia durante cuatro semanas consecutivas, y el proveedor te debe un ciclo de reentrenamiento. O una caída relativa superior al 5%. La cifra exacta es negociable, pero tiene que haber una cifra. Sin disparador, «reentrenar cuando se degrade» es una frase vacía. ¿Quién decide qué cuenta como degradado? Discutirás sobre eso en lugar de arreglar el modelo.

La propiedad y el coste del reentrenamiento es la cláusula más valiosa del acuerdo. Detalla: cuántos días hábiles tiene el proveedor para entregar el modelo reentrenado tras un disparador; si el reentrenamiento es gratuito durante el período de garantía o se factura por ciclo con un tope escrito; con cuántos días de antelación debes suministrar datos etiquetados para los SKU nuevos, y quién paga la repetición cuando tus etiquetas son malas. El almacén de Phoenix se atascó precisamente aquí: la cotización de reentrenamiento del proveedor llegó a casi el coste de una implementación nueva. Y no pases por alto la trampa del etiquetado: en muchos almacenes, el etiquetado lo hacen los operarios a tiempo parcial, con calidad desigual. Pon en el contrato el estándar de etiquetado y una proporción de muestreo/inspección, o acabarás con un modelo reentrenado que rinde peor y dos partes culpándose mutuamente.

Por último, consecuencias del fallo persistente. Los créditos de servicio son la herramienta estándar: si no se cumple la métrica en un mes dado, la tarifa de ese mes se reduce en un porcentaje indicado. Más importante es la cláusula de salida: si la métrica sigue sin cumplirse durante tres meses consecutivos a pesar del reentrenamiento, puedes rescindir sin penalización, y el proveedor debe entregar el modelo, los datos de entrenamiento y la documentación, y cooperar en la migración. Sin cláusula de salida, estás atrapado: el modelo sigue degradándose, cambiar de proveedor cuesta una fortuna, así que renuevas a regañadientes.

Lista de verificación previa a la firma: verifica cada línea antes de firmar:

1. Métrica de referencia, fijada: el número de aceptación más el método de medición (composición del conjunto de pruebas, tamaño de muestra, ventana de medición, fórmula del promedio móvil).
2. Disparador de degradación: cuántos puntos por debajo de la referencia, sostenidos durante cuántas semanas, activan el deber de reentrenamiento del proveedor.
3. Plazo de reentrenamiento: días hábiles para entregar el modelo reentrenado tras un disparador, y qué cuenta como entregado.
4. Reparto de costes: si el reentrenamiento es gratuito durante el período de garantía; si se factura, un tope por ciclo escrito en el contrato.
5. Deber de suministro de datos: con cuántos días de antelación proporcionas datos etiquetados para SKU nuevos o cambios de proceso; quién asume la repetición de etiquetas malas.
6. Informes de monitoreo: el proveedor entrega curvas de precisión y métricas de desviación mensual o trimestralmente; te reservas derechos de auditoría sobre los datos brutos.
7. Créditos de servicio: un porcentaje concreto de reducción de la tarifa por cualquier mes en que no se cumpla la métrica.
8. Cláusula de salida: fallos persistentes (p. ej., tres meses) te dan rescisión sin penalización; el proveedor entrega modelo, datos y documentos, y coopera en la migración.

Traducido del inglés. En caso de discrepancia, prevalece la versión en inglés.