Inundación de alarmas en WCS: cómo priorizar miles de alarmas diarias

El WCS de un almacén generaba más de 4,000 alarmas al día. El técnico de mantenimiento simplemente silenció el sonido.

Era 2019, una instalación automatizada de 300,000 pies cuadrados en los suburbios de Chicago que acababa de poner en marcha una nueva línea de clasificación. El WCS (sistema de control de almacén) gestionaba los transportadores, el escaneo, las uniones de inducción y las desviaciones: cientos de sensores fotoeléctricos, decenas de motores, más de cien nodos de comunicación, cada uno enviando una alarma a la sala de control con cada cambio de estado. Un sensor fotoeléctrico cegado por el polvo: una alarma. Una fluctuación en la corriente de un motor: una alarma. Un latido de PLC que llegaba 200 milisegundos tarde: una alarma. Más de 4,000 al día, más de lo que ninguna pantalla podía mostrar.

Con demasiadas alarmas, la gente aprende a ignorarlas. El peligro no son las falsas alarmas: es la alarma real enterrada entre 4,000 que nadie ve. Ese almacén luego tuvo un atasco en el clasificador. La alarma se había disparado 15 minutos antes. Nadie en la sala de control lo notó, y media línea se detuvo durante 40 minutos. Yo estaba en el sitio ese día, y el responsable de mantenimiento me dijo: "No es que no mire. Mirar no ayuda."

Eso es una inundación de alarmas. No se soluciona agregando personas. Se soluciona con priorización y convergencia de causas raíz.

Olvídate de cinco niveles. Tres bastan.

Muchos proveedores de WCS vienen con cuatro o cinco niveles de severidad: crítico, mayor, menor, advertencia, informativo. Suena preciso. En la práctica, nadie en el turno recuerda la diferencia entre cinco niveles, así que todo se trata como uno solo.

Yo uso tres:

Fatal: detiene la línea o afecta la seguridad. Disparo por sobrecarga del motor, paro de emergencia pulsado, cortina de luz de seguridad bloqueada, comunicación del PLC principal perdida. Estas reciben sonido, una ventana emergente en pantalla grande, y si nadie las reconoce en 15 minutos, una llamada telefónica automática. Mi regla: más de 3 alarmas fatales en un día significa que el equipo tiene un problema, no el sistema de alarmas.

Afecta la producción: la línea funciona, pero más lenta. Un canal lleno con redirección automática, tasa de escaneo cayendo por debajo del 95%, una sección de transportador funcionando degradada. Estas van a la pantalla de la sala de control y al teléfono de turno — sin sirena. El turno debe atenderlas o documentarlas en una hora.

Informativo: solo registro, no molesta a nadie. Un solo disparo erróneo de un sensor fotoeléctrico, una reconexión exitosa de un nodo de comunicación, una breve oscilación en la corriente de un motor. Este nivel representa más del 90% del volumen total. Su único valor es el análisis posterior a incidentes. Nunca debería aparecer en la pantalla de nadie.

Mi única prueba para la severidad: si nadie mira esta alarma, ¿se convierte en un problema de dinero en dos horas? Sí — los dos niveles superiores. No — informativo.

En esa instalación de Chicago, pasamos dos semanas recalificando las más de 4,000 alarmas contra ese estándar. Resultado: 11 fatales, 87 que afectan la producción y más de 3,900 informativas. El técnico volvió a activar el sonido — porque ahora cada alarma que sonaba valía la pena para levantarse.

Cinco alarmas, un sensor fotoeléctrico torcido

La priorización resuelve el "no puedo leerlas todas". La convergencia resuelve el "no puedo arreglarlas todas".

Un turno de noche, la sala de control se iluminó con más de 200 alarmas en una hora: fallas de escaneo en la zona A, tiempos de espera agotados en uniones en la zona B, sobrecargas de motores en la zona C, fluctuaciones de comunicación en la zona D, paquetes detenidos en la zona E. Dos técnicos corrieron toda la noche. La línea seguía cojeando. Al amanecer recorrí el piso y encontré los cinco tipos de alarma apuntando a un solo punto: un sensor fotoeléctrico en el punto de unión 3, torcido 3 milímetros por un pallet. Ojo torcido, tiempos de escaneo erróneos; tiempos erróneos, uniones caóticas; uniones caóticas, motores forzados; motores forzados, comunicaciones inestables. Un tornillo suelto, 200 alarmas.

Esa es la verdad más común sobre las alarmas de WCS: las alarmas se disparan por dispositivo, pero las fallas se propagan a lo largo de una cadena causal. Una alarma corresponde a un dispositivo, pero una falla detona una serie de alarmas en cadena.

Mi método de convergencia es burdo pero funciona: antes del fin de cada turno, agrupa las alarmas del día por ubicación del equipo más ventana de tiempo. Tres o más tipos de alarma diferentes en la misma área en diez minutos — no las arregles una por una. Ve a mirar esa área. Lo más probable es que sea una sola causa raíz. También pedí a mantenimiento que construyera un "árbol genealógico de alarmas": qué sensor fotoeléctrico torcido produce qué alarmas derivadas. Después de tres meses, el equipo del turno podía adivinar la causa raíz solo con la combinación de alarmas. El tiempo promedio de localización bajó de 40 minutos a menos de 10.

Y una regla dura: el mismo dispositivo que dispare más de 20 alarmas informativas en 24 horas escala automáticamente a afecta la producción. Un sensor fotoeléctrico que falla una vez es polvo. Que falle a diario es que está suelto o muriendo. No dejes que "informativo" se convierta en una condición crónica.

El MTTR solo significa algo después de la priorización

El MTTR (tiempo medio de reparación) es un KPI en muchos almacenes, pero antes de la priorización de alarmas, el número es ficción. Con 3,900 informativas mezcladas entre 4,000 alarmas, el MTTR se ve genial — porque las informativas se "resuelven" rápido (un vistazo y se descartan). Cuando algo real se rompe, el MTTR no te dice nada.

Después de la priorización, sigue el MTTR por separado: fatal por su cuenta, afecta la producción por su cuenta, informativo para nada. En el sitio de Chicago, el MTTR combinado antes de la priorización era de 22 minutos — se veía bien. Después de separarlo, el MTTR real de alarmas fatales resultó ser de 55 minutos, porque nadie había estado viendo esas alarmas a tiempo en primer lugar. Tres meses después de la priorización, el MTTR fatal estaba por debajo de 15 minutos. El equipo no se volvió más rápido. Las alarmas por fin llegaban a las personas correctas.

Para el vínculo alarma-MTTR hago exactamente tres cosas: las alarmas fatales crean automáticamente una orden de trabajo e inician un temporizador; las alarmas que afectan la producción escalan automáticamente cuando no se atienden pasada su ventana; y cada lunes pongo los conteos y MTTR de los tres niveles lado a lado — si los conteos suben mientras el MTTR se mantiene plano, los umbrales de severidad probablemente se han ablandado.

Lista de inicio: cinco cosas para la primera semana

Si tu WCS se está ahogando en alarmas, salta el gran proyecto. Haz estas cinco primero:

1. Exporta las alarmas de los últimos 7 días, ordenadas por conteo. Las 20 fuentes principales de alarmas suelen representar el 80% del volumen. Ataca esas primero para la victoria más rápida.
2. Aterriza primero el "informativo va solo al registro". Es la jugada de mayor ROI que hay — un día para limpiar las pantallas. Nota: estás silenciando el envío, no el registro. Conserva cada log.
3. Dale a las alarmas fatales una ruta real de escalamiento. Sonido más pantalla grande más llamada telefónica automática después de 15 minutos sin reconocer. Priorización sin escalamiento es decoración.
4. Inicia el árbol genealógico de alarmas. Empieza con las 5 combinaciones de alarmas más comunes, expande a 20 en un mes. Es el activo de conocimiento más valioso que tu equipo de mantenimiento poseerá.
5. Revisa semanalmente las 10 principales fuentes de alarmas. El mismo sensor fotoeléctrico en la lista dos semanas seguidas no está "dando falsas alarmas" — necesita reemplazo. Quince minutos, solo el top 10, solo acciones.

Un juicio para cerrar: la inundación de alarmas de WCS nunca es un problema de tecnología. Es un problema de gestión. De 4,000 alarmas, 3,900 son el sistema hablando consigo mismo y 100 están diciendo la verdad. Tu trabajo no es hacer que el sistema hable menos — es hacer que la verdad se escuche.

Traducido del inglés. En caso de discrepancia, prevalece la versión en inglés.