한 창고의 WCS는 하루에 4,000건이 넘는 알람을 쏟아냈다. 유지보수 기술자는 그냥 소리를 음소거했다.
2019년, 시카고 교외의 300,000평방피트 규모 자동화 시설에서 새로운 분류 라인을 막 가동한 직후였다. WCS(창고 제어 시스템)는 컨베이어, 스캐닝, 인덕트 합류, 분기를 제어했다——수백 개의 포토아이, 수십 개의 모터, 100개가 넘는 통신 노드가 있었고, 각각 상태가 바뀔 때마다 관제실로 알람을 보냈다. 먼지에 눈이 먼 포토아이: 알람 1건. 모터 전류의 깜빡임: 알람 1건. 200밀리초 늦게 도착한 PLC 하트비트: 알람 1건. 하루 4,000건 이상——어떤 화면으로도 스크롤할 수 없는 양이다.
알람이 너무 많으면 사람들은 무시하는 법을 배운다. 위험한 것은 오경보가 아니라——4,000건 속에 묻혀 아무도 보지 못하는 진짜 알람이다. 그 창고에서는 나중에 분류기가 막혔다. 알람은 15분 전에 이미 울렸다. 관제실의 누구도 눈치채지 못했고, 라인 절반이 40분간 멈춰 역류했다. 나는 그날 우연히 현장에 있었고, 유지보수 팀장이 이렇게 말했다. "안 보는 게 아니야. 봐도 소용이 없어."
그것이 알람 플러딩이다. 사람을 늘려서 해결할 문제가 아니다. 우선순위화와 근본 원인 수렴으로 해결한다.
5단계는 잊어라. 3단계면 충분하다.
많은 WCS 업체는 4~5단계의 심각도 레벨을 기본 탑재한다: critical, major, minor, warning, info. 정밀해 보이지만, 실제로 교대 근무 중인 누구도 5단계의 차이를 기억하지 못하므로 전부 하나로 취급된다.
나는 세 가지를 쓴다:
Fatal: 라인을 멈추거나 안전과 관련된다. 모터 과부하 트립, 비상정지 눌림, 안전 라이트커튼 차단, 메인 PLC 통신 상실. 이들은 소리, 대형 화면 팝업, 그리고 15분 안에 아무도 확인하지 않으면 자동 전화 발신이 붙는다. 내 규칙: 하루에 3건을 초과하는 fatal 알람은 알람 시스템이 아니라 장비에 문제가 있다는 뜻이다.
생산 영향(Production-impacting): 라인은 돌지만 느리다. 슈트 가득 참에 자동 우회, 스캔율이 95% 아래로 하락, 컨베이어 구간의 정격 이하 운전. 이들은 관제실 화면과 당직 전화로 간다——사이렌은 울리지 않는다. 교대는 1시간 안에 처리하거나 기록해야 한다.
Advisory: 로그만 남기고, 아무도 방해하지 않는다. 포토아이 단발 오동작 1회, 통신 노드 재연결 성공 1회, 모터 전류의 짧은 흔들림. 이 등급은 전체 볼륨의 90% 이상을 차지한다. 유일한 가치는 사후 분석이다. 누구의 화면에도 나타나서는 안 된다.
심각도에 대한 나의 테스트는 하나뿐이다: 이 알람을 아무도 보지 않으면 2시간 안에 돈 문제로 커지는가? Yes면 상위 두 등급, No면 advisory다.
시카고의 그 시설에서는 2주를 들여 4,000건이 넘는 알람을 그 기준으로 재등급했다. 결과: fatal 11건, 생산 영향 87건, advisory 3,900건 이상. 기술자는 소리를 다시 켰다——이제는 소리를 내는 알람 하나하나가 일어설 가치가 있었기 때문이다.
5개의 알람, 하나의 삐뚤어진 포토아이
우선순위화는 "전부 읽을 수 없다"를 해결한다. 수렴은 "전부 고칠 수 없다"를 해결한다.
어느 야간 근무, 관제실이 한 시간에 200건이 넘는 알람으로 불이 켜졌다: 구역 A의 스캔 실패, 구역 B의 합류 타임아웃, 구역 C의 모터 과부하, 구역 D의 통신 지터, 구역 E의 화물 체류. 두 기술자가 밤새 뛰어다녔다. 라인은 계속 절뚝거렸다. 새벽에 현장을 걸어 보니 다섯 가지 알람 유형이 모두 한 지점을 가리켰다: 합류 지점 3의 포토아이가 팔레트에 부딪혀 3밀리미터 삐뚤어져 있었다. 삐뚤어진 눈, 틀어진 스캔 타이밍; 틀어진 타이밍, 혼란스러운 합류; 혼란스러운 합류, 낑낑대는 모터; 낑낑대는 모터, 불안정한 통신. 헐거워진 나사 하나, 알람 200건.
이것이 WCS 알람에 관한 가장 흔한 진실이다: 알람은 장치별로 울리지만, 고장은 인과 사슬을 따라 전파된다. 알람 1건은 장치 1대에 매핑되지만, 고장 1개는 사슬 아래로 알람의 연쇄를 터뜨린다.
내 수렴 방법은 투박하지만 통한다: 매일 교대 종료 전에 그날의 알람을 장비 위치와 시간 창으로 묶는다. 10분 안에 같은 구역에서 3가지 이상의 서로 다른 알람 유형——하나씩 고치지 마라. 그 구역을 보러 가라. 십중팔구 근본 원인은 하나다. 유지보수 팀에게 "알람 가계도"도 만들게 했다: 어떤 포토아이가 삐뚤어지면 어떤 하류 알람이 나오는지. 3개월 후, 교대조는 알람 조합만으로 근본 원인을 짐작할 수 있게 됐다. 평균 위치 파악 시간은 40분에서 10분 미만으로 줄었다.
그리고 엄격한 규칙 하나: 같은 장치가 24시간 안에 20건 이상의 advisory 알람을 울리면 자동으로 생산 영향으로 격상된다. 포토아이의 단발 오동작은 먼지다. 매일 오동작하는 것은 헐거워졌거나 수명이 다한 것이다. "advisory"를 만성 상태로 두지 마라.
MTTR은 우선순위화 이후에야 의미가 있다
MTTR(평균 수리 시간)은 많은 창고에서 KPI이지만, 알람 우선순위화 이전에는 그 숫자는 허구다. 4,000건의 알람에 3,900건의 advisory가 섞여 있으면 MTTR은 훌륭해 보인다——advisory는 "해결"이 빠르기 때문이다(흘끗 보고 무시). 진짜가 고장 나면 MTTR은 아무것도 알려주지 않는다.
우선순위화 이후에는 MTTR을 따로 추적한다: fatal은 따로, 생산 영향은 따로, advisory는 전혀 추적하지 않는다. 시카고 현장에서 우선순위화 전의 블렌디드 MTTR은 22분——겉보기엔 좋았다. 나눠 보니 fatal 알람의 진짜 MTTR은 55분이었다. 처음부터 아무도 그 알람들을 제때 보고 있지 않았기 때문이다. 우선순위화 3개월 후, fatal MTTR은 15분 미만으로 떨어졌다. 작업자들이 빨라진 게 아니다. 알람이 마침내 올바른 사람들에게 도달하게 된 것이다.
알람-MTTR 연계를 위해 나는 정확히 세 가지를 한다: fatal 알람은 자동으로 작업 지시서를 만들고 타이머를 시작한다; 생산 영향 알람은 대응 기한을 넘겨 미처리면 자동 격상된다; 그리고 매주 월요일 3개 등급의 건수와 MTTR을 나란히 놓고 비교한다——건수는 오르는데 MTTR이 그대로라면 심각도 임계값이 무뎌졌을 가능성이 높다.
스타터 체크리스트: 첫 주에 할 다섯 가지
WCS가 알람에 허덕이고 있다면 대형 프로젝트는 건너뛰어라. 먼저 이 다섯 가지를 하라:
- 최근 7일간의 알람을 건수 순으로 내보낸다. 상위 20개 발생원이 보통 전체 볼륨의 80%를 차지한다. 가장 빠른 성과를 위해 먼저 여기를 공략하라.
- "advisory는 로그에만"부터 정착시켜라. 가장 ROI가 높은 수다——화면을 비우는 데 하루. 참고: 음소거하는 것은 푸시이지 기록이 아니다. 모든 로그를 남겨라.
- fatal 알람에 진짜 격상 경로를 줘라. 소리 + 대형 화면 + 15분 미확인 후 자동 전화. 격상 없는 우선순위화는 장식이다.
- 알람 가계도를 시작하라. 가장 흔한 5개의 알람 조합부터 시작해 한 달 안에 20개로 늘려라. 유지보수 팀이 갖게 될 가장 값진 지식 자산이다.
- 상위 10개 발생원을 매주 검토하라. 2주 연속 리스트에 오르는 같은 포토아이는 "오경보"가 아니다——교체 시점이다. 15분, 상위 10개만, 액션만.
마지막 판단 한 마디: WCS 알람 플러딩은 절대 기술 문제가 아니다. 관리 문제다. 4,000건의 알람 중 3,900건은 시스템의 혼잣말이고, 100건이 진실을 말하고 있다. 당신의 일은 시스템을 덜 말하게 하는 것이 아니다——진실이 들리게 하는 것이다.
영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.
