새벽 3:12. 베드사이드의 휴대폰이 세 번 진동했다. WCS 알람: 컨베이어 섹션 7 비상정지. 출고 라인 전체가 멈춰 있다.
옷을 입고 창고로 달려갈 것인가, 그냥 다시 잘 것인가.
이 질문에 만능의 답은 없다. 하지만 그 밤이 오기 전에 알람을 등급별로 나눠 놓았는지가, 푹 잘 수 있는 당직 기술자와 밤에 세 번 깨는 기술자를 가른다. 나는 수많은 창고를 봐 왔는데, 첫해 WCS 알람 전략이 "전부 보내고, 전부 울려라"였다. 어떻게 되는지 짐작할 수 있을 것이다. 당직 기술자의 전화는 하룻밤에 십수 번 울리고, 3개월 뒤에는 모르는 번호를 전부 차단한다. 그러던 어느 밤, 진짜로 뭔가 고장 나고, 라인은 4시간 멈춰 있는데 아무도 모른다.
2023년에 나는 캘리포니아 온타리오의 3PL에서 프로젝트를 했다 — 약 120,000 평방피트, 컨베이어와 분류 풀 자동화였다. 야간 근무에는 한 달에 400건이 넘는 WCS 알람이 왔다. 그중 새벽 3시에 정말 사람이 필요했던 건 10건도 안 됐다. 우리는 알람 목록을 한 줄씩, 세 번에 걸쳐 검토하는 데 3주를 썼고, 전부를 세 등급으로 나눴다. 야간 호출은 하룻밤에 1~2건으로 줄었다. 교대 감독자는 "몇 주 만에 처음으로 밤새 푹 잤다"고 말했다.
이 시스템은 복잡하지 않다. 모든 규칙은 뼈아픈 경험을 통해 얻은 것이다.
알람이 사라지는 방법은 세 가지뿐: 라인이 멈추거나, 라인이 비틀거리거나, 아직 아무도 몰라도 되거나
5단계니 6단계니 만들지 마라. 새벽 3시에는 아무도 구분 못 한다. 세 개면 충분하다.
L1 — 셧다운: 라인이 멈췄다, 현장에 와라. 라인 완전 정지, 출고 웨이브가 위험한 상태, 안전 관련(비상정지, 안전문, 라이트 커튼)은 전부 여기다. 이 경우 당직 기술자는 15분 안에 현장에 도착한다. 내가 말한 건 현장에이지, "전화를 걸어 달라"가 아니다. 전화로는 컨베이어를 못 고친다.
L2 — 감속: 라인이 비틀거린다, 가능하면 원격으로 처리하라. 디레이팅 운전 중인 컨베이어 섹션, 판독률이 떨어지고 있는 스캐너, 막히기 직전이라 수동 조치가 필요한 분류 슈트. 이것들은 먼저 문자로 보낸다. 기술자는 원격으로 접속해 재시작을 시도하고, 안 되면 현장으로 간다. 대응 기한은 1시간까지 늘어나며, 교대 인수인계 때 반드시 종결해야 한다.
L3 — 경고: 기록해 두고, 낮에 살펴봐라. 센서 드리프트 경고, 아직 한도 내에서 뜨겁게 돌고 있는 모터, 한 번뿐인 통신 패킷 손실. 이것들은 시스템 로그에 들어간다. 문자도 전화도 없다. 주간 근무의 설비 책임자가 매일 아침 10분씩 훑어본다.
알람을 어느 등급에 넣을지는 어떻게 정할까. 나는 세 가지 질문을 쓴다. 알람이 세 가지에 모두 명확히 답할 수 있으면, 자리가 정해진다.
하나 — 이 알람이 울렸을 때, 라인이 멈췄는가. 멈췄으면 L1, 논쟁의 여지 없다. 둘 — 스스로 회복할 수 있는가. 스캐너 판독 오류는 다음 박스에서 자연스럽게 풀리기도 한다. 자가 회복되는 건 최대 L2다. 셋 — 아침 교대까지 기다리면 실제 손해가 생기는가. 없으면 L3이다.
경계선이 어려운 부분이다. 나의 경험칙: 헷갈리면 L2에 넣어 두고, 한 달 치 데이터에 결정하게 하라. 그리고 L1 목록은 짧게 유지하라. L1 알람이 20개를 넘는 창고는 기준이 너무 낮다 — 그건 등급이 없는 것과 같다.
전화는 늘 가장 깊이 자고 있는 사람에게 온다
등급 나누기가 1단계다. 2단계는 에스컬레이션 체인이고, 철학은 한 문장으로 요약된다: 등급이 높을수록, 누군가를 깨우려고 더 애쓴다.
L1: 즉시 전화, 백업으로 문자. 3분 안에 응답이 없으면 자동으로 두 번째 연락처 — 교대 관리자 — 에게 전화를 건다. L2: 먼저 문자. 30분 안에 확인이 없으면 L1 방식의 전화로 에스컬레이션한다. L3: 아무도 깨우지 않는다, 기록만.
당직 로테이션은 진짜로 돌아가야 한다 — 주 단위, 컨트롤룸 벽에 게시. "Dave가 설비 담당이니까 항상 Dave"는 안 된다. Dave도 자야 한다. 로테이션 표에는 두 번째 연락처와 시스템 통합업체의 24시간 지원 번호도 올려야 한다. 새벽 2시에 통합업체 번호를 연락처에서 뒤지는 사람을 나는 너무 많이 봤다.
여기가 큰 함정이다: 모든 알람을 전화 울림에 연결하지 마라. 나는 한 현장이 편한 길을 택한 걸 봤다 — 200개가 넘는 WCS 알람, 전부 전화에 연결했다. 기술자는 첫 주에는 전화를 받았다. 두 달째에는 전화가 방해금지 모드였다. 세 달째에는 번호를 바꿨다. 알람 전략의 제1 법칙은 신뢰다: 울리는 건 전부, 깨울 가치가 있어야 한다. 그렇지 않으면 사람들은 전화를 안 받는다.
하나 더: 문자는 인간답게 써라. "WCS ALM-4127 SEG-07 ESTOP"은 새벽 3시의 반쯤 잠든 머리에 아무 의미도 없다. 이렇게 고쳐 써라: "섹션 7 컨베이어 비상정지, 라인 전체 중단, L1, 와주세요." 몇 마디 더 붙이면 "잠깐, 그게 어떤 알람이었지?"라는 대화를 세 번 왕복하는 걸 아낄 수 있다.
잘못된 등급은 등급이 없는 것보다 나쁘다
등급은 정해 놓고 잊는 게 아니다. 설비는 낡고, 프로세스는 바뀐다 — 작년 L2였던 게 올해 L1일 수 있다. 나의 습관은 매달 30분 알람 리뷰다, 세 명이 참석한다: 교대 관리자, 설비 책임자, 프로젝트 오너다. 고정 안건: 지난달 L1이 전부 진짜 L1이었는가? L2에서 올려야 할 게 있는가? L3이 세 번 연속 울린 게 있는가 — 반복되는 L3은 추세이고, 추세는 L2로 승격한다.
오경보 관리는 일의 나머지 반이다. 등급이 죽는 가장 흔한 원인은 오경보가 L1에 대한 신뢰를 갉아먹는 것이다. 포토아이가 틀어져서 이상한 모양의 박스가 올 때마다 비상정지가 트리거된다고 치자 — 하룻밤에 여덟 번, 전부 오경보. 아홉 번째에 기술자가 일어날까? 안 일어난다. 그래서 규칙: 1주일에 3번 이상 오작동하는 알람은 등급을 내리고, 시정 작업 지시를 발급한다. 고쳐질 때까지 L1으로 돌아오지 않는다.
그리고 자동으로 회복할 수 있는 건 절대 전화에 닿지 않게 해라. WCS에는 이미 자동 재시도 로직이 있다 — 스캐너 판독 오류는 알람을 올리기 전에 세 번 재시도한다. 먼저 기계가 스스로 애쓰게 두어라, 인간은 포기했을 때만 불러라. 이 한 가지 원칙만으로 야간 호출의 최소 3분의 1이 사라진다.
마지막으로, WCS와 WES의 경계에 대해 적어 둔다. 아무도 두 알람 목록을 섞지 않게 하려고: WCS는 실행 계층의 책임이다 — 설비가 지시대로 움직이는가. WES는 웨이브와 작업 배정의 책임이다 — 일이 합리적으로 흐르는가. 컨베이어 비상정지는 WCS다. 밸런스가 무너진 분류 배정은 WES다. 두 목록은 분리해 두어라. 새벽 3시에 설비 담당자에게 전화할지, 계획 담당자에게 전화할지 바로 안다.
내일 당장 할 수 있는 일: 오늘 밤, 지난 30일간의 WCS 알람을 추출하라. 인쇄하든 화면에 띄우든, 교대 관리자와 설비 책임자와 한 시간 앉아서 한 줄씩 L1, L2, L3 태그를 붙여라. 그리고 세어라: L1이 20개를 넘으면 기준이 너무 낮다 — 잘라라. 헷갈리는 건 L2에 넣고, 다음 달 리뷰에서 다시 본다. 한 시간 작업이면, 다음 달에는 당직 기술자가 밤새 푹 잔다.
영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.
