2023년 가을, 캔자스시티 외곽의 140,000평방피트 식품 물류센터, 2:47 a.m. 야간 근무 감독자가 전화했고, 떨리는 목소리가 들렸다. 스태커 크레인 8대가 통로 한가운데서 멈춰 있었다. 화면의 태스크 큐는 20분째 움직이지 않았다――창고 제어 시스템이 패치를 받은 직후였고, 태스크 스케줄러는 죽어 있었다. 조명은 켜져 있었다. 전원은 정상이었다. 크레인은 고장 나지 않았다. 시스템의 두뇌만 뒤엉켜 버린 것이었다. 그 와중에도 WMS는 계속 웨이브를 내려보냈고, 출고 트럭들은 이미 도크 문 앞에 줄을 서 있었다.
분명히 해두자: 이것은 정전이 아니다. 블랙아웃은 오히려 다행이다――발전기가 돌아가고, 모두 큰일이 났다는 걸 알고, 플레이북은 뻔하다. 소프트웨어 고장이 더 나쁜 건, 반쯤 살아 있기 때문이다. 모든 게 멀쩡해 보인다. 아무것도 움직이지 않는다. 그리고 야간 근무자들의 첫 본능은 언제나 "좀 더 기다리면 저절로 고쳐지지 않을까"다. 나는 그 본능을 타고 2 a.m.부터 5:30 a.m.까지 기다린 창고를 본 적 있다. 첫 배송 예약 창을 놓치고, 오전 내내 체선료(detention fee)를 물며 일정을 조정했다. 기다리는 것이 메뉴에서 가장 비싼 선택지다.
먼저, 실제로 고장 난 레이어를 찾아라
AS/RS는 세 레이어로 돌아간다: WMS가 오더를 내리고, WCS가 스케줄링하며, 크레인 PLC가 실행한다. 어느 레이어가 고장 났는지가 이후 모든 행동을 결정하므로, 일단 재부팅부터 하지 마라.
얼어붙은 WCS가 가장 흔한 경우다: 모든 크레인이 온라인으로 표시된 채 제자리에서 오지 않는 지시를 기다리고 있는데, 큐만 멈춰 있다. PLC 레이어 문제는 보통 크레인 1대에 알람이 울리는 반면 다른 통로는 계속 돌아간다. 네트워크가 들쑥날쑥한 게 가장 악질이다――태스크가 들어왔다 나갔다 하고, 현장은 유령이 나온 것처럼 보인다.
가장 비쌌던 교훈은 2019년 온타리오의 한 창고였다. WCS가 죽은 것처럼 보이자 시프트 매니저는 한 치의 망설임 없이 서버를 재부팅했다. 진행 중이던 모든 태스크가 상태를 잃었다. 수십 개의 팔레트가 시스템상의 로케이션과 맞지 않게 되었고, 정합하는 데 꼬박 3일간의 사이클 카운팅이 필요했다. 정상 처리량의 일부로 3일간 수동 출고 검증. 그 이후의 철칙: 무엇이든 건드리기 전에 로그를 읽어라. 재부팅은 마지막 수단이지 첫 번째 조치가 아니다. 행동하기 전에 세 가지를 확인하라: WCS 모니터에서 마지막으로 정상 디스패치된 태스크의 타임스탬프, 모든 크레인 PLC가 여전히 온라인인지, 그리고 WMS-WCS 인터페이스 하트비트가 정상인지. 10분의 확인이 30분짜리 해결과 3일짜리 엉망의 차이를 만든다.
무엇이든 하기 전에 큐를 드레인하라
장비는 정상인데 WCS 레이어 문제임을 확인했다면, 첫 번째 단계는 수리가 아니라 드레인이다. 크레인에 이미 디스패치된 태스크는 자연스럽게 완료되도록 두고, WMS에서 새로 릴리스하는 것은 동결한다. 순서가 중요하다: 포크와 컨베이어 위의 팔레트는 누군가의 것이다. 하드 스톱은 운반 도중에 버려두는 것이고, 나중에 찾기는 요원하다.
드레인 중 현장은 정확히 세 가지를 한다: WMS의 웨이브 릴리스 동결, 진행 중인 태스크가 스스로 완료되도록 두기, 컨베이어에 멈춘 팔레트의 위치를 수동으로 기록하기. 느리게 느껴진다――보통 수십 분이 걸린다――그리고 누군가는 항상 서두르라고 압박할 것이다. 그러지 마라. 드레인이 사주는 것은 재고 정확도다. 온타리오 창고를 기억하라: 30분짜리 드레인을 건너뛰고 3일간의 정합 작업으로 값을 치렀다. 그 트레이드오프는 한 번만 배우면 된다.
디그레이디드 모드의 실제 운영: 반자동과 수동
WCS가 당분간 돌아오지 않지만 오늘의 트럭은 기다릴 수 없을 때는 디그레이디드로 운영한다. 인원에 따라 두 가지 기어가 있다.
1단은 반자동이다: 크레인을 단독(standalone) 모드로 전환하고, 각 통로 입구에 오퍼레이터를 두어 인쇄된 태스크 시트에서 입고와 출고를 디스패치한다. 처리량은 정상의 대략 3분의 1에서 절반으로 떨어지지만, 흐름은 멈추지 않고 트럭은 계속 차례차례 적재한다. 2단은 완전 수동이다: 지게차가 통로 끝에서 작업하고, 오퍼레이터가 손으로 피킹하며, 모든 이동은 WMS에 수동 재고 트랜잭션으로 입력한다. 원시적으로 들리지만, 그날 밤 캔자스시티에서는 반자동이 6시간을 버텨냈고, 트럭 한 대도 놓치지 않고 당일의 출고 계획을 달성했다.
디그레이디드 모드가 당신을 구할지 묻힐지를 결정하는 것은 두 가지 디테일이다. 첫째, WMS가 수동 태스크 모드로 전환되어야 한다. 자동화 리듬대로 웨이브를 계속 릴리스하면, 현장이 처리하는 속도보다 태스크가 더 빨리 쌓인다――불을 끄면서 기름을 붓는 꼴이다. 둘째, 모든 수동 이동을 기록하라: 누가 건드렸는지, 어느 팔레트를, 어느 로케이션에서 어디로. WCS가 복구되면 실물과 시스템을 대조한다. 그 손글씨 기록이 없으면, 차이점들은 다음 실사까지 묻힌 채로 남는다――그리고 그때가 되면 누가 무엇을 잘못 옮겼는지 말해줄 사람이 없다.
훈련 체크리스트: 얼마나 자주면 충분한가
연습해 본 적 없는 디그레이디드 모드 절차는 없는 것과 마찬가지다. 실제 고장이 난 2 a.m.에 40페이지짜리 매뉴얼을 읽는 사람은 없다. 전부 근육 기억이다.
내 추천: 분기마다 테이블탑(상황 토론) 훈련――시프트 매니저, WCS 벤더, IT가 한 방에 모여 30분간 전체 시퀀스를 이야기한다. 그리고 연 1회 실전 훈련: 물량 적은 야간 근무를 골라 실제로 2시간 수동 모드로 운영한다. 실전 훈련은 항상 망가진 무언가를 드러낸다. 첫 훈련이 매끄럽게 끝나는 건 본 적이 없다.
그 전에, 이것들을 준비해 두라:
- WCS 벤더의 긴급 연락처를 인쇄해 제어실 벽에 붙여라――누군가의 휴대폰에만 저장된 것으로는 안 된다, 2 a.m.에 그 누군가가 전화를 받지 않을 수 있으니까;
- 빈 수동 태스크 시트 템플릿을 미리 인쇄해 현장 스테이션에 두어라――위기 한가운데 프린터를 찾아 헤매지 말고;
- WMS 수동 모드 전환 절차를 한 장으로 정리해 콘솔 옆에 붙여라;
- 드레인과 디그레이디드 전환을 명령할 권한자를 한 명 지명하라――단 한 명만. 3 a.m.에 세 명이 지시를 내리는 것은 그 자체로 재앙이다;
- 매 훈련 후 숫자 하나를 기록하라: 고장 감지부터 디그레이디드 모드 가동까지 몇 분. 적어 두어라. 다음에 상사에게 예산과 인원을 요청할 때의 탄약이다.
그래서 질문이다: 당신의 WCS가 마지막으로 고장 났을 때, 디그레이디드 모드가 가동되기까지 얼마나 걸렸나? 답이 "한 번도 해본 적 없다"라면, 다음 2 a.m.에 전화가 울릴 때, 가장 먼저 패닉에 빠질 것은 장비가 아니다. 사람이다.
영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.
