결론부터 말하겠습니다. 창고 시스템 통합 모니터링 알림이 결정하는 것은 장애를 몇 분 만에 찾아내는가, 아니면 몇 시간 뒤에 고객에게서 듣는가입니다. 창고는 항상 가장 늦게 알게 됩니다. 아무도 화면을 보지 않아서가 아니라, 모두가 오류만 주시하고 마땅히 일어났어야 할 일이 일어나지 않은 것을 아무도 주시하지 않기 때문입니다. 창고 시스템 통합 모니터링 알림의 일은 한 문장으로 요약됩니다. 일어나지 않은 일을 주시하라.

저는 이 실패를 정확히 세 번 봤습니다. 최악은 2023년 블랙프라이데이 전날 밤, 한 가정용품 전자상거래 창고에서였습니다. WMS와 택배사 사이의 라벨 API 연결이 새벽 1시 조금 지나 조용히 끊겼습니다. 오류와 함께 죽은 것이 아닙니다. 택배사의 토큰이 만료되었고, 요청은 조용히 거부되고 있었습니다. 오류 로그에는 아무것도 남지 않았습니다. 당직자가 모니터링 대시보드를 흘끗 봤습니다. 전부 녹색. 오류 없음, 이상 없음, 알림 없음.

오전 6시에 피킹 팀이 출근해 보니 라벨 대기열이 비어 있었습니다. 첫 생각은 그날 주문량이 그저 적었다는 것이었습니다. 아무도 걱정하지 않았습니다. 7시 30분에 고객 서비스 전화가 오기 시작했습니다. 어젯밤 주문이 왜 출고되지 않았느냐고요. 파고들어 원인을 찾았습니다. 새벽 1시부터 7시 30분까지, 여섯 시간 반 동안 1,800건이 넘는 주문이 쌓였고, 라벨은 단 한 장도 인쇄되지 않았습니다. 창고 전체가 하던 일을 멈추고 그 1,800건을 처리했습니다. 긴급 배송 업그레이드가 마진을 갉아먹었고, 매장의 지연 출고율은 한도를 훌쩍 넘겼습니다.

사후 분석에서 모두가 같은 질문을 했습니다. 여섯 시간 반 동안 시스템이 정말 1,800건의 주문이 빠져 있다는 것을 알아채지 못했단 말인가. 답은 아니오였습니다. 모니터링은 인터페이스 오류율만 추적했습니다. 오류율이 0이었으니 모니터링은 모든 것이 정상이라고 생각했습니다. 주문 흐름 자체에 계량기를 단 사람은 아무도 없었습니다. 수도꼭지는 틀어져 있는데 계량기가 움직이지 않는다. 바로 그것이 경보를 울려야 할 일입니다.

통합 모니터링: 네 개 층이 아니면 할 필요가 없다

저는 이 함정에 세 번 빠졌고, 교훈은 매번 같습니다. 한 개 층만 보는 것은 아예 보지 않는 것과 같습니다. 지금은 고객을 위해 구축하는 모든 모니터링 설정에 네 개 층이 있고, 어느 하나라도 빠진 채로는 본 가동을 승인하지 않습니다.

첫 번째 층은 하트비트 체크입니다. 모든 외부 인터페이스를 5분마다 ping하고, 성공 응답이 돌아오지 않으면 알림을 울립니다. 중요한 세부 사항이 하나 있습니다. 벤더의 홈페이지가 아니라 실제 업무 엔드포인트를 ping해야 한다는 것입니다. 업무 API는 죽어 있는데 홈페이지가 살아 있는 경우를 저는 여러 번 봤습니다. 하트비트가 두 번 연속 실패하면 알림입니다. 세 번째를 기다리지 마세요.

두 번째 층은 주문 흐름 침묵 알림입니다. 그 블랙프라이데이 사건 이후 제가 가장 강조하는 층입니다. 모든 주문 파이프라인에 침묵 임계값을 둡니다. 정상적인 조건에서 ERP에서 WMS로 이어지는 흐름은 15분마다 최소 몇 건의 주문을 실어 나를 것입니다. 30분 동안 아무것도 도착하지 않으면 오류율이 뭐라고 하든 P1 알림을 울립니다. 성수기에는 시간대별로 임계값을 설정합니다. 새벽 2시부터 5시까지는 물량이 자연히 적으니 임계값을 60분으로 넓히되, 절대로 끄지 마세요. 많은 창고가 "밤에는 주문이 없는 것이 정상"이라는 말과 함께 침묵 알림을 꺼버립니다. 맞습니다. 하지만 여섯 시간 반 동안 주문이 없는 것은 결코 정상이 아닙니다.

세 번째 층은 EDI 997 수신 확인입니다. EDI를 운영한다면 여기에 주의를 기울이세요. 997이 증명하는 것은 딱 하나의 좁은 사실입니다. 거래 상대방의 트랜슬레이터가 파일을 수신했고 그 구조를 파싱할 수 있었다는 것뿐입니다. 상대방의 업무 시스템이 주문을 수락했다는 것을 증명하지도 않고, 상품이 제시간에 출고될 것이라는 것을 증명하지는 더더욱 않습니다. 850 구매 주문은 완벽하게 깨끗한 997을 받고도 상업적으로 거부될 수 있습니다. 잘못된 가격, 단종된 품목, 판매자가 지킬 수 없는 출고 기간. 저는 한 고객이 997이 녹색인 상태로 3주 동안 앉아 있다가 재무팀이 왜 810 송장이 한 번도 결제되지 않았는지 묻는 것을 지켜봤습니다. 주문은 상대방 ERP 안에 갇혀 있었고, 수신 확인이 이미 모두의 머릿속에서 티켓을 닫아버렸기 때문에 아무도 그 층을 보고 있지 않았습니다. 해결책은 두 가지 상태를 따로 추적하는 것입니다. 997이 담당하는 전송 상태와, 855 주문 수신 확인, 856 출고 통지, 810 송장이 담당하는 업무 상태입니다. 둘 다 담당자가 필요합니다.

네 번째 층은 라벨 API 추적 체인입니다. 분실된 라벨은 WMS와 택배사 사이에 끼어 있어 진단이 가장 어려운 장애입니다. 양쪽 다 자신들은 아무 잘못도 하지 않았다고 주장합니다. 제 해결책은 모든 라벨 요청마다 세 개의 타임스탬프를 기록하는 것입니다. WMS가 보낸 시각, 택배사가 응답한 시각, 라벨 번호가 다시 기록된 시각입니다. 이 세 개가 어긋나는 순간, 어느 구간이 막혀 있는지 정확히 알 수 있습니다. 그 블랙프라이데이 창고에 이 세 개의 타임스탬프가 있었다면, 누군가 새벽 1시 30분에 요청이 건물 밖으로 나가지 않고 있다는 것을 알아챘을 것입니다. 7시 30분이 아니라.

모니터링 알림이 너무 많은 것은 알림이 없는 것과 같다

여기 직관에 반하는 이야기가 있습니다. 알림이 많다고 모니터링이 더 좋은 것은 아닙니다. 알림이 너무 많은 것은 알림이 전혀 없는 것과 같습니다.

저는 모니터링이 40가지가 넘는 알림 유형을 울리고, 당직 전화가 하루에 200번 넘게 울리는 고객을 인수한 적이 있습니다. 3일째 되던 날, 당직 엔지니어는 모든 것을 음소거했습니다. 4일째 진짜 P1 장애가 발생했는데 전화는 침묵을 지켰고, 누군가 알아채기까지 창고는 3시간 동안 멈춰 있었습니다. 알림 피로는 알림이 없는 것보다 위험합니다. 모니터링이 존재한다는 착각을 경영진에게 심어주기 때문입니다.

그래서 알림에는 등급이 필요하고, 등급 나누기는 가차 없어야 합니다. P1은 딱 한 가지를 의미합니다. 출고, 라벨 인쇄, 또는 고객과의 약속을 무언가가 막고 있다는 것입니다. P1은 당직 리드에게 직접 전화합니다. 15분 안에 응답이 없으면 매니저에게 에스컬레이션합니다. 30분 동안 조치가 없으면 디렉터에게 올라갑니다. P2는 아직 출고를 해치고 있지는 않지만 2시간 안에 해칠 것이라는 의미입니다. 인터페이스 응답 시간이 두 배가 되었다, 대기열이 쌓이기 시작했다. P2는 문자와 그룹 메시지를 보내고, 전화는 절대 걸지 않습니다. P3는 추세 수준입니다. 어떤 인터페이스의 타임아웃이 지난주보다 이번 주에 30퍼센트 더 자주 발생했다. P3는 일일 보고서에 들어가고 누구도 방해하지 않습니다.

등급 나누기의 기준은 기술적 심각도가 아니라 업무 영향입니다. 인터페이스가 서버 오류를 반환했지만 자동 재시도가 성공하고 주문에 영향이 없다면 그것은 P3이지 P1이 아닙니다. 주문 흐름이 오류율 0인 상태로 30분 동안 침묵했다면 그것은 P1입니다. 이 규칙을 본 가동 전에 적어두고 당직 명단 옆에 붙여두세요. 새벽 3시에 아무도 추측하지 않아도 되도록.

당직 명단 자체도 신경 써야 합니다. 로테이션은 3명이 최소입니다. 두 명이면 조만간 같은 날 둘 다 쉬게 됩니다. 명단은 세 가지 질문에 답해야 합니다. 누가 먼저 대응하는가, 에스컬레이션 연락처는 누구인가, 그리고 개발자를 깨워도 되는 조건은 무엇인가. 마지막 것이 가장 중요합니다. 개발자를 깨우기가 두려워 밤에 장애와 4시간 동안 혼자 씨름하다 결국 개발자를 깨운 당직 엔지니어를 본 적이 있습니다.

본 가동 전날 밤 체크리스트

모든 본 가동 전에는 고객이 이 목록을 직접 따라가게 합니다. 한 항목이라도 빠지면 본 가동은 없습니다.

  1. 모든 외부 인터페이스에 하트비트 체크가 가동되고 있다. 하나를 의도적으로 끊고 5분 안에 알림이 도착하는지 확인한다.
  2. 모든 주문 파이프라인에 침묵 임계값이 설정되어 있고, 피크 시간용과 야간 시간용이 각각 있다.
  3. EDI 파트너에 대해서는 997 수신 확인 모니터링과 업무 문서 대사가 별개의 뷰로 되어 있고, 각각 담당자가 지명되어 있다.
  4. 세 개의 타임스탬프 라벨 추적이 작동하고 있으며, 어떤 주문 번호로든 전송, 응답, 기록 시각을 조회할 수 있다.
  5. P1/P2/P3 등급 규칙이 문서화되어 있고, 명단의 세 사람이 모두 승인했다.
  6. 에스컬레이션 전화번호를 직접 다이얼해 봤다. 연결되고, 밤에 사람을 깨울 수 있다.
  7. 장애 훈련을 실행한다. 인터페이스 하나를 끊고 누군가 알아채는 데, 대응하는 데, 복구하는 데 얼마나 걸리는지 측정한다.

7번 항목이 가장 자주 빠지는 항목이고, 가장 중요합니다. 블랙프라이데이 고객은 본 가동 3개월 후에 첫 훈련을 했습니다. 장애를 알아채는 데 40분이 걸렸습니다. 실제 사고의 여섯 시간 반보다는 훨씬 나았지만, 그래도 너무 느렸습니다. 침묵 임계값을 60분에서 30분으로 조였고, 다음 훈련은 15분 안으로 들어왔습니다. 모니터링은 기술 문제가 아닙니다. 책임 문제입니다. 그리고 훈련이 그것을 실제로 갖고 있다는 유일한 증거입니다.

Lin Xiao, WMS 구현 컨설턴트 지음 영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.