먼저 결론부터 말씀드리겠습니다. 연동이 다운되었을 때 가장 먼저 알아야 할 사람은 고객도, 창고 현장도 아닙니다. 여러분의 모니터링 시스템이어야 합니다. 고객이 불만을 제기해서야 팀이 알게 된다면, 여러분의 모니터링은 장식에 불과합니다. 저는 매번 운영 시작 전에 이렇게 말하고, 운영 시작 당일 밤에도 반복합니다. 이 실패를 세 번이나 봤기 때문입니다. 비용은 매번 달랐지만, 근본 원인은 매번 같았습니다. 아무도 알림을 진지한 업무로 여기지 않았다는 것입니다.

첫 번째는 전자상거래 창고에서였습니다. WMS와 마켓플레이스 사이의 주문 인터페이스가 새벽 두 시에 다운되었습니다. 아무도 몰랐습니다. 여덟 시에 창고가 문을 열었고, 피커들은 그날 주문이 평소보다 훨씬 적다는 것을 알아차렸으며, 누군가는 일찍 퇴근하겠다고 농담했습니다. 열 시가 되어서야 고객 서비스에 주문이 이틀 동안 발송되지 않았다는 문의 전화가 들어오기 시작했고, 그제야 누군가 인터페이스가 여덟 시간 동안 다운되어 있었다는 것을 깨달았습니다. 그때쯤 밀린 주문은 천 건을 넘어섰고, 지원 전화는 폭주하고 있었습니다. 이 실패를 처음 본 것이 그때였습니다.

두 번째는 더 전형적이었고, 잡아내기가 더 어려웠습니다. 인터페이스가 완전히 멈춘 것이 아니라, 주문을 간헐적으로 누락했습니다. 대시보드는 계속 초록색이었지만, 매일 몇 퍼센트의 주문이 조용히 사라졌습니다. 고객들은 산발적으로 불만을 제기했고, 창고는 주문을 하지 못한 것으로 여겼으며, 피크 시간에 인터페이스가 시간 초과되고 일부 주문이 다시 기록되지 않았다는 것을 발견하기까지 거의 두 주가 걸렸습니다. 간헐적 장애는 전체 장애보다 찾기가 더 어렵습니다. 단일 알림 임계값을 한 번도 넘지 않기 때문입니다.

세 번째는 반대 문제였습니다. 알림이 너무 많았습니다. 전화가 하루에 수십 번 울렸고, 거의 대부분이 잡음이었습니다. 운영 엔지니어는 지쳐서 알림 그룹을 음소거했고, 그래서 정말로 무언가 고장 난 날, 알림이 나갔지만 아무도 보지 못했습니다. 음소거된 모니터링은 모니터링이 없는 것과 같습니다.

세 번의 실패, 세 가지 죽는 방법, 하지만 교훈은 하나입니다. WMS 모니터링과 알림을 어떻게 설정하느냐가 연동이 다운되었을 때 누가 먼저 알게 되는지를 결정합니다.

WMS 연동 모니터링이 감시해야 할 것: 네 가지 신호, 모두 필요합니다

WMS 연동 모니터링과 알림 설정은 무엇을 감시할지 정하는 것부터 시작합니다. 제 프로젝트에서는 고객에게 최소 네 가지 신호를 감시하도록 요청합니다.

첫 번째는 연결성입니다. 인터페이스에 아예 도달할 수 있는가. 파트너 인터페이스를 일정에 따라 프로브합니다. 성공한 프로브는 기록되고, 실패한 프로브는 즉시 알림을 보냅니다. 그리고 프로브는 네트워크 연결성이 아니라 비즈니스 연결성을 확인해야 합니다. 정상이라고 부르기 전에 실제로 돌아오는 응답이 필요합니다. 많은 프로젝트는 네트워크만 프로브하고, 네트워크가 살아 있는 동안 파트너 서비스가 오류 코드를 반환하면 모니터링은 이를 완전히 놓칩니다.

두 번째는 성공률입니다. 주문 전송, 재고 동기화, 출하 콜백, 각 인터페이스는 자체 성공률이 필요합니다. 성공률이 떨어지면, 몇 퍼센트 포인트만 떨어져도 알림을 보내야 합니다. 앞서 설명한 간헐적 주문 손실은 아무도 임계값을 감시하지 않는 가운데 성공률이 조용히 미끄러지던 것이었습니다. 제 방식은 인터페이스별로 임계값을 설정하는 것으로, 핵심 인터페이스는 더 엄격하게, 지원 인터페이스는 더 느슨하게 설정합니다.

세 번째는 지연 시간입니다. 인터페이스는 살아 있지만, 응답 시간이 일 초에서 열 초로 늘어났습니다. 이것은 경고 신호이며, 피크 시간에 가장 중요합니다. 지연 시간이 오르면, 시간 초과 손실이 바로 뒤따릅니다. 지연 시간 임계값은 피크 시간과 비피크 시간에 따라 달라야 합니다. 하루 종일 하나의 임계값만 쓰면 조용한 시간에 오경보가 나고, 피크 시간에는 너무 늦게 알립니다.

네 번째는 밀린 작업입니다. 큐에 처리되지 않은 채 몇 개의 메시지가 앉아 있는가. 정상적인 조건에서 밀린 작업은 수십 건 범위 내에서 변동해야 합니다. 수백 건을 넘어 계속 증가하면, 하류 쪽이 따라가지 못하고 있는 것입니다. 이 신호의 장점은 파트너의 응답에 의존하지 않는다는 것입니다. 파트너 서비스가 완전히 침묵해도, 밀린 작업은 스스로 계속 늘어납니다.

네 가지 신호가 모두 함께 필요합니다. 하나라도 빠지면 사각지대가 생깁니다. 연결성은 살아 있는지, 성공률은 무언가 손실되고 있는지, 지연 시간은 충분히 빠른지, 밀린 작업은 막혀 있는지를 알려줍니다. 네 가지가 함께해야 연동 상태의 전체 그림을 얻을 수 있습니다.

WMS 연동 모니터링과 알림 설정 방법: 심각도, 담당자, 시간대

무엇을 감시할지 알았다면, 다음 단계는 알림을 어떻게 구성할지입니다. 제 규칙은 세 가지 말입니다. 심각도, 담당자, 시간대.

심각도는 알림을 세 가지 수준으로 나누는 것입니다. 일 수준은 핵심 인터페이스 다운, 성공률 붕괴, 또는 멈추지 않고 치솟는 밀린 작업입니다. 이는 한밤중이라도 당직 리드에게 전화와 문자로 즉시 나갑니다. 이 수준은 지연 시간이 임계값을 초과하거나 성공률이 소폭 하락한 것으로, 근무 시간 중에 당직 엔지니어가 처리할 수 있도록 작업 그룹에 보냅니다. 삼 수준은 정보성으로, 예를 들어 자동 재시도로 성공한 파트너의 일회성 시간 초과입니다. 이는 로그에만 남기고 아무도 방해해서는 안 됩니다.

담당자는 수준마다 다른 사람에게 간다는 뜻입니다. 일 수준 알림은 운영 엔지니어뿐만 아니라 결정을 내릴 수 있는 사람에게 도달해야 하며, 운영 리드에게도 가야 합니다. 인터페이스 장애는 출하에 영향을 미치므로, 운영 리드는 즉시 알고 수동 폴백 계획을 시작할지 결정해야 합니다. 이 수준 알림은 운영 엔지니어와 구현 엔지니어에게 갈 수 있습니다. 삼 수준 알림은 아무에게도 가지 않습니다. 검토 회의를 위해 있는 것입니다.

시간대는 밤을 낮과 다르게 처리한다는 뜻입니다. 일 수준은 낮이든 밤이든 즉시 대응하고, 이 수준은 아침까지 기다릴 수 있습니다. 새벽 세 시에 정보성 메시지로 두 번 깨우면 그 사람은 그룹을 음소거할 것이고, 일단 음소거되면 아무도 진짜 알림을 보지 못합니다.

운영 시작 당일 밤 체크리스트: 항목별로 하나씩 확인하세요

매번 운영 시작 당일 밤, 저는 고객과 함께 앉아 아래 목록을 하나씩 확인합니다. 이 실패를 세 번 봤기 때문에, 목록의 모든 항목은 실제 돈으로 치른 대가입니다.

첫째, 상태 프로브가 실제로 동작하고 있는가. 인터페이스를 수동으로 끊고 몇 분 안에 알림이 도착하는지 확인합니다. 한 번도 테스트되지 않은 알림은 알림이 아닙니다.

둘째, 성공률 임계값이 인터페이스별로 설정되어 있는가. 핵심 인터페이스와 지원 인터페이스가 하나의 임계값을 공유한다면, 분리하세요.

셋째, 지연 시간 임계값이 피크 시간과 비피크 시간으로 나뉘어 있는가. 지난주 피크 시간 지연 시간 데이터와 비교하세요.

넷째, 밀린 작업 알림 기준은 무엇인가. 몇 건, 그리고 얼마나 오래 지나야 알림이 나가는가. 그 숫자를 당직표 옆에 적어두세요.

다섯째, 알림 수신자가 올바른가. 일 수준 전화번호에 연락이 되는가. 당직표가 바뀌었는데, 알림 목록은 업데이트되었는가. 만료된 연락처 목록은 가장 흔한 장애 지점 중 하나입니다.

여섯째, 조용한 시간대와 중복 제거가 있는가. 같은 장애가 오 분 안에 열 번 알림을 보내서는 안 됩니다. 반복 알림은 채널이 음소거되는 가장 빠른 길입니다.

일곱째, 폴백 계획이 문서로 적혀 있는가. 인터페이스가 다운되면 창고는 어떻게 수동으로 출하하는가. 재고가 동기화를 벗어나면 운영은 어떻게 조정하는가. 알림의 끝점은 "알았다"가 아닙니다. "누군가 계획에 따라 행동한다"입니다.

이 일곱 가지 항목이 모두 통과한 뒤에야 저는 프로젝트를 운영 시작하게 합니다.

사람들이 가장 자주 놓치는 세 가지 장애 지점

사람들이 가장 자주 놓치는 세 가지 장애 지점으로 마무리하겠습니다. 첫 번째는 자신의 시스템만 모니터링하고 파트너 인터페이스는 모니터링하지 않는 것입니다. 파트너가 다운된 동안 WMS 쪽은 모든 것이 괜찮아 보일 수 있으며, 모니터링은 양쪽을 모두 커버해야 합니다. 최소한 파트너의 비즈니스 응답까지는.

두 번째는 담당자가 없는 알림입니다. 알림이 그룹에 도착하고, 모두가 볼 수 있지만, 아무도 처리하지 않습니다. 모든 알림 수준에는 이름 있는 담당자가 필요하며, 당직표에 이름과 전화번호가 있어야 합니다. 그룹의 메시지는 누군가 책임을 지는 것과 같지 않습니다.

세 번째는 운영 시작 후 알림을 한 번도 검토하지 않는 것입니다. 알림 로그는 정기적인 검토가 필요합니다. 오경보가 너무 자주 발생하는 임계값은 조정해야 하고, 빠져나간 시나리오는 추가해야 합니다. 모니터링은 일회성 설정이 아닙니다. 물량, 인터페이스 수, 파트너 변화와 함께 성장해야 합니다.

연동이 다운되었을 때 누가 먼저 알게 되는가. 그 답이 여러분의 창고가 선제적으로 화재를 진압할지, 수동적으로 비난을 받을지를 결정합니다. 모니터링이 제대로 설정되어 있으면 삼 분 안에 알고 고객이 알아차리기 전에 고칩니다. 없으면 피해가 이미 발생한 뒤 여덟 시간 만에 알게 됩니다.

운영 시작 당일 밤, 이 목록을 확인하세요. 한 시간의 작업이 여덟 시간의 장애와 천 건의 밀린 주문을 막아줄 수 있습니다.

Lin Xiao, WMS 구현 컨설턴트 지음 영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.