먼저 결론부터 말하겠습니다. 가동 후 WMS가 느려지면 서버가 문제인 경우는 드뭅니다. 데이터, 쿼리, 작업, 연동이 가동 후 아무도 돌보지 않은 채 쌓이다가, 그 무게가 결국 시스템을 끌어내립니다. 서버를 추가하는 것부터 시작하지 마십시오. 아래 순서대로 확인하고, 문제가 드러나는 단계에서 멈춰 그곳에서 고친 뒤에야 다음으로 넘어가십시오. 저는 이 똑같은 장애를 세 번 보았습니다. 창고는 매번 바뀌지만, 각본은 그대로입니다.

저는 30건이 넘는 가동 프로젝트를 해왔고, 한 가지 패턴이 계속해서 나타납니다. 첫 주에는 모두가 시스템이 빠르다고 말합니다. 두 번째 달에는 누군가 스캔에 잠깐 걸린다고 말합니다. 세 번째 달에는 피커들이 피크 페이스에서 페이지가 돌아가기를 기다립니다. 피크 시즌이 되면 창고 전체가 시스템을 저주합니다. 시스템 자체는 변하지 않았습니다. 데이터 양이 변했고, 작업 양이 변했고, 연동 호출 양이 변했습니다. 느려짐이 하루 만에 찾아오는 일은 거의 없습니다. 매일 조금씩 찾아오다가, 어느 날 견딜 수 없게 됩니다.

느려진 WMS의 다섯 가지 원인: 먼저 자신의 원인을 찾으십시오

첫 번째 원인은 아카이빙 없는 데이터 증가입니다. 입고 문서, 출고 문서, 실사 문서, 조정 문서는 가동 후에 쌓이기만 합니다. 몇 년이 지나면 하나의 테이블에 수백만 행의 이력이 들어갑니다. 모든 쿼리가 새 문서를 찾기 위해 오래된 문서를 뒤져야 하므로 페이지가 느려집니다. 더 나쁜 것은, 많은 보고서가 기본적으로 테이블 전체를 스캔하므로 보고서 한 번 실행이 데이터베이스 전체를 괴롭힌다는 점입니다.

두 번째 원인은 인덱스와 쿼리 성능 저하입니다. 가동 당시에 만든 인덱스는 그 당시의 쿼리를 위해 설계되었습니다. 비즈니스가 바뀌고, 새로운 쿼리 조건이 나타나고, 오래된 인덱스는 맞지 않게 됩니다. 전형적인 모습은 이렇습니다. 누군가 상태 필터를 추가하거나 시간 내림차순으로 정렬하면 인덱스 사용이 중단되고, 시스템은 전체 테이블 스캔으로 떨어지며, 쿼리 하나가 전체 작업 묶음을 함께 끌어내립니다.

세 번째 원인은 웨이브와 작업 백로그입니다. 웨이브가 너무 많거나, 웨이브를 너무 작게 자르거나, 할당 규칙이 너무 경직되면 작업 풀에 만료되거나 취소되거나 할당할 수 없는 작업이 가득 찹니다. 시스템이 작업을 할당할 때마다 먼저 그 죽은 작업들을 골라내야 합니다. 풀이 클수록 할당은 느려지고, 작업이 큐에 머무는 동안 피커들은 서서 기다립니다.

네 번째 원인은 연동 폴링입니다. 전자상거래 플랫폼, 운송사, 재무 시스템이 모두 일정에 따라 데이터를 가져갑니다. 몇 분마다 폴링하는 것도 있고, 실패 후에도 계속 재시도하는 것도 있습니다. 각 호출은 그 자체로는 작아 보입니다. 합쳐지면 끊임없는 압박이 됩니다. 최악의 형태는 재시도 폭풍입니다. 한쪽에 문제가 생기면 다른 쪽이 필사적으로 재시도하고, 시스템은 자신의 재시도에 의해 쓰러집니다.

다섯 번째 원인은 하드웨어와 동시성이 한계에 닿는 것입니다. 서버는 가동 당시의 물량을 기준으로 크기를 정했는데, 그 후 비즈니스가 성장하고, 주문량이 두 배가 되고, 동시 사용자도 함께 두 배가 되었습니다. 이 원인을 일부러 마지막에 두었습니다. 처음 네 가지를 고치지 않으면 하드웨어를 추가하는 것은 충돌을 미룰 뿐입니다. 막지는 못합니다.

느려진 WMS는 이 순서대로 확인하고, 찾으면 멈추십시오

이것이 제가 프로젝트에서 사용하는 확인 순서입니다. 단계별로 따라가며 건너뛰지 마십시오.

증상 가장 가능성 높은 원인 먼저 확인할 것
모든 페이지가 느리고 오후에 더 심해짐 데이터 증가, 아카이빙 없음 이력 문서량, 아카이빙 정책, 보고서 범위
쿼리 하나만 느리고 다른 페이지는 괜찮음 인덱스와 쿼리 성능 저하 해당 쿼리의 실행 계획, 인덱스 사용 여부
풀이 커 보이는데 피커들이 작업을 기다림 웨이브와 작업 백로그 만료·취소된 작업, 웨이브 규칙
간헐적으로 멈춤, 잠깐은 괜찮다가 다음 순간 나빠짐 연동 폴링 호출량, 실패한 재시도
피크 시즌에 전부 느려졌다가 지나면 회복됨 하드웨어와 동시성 한계 서버 부하, 동시 사용자

첫 번째 단계, 데이터를 보십시오. 이력 문서의 양과 아카이빙 정책이 실제로 한 번이라도 실행된 적이 있는지 확인하십시오. 많은 창고에서 정책은 문서 속에 존재할 뿐 한 번도 실행된 적이 없습니다. 아카이빙은 데이터를 삭제하는 것이 아닙니다. 차가운 이력 문서를 옆으로 옮겨 라이브 쿼리가 뜨거운 데이터만 마주하게 하는 것입니다. 아카이빙하기 전에 재무와 운영 부서와 보관 기간을 확인한 뒤 행동하십시오. 혼자 결정하지 마십시오.

두 번째 단계, 쿼리를 보십시오. 가장 느린 쿼리를 가져와 실행 계획을 읽으십시오. 인덱스가 작동을 멈추는 이유는 대개 아주 사소합니다. 필드 형식이 바뀌었거나, 정렬 방향이 뒤집혔거나, 새 조건에 인덱스가 없습니다. 인덱스 수정은 먼저 테스트 환경에서 검증하십시오. 운영 데이터베이스에 직접 바꾸지 마십시오. 제 가동 당일 밤 체크리스트에는 항상 같은 한 줄이 있습니다. 가동 전에 느린 쿼리를 목록으로 만들 것.

세 번째 단계, 작업을 정리하십시오. 풀에 있는 만료, 취소, 죽은 작업을 세고 일괄 정리하십시오. 웨이브 규칙도 검토하십시오. 웨이브를 너무 작게 자르고 있지는 않은지, 하나의 주문이 여러 웨이브로 쪼개지고 있지는 않은지. 할당 규칙을 바꾸기 전에 작은 범위에서 변경을 시험하고, 피킹 효율이 실제로 좋아지는지 확인한 뒤에야 창고 전체로 확대하십시오.

네 번째 단계, 연동을 보십시오. 시간별 호출량을 뽑아 비정상적인 피크를 찾고 실패한 재시도를 세십시오. 폴링 간격을 넓힐 수 없습니까? 재시도에 상한을 둘 수 없습니까? 실패하면 영원히 재시도하는 대신 알림을 띄울 수 없습니까? 이 단계에서는 종종 놀라운 발견이 나옵니다. 아무도 쓰지 않는 연동이 매일 일정에 따라 데이터를 계속 가져가며, 아무짝에도 쓸모없이 리소스를 먹고 있는 것입니다.

다섯 번째 단계, 이제야 하드웨어를 보십시오. 처음 네 단계가 깨끗한데도 시스템이 여전히 느리다면, 서버 부하와 동시성을 확인하십시오. 이 시점에서 하드웨어를 추가하는 것은 합리적입니다. 추가하기 전에 숫자를 따져보십시오. 물량이 얼마나 늘었는지, 동시성이 얼마나 늘었는지, 병목이 프로세서인지, 메모리인지, 디스크인지. 말할 수 없다면 추가하지 마십시오. 잘못된 곳에 용량을 추가하는 것은 돈 낭비입니다.

계속해서 보게 되는 세 가지 실패

첫 번째 실패는 데이터 증가를 예측하지 않고 가동하는 것입니다. 많은 프로젝트가 가동 당일의 물량만 테스트하고 일 년 후의 물량은 테스트하지 않습니다. 시스템은 첫날에는 날아가듯 움직이고, 인수 검사는 통과하고, 일 년 후에는 데이터가 몇 배로 늘어나 느려짐이 불가피해집니다. 가동 당일 밤 체크리스트에는 반드시 한 줄이 들어가야 합니다. 일 년 후에 예상되는 물량으로 부하 테스트를 할 것.

두 번째 실패는 보고서를 운영 데이터베이스에 직접 실행하는 것입니다. 운영 부서는 보고서를 원하고, 재무 부서는 보고서를 원하고, 소유주는 보고서를 원하는데, 그 보고서 쿼리들이 낮 피크 시간에 운영을 때리므로 업무 운영도 함께 느려집니다. 보고서는 읽기 전용 복제본이나 별도의 보고 경로에서 실행해야지, 라이브 운영과 리소스를 다퉈서는 안 됩니다.

세 번째 실패는 아무도 지켜보지 않는 연동입니다. 모두가 가동 당일에는 연동을 지켜보지만, 순조롭게 돌아가기 시작하면 아무도 다시 보지 않습니다. 호출량은 조금씩 늘고, 재시도는 조금씩 늘고, 시스템이 끌어내려질 때쯤에는 연동 로그에 이미 오래전부터 실패가 가득 차 있습니다. 연동에도 주간 루틴이 필요합니다. 호출량, 실패율, 재시도 횟수를 일주일에 한 번 검토하는 것입니다.

피커들이 매일 아침 시스템이 깨어나기를 기다리며 하루를 시작하는 창고를 본 적이 있습니다. 스캔 한 번에 두 초가 매일 쌓여 수백 번의 피킹을 잃게 했습니다. 고친 뒤 피커가 처음 한 말은, 시스템이 마침내 자신의 손 속도를 따라올 수 있게 되었다는 것이었습니다. 느린 시스템은 결코 기술만의 문제가 아닙니다. 현장 사람들의 시간과 인내를 직접 갉아먹습니다.

그러니 서버를 추가할지 말지를 묻는 것은 그만두십시오. 순서대로 확인하고, 문제가 나타난 단계를 고친 뒤, 월간 루틴에 네 가지를 적어 넣으십시오. 아카이빙, 느린 쿼리 검토, 작업 정리, 연동 확인입니다. 다음 느려짐이 올 때까지 기다렸다가 다시 고치기 시작하지 마십시오.

Lin Xiao, WMS 구현 컨설턴트 지음

영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.