창고 AI 추론을 엣지에서 실행할 것인지 클라우드에서 실행할 것인지 하는 질문은 이제 거의 모든 창고 디지털화 프로젝트에서 등장한다. 한쪽은 컴퓨팅 파워를 창고 현장에 두고, 다른 쪽은 추론을 클라우드로 보낸다. 양쪽 모두 설득력 있는 주장을 할 수 있고, 양쪽 모두 뼈아픈 교훈을 안고 있다. 진짜 질문은 어느 기술이 더 첨단인가가 아니다. 창고 AI 추론이 지연 시간, 비용, 네트워크 장애에 대한 내성 측면에서 실제로 무엇을 요구하는가이다. 이 세 가지 요구사항을 따로 떼어놓으면, 답은 첫인상과 다른 경우가 많다.

같은 창고, 전혀 다른 두 가지 결말

실제 시나리오를 살펴보자. 2024년, 중국 동부에서 가전제품을 취급하는 한 제3자 물류 창고가 육안 검사를 도입했다. 카메라가 소포 라벨을 촬영하고, AI가 라벨 정보를 읽어 시스템 주문과 대조한 뒤, 일치하지 않는 소포를 라인에서 멈추는 방식이었다. 시스템은 처음에 클라우드에서 돌아갔다. 사진이 올라가고, 결과가 내려왔다. 평상시에는 모든 것이 잘 돌아갔다. 그러다 대형 프로모션 밤에 주문량이 몇 배로 불어나면서 문제가 한꺼번에 찾아왔다. 예전에는 1초 이내에 돌아오던 라벨 인식이 몇 초로 늘어졌다. 컨베이어 위의 소포는 기다릴 수 없어 검사 없이 그대로 흘려보냈고, 차단율은 눈에 띄게 떨어졌다. 더 나쁜 것은, 산업단지 광대역의 짧은 장애로 검사 라인 전체가 10분 넘게 멈춰 팀이 수동 샘플 검사에 의존할 수밖에 없었다는 점이다.

같은 창고는 나중에 육안 검사 추론을 현장의 엣지 서버로 옮겼다. 카메라는 이미지를 로컬 컴퓨팅에 직접 전달했고, 결과는 그 자리에서 돌아왔으며, 클라우드에는 모델 업데이트와 데이터 집계만 남았다. 응답 시간은 밀리초 범위로 돌아왔고, 네트워크 장애가 발생해도 검사 자체는 더 이상 멈추지 않았다. 교훈은 단순하다. 창고 AI 추론을 어디에서 실행해야 하는지는 먼저 그 작업이 얼마나 지연을 견딜 수 있는지에 달려 있다. 육안 검사, 피킹 검증, 이상 알림은 답이 반 박자만 늦어도 가치를 잃는다. 엣지에 속하는 작업이다. 반면 수요 예측, 보충 전략, 월간 성과 분석은 답이 몇 분 늦게 와도 아무것도 잃지 않는다. 클라우드가 더 나은 거처다.

두 번째 사례는 의류 창고 업체에서 나왔다. 2023년, 이 회사는 고객 서비스 문의와 주문 예외 분석에 클라우드 기반 AI를 도입했고 결과는 좋았다. 이듬해 팀은 피킹 경로 최적화도 클라우드로 옮기고 싶어 했다. 문제는 호출량이었다. 피킹 경로 최적화는 위치, 재고, 주문 데이터를 끊임없이 읽어야 한다. 한 번의 호출은 작지만 호출이 빈번하고, 클라우드 과금은 호출 단위다. 몇 달 만에 추론 호출 요금이 조용히 원래 예산을 넘어섰다. 검토 결과 불일치가 드러났다. 클라우드에서의 고빈도 작업은 일회성 하드웨어 구매보다 빠르게 오르는 청구서를 만든다. 클라우드가 문제는 아니었다. 과금 모델과 작업 프로필 사이의 부적합이 문제였다.

엣지 컴퓨팅 대 클라우드: 세 가지 별개의 계산

지연 시간, 비용, 장애 복원력은 어떤 비교가 의미를 갖기 전에 별도로 계산해야 한다.

차원 엣지 컴퓨팅 클라우드 추론
추론 지연 시간 로컬 컴퓨팅, 보통 밀리초 범위이며 네트워크 영향을 거의 받지 않음 네트워크 왕복에 따라 달라지며, 안정적일 때 수백 밀리초, 혼잡할 때 수 초
장애의 영향 로컬 추론은 계속 실행되며, 모델 업데이트와 집계만 손실됨 의존 작업은 네트워크가 복구될 때까지 완전히 중단됨
초기 투자 엣지 서버와 가속기가 필요하며 일회성 비용이 높음 하드웨어 비용이 거의 없고 종량제이며 진입 장벽이 낮음
장기 비용 대부분 고정 비용으로 사용량이 늘수록 상각이 잘 됨 호출량에 따라 선형으로 증가하며 고빈도에서는 엣지 하드웨어를 앞지를 수 있음
유지보수 하드웨어를 이해하는 현장 인력이 필요하며 모델 업데이트는 거점별로 배포됨 벤더가 운영하는 운영 관리; 한 번의 모델 업데이트가 모든 곳에 한 번에 도달함
확장 장비 추가에 수주가 걸림 용량이 수요에 따라 수분 만에 확장됨

비용은 가장 자주 잘못 계산되는 항목이다. 사람들은 엣지 서버 한 대 가격과 클라우드 청구서 한 달치를 비교하는데, 이는 일회성 비용과 월간 비용의 비교로 무의미하다. 올바른 방법은 3년 총소유비용을 계산하는 것이다. 엣지란 하드웨어에 전기 요금과 현장 유지보수 인건비를 더한 것이고, 클라우드란 호출 요금에 데이터 전송, 경우에 따라 전용 회선을 더한 것이다. 중규모 창고를 예로 들어보자. 육안 검사가 하루에 수십만 건의 추론을 실행한다면, 3년간의 클라우드 호출 요금은 엣지 하드웨어의 일회성 비용을 쉽게 넘어설 수 있다. 하루에 수천 건만 실행한다면 엣지 하드웨어는 제대로 쓰이지 못하고 종량제 클라우드가 더 저렴하다. 분기점은 기술이 아니다. 호출량이다.

장애 복원력은 가장 자주 과소평가되는 계산이다. 창고 네트워크는 사무실 네트워크가 아니다. 단지 광대역, 사내 Wi-Fi, 통신사 회선은 각각 고장 날 수 있다. 핵심 질문은 네트워크가 끊겼을 때 어떤 프로세스가 계속 돌아가야 하는가이다. 피킹 검증, 라벨 검사, 출고 차단은 10분간 멈출 수 없다. 그 시간에 잘못 출고된 소포를 회수하는 비용이 예방하는 비용보다 훨씬 크기 때문이다. 이들을 엣지에 두는 것은 핵심 경로에 대한 보험이다. 보고, 예측, 분석은 몇 시간의 장애라면 실질적 손해 없이 기다릴 수 있으므로 클라우드에 머물러도 된다.

여기 직관에 반하는 판단이 있다. 엣지 컴퓨팅의 가장 큰 가치는 종종 속도가 아니라 안정성이다. 많은 팀이 수백 밀리초를 아끼려고 엣지를 도입하지만, 대부분의 창고 시나리오에서는 수백 밀리초를 아무도 알아채지 못한다. 창고 관리자를 밤에 깨우는 것은 AI 파이프라인 전체를 무너뜨리는 네트워크 지터이다. 엣지 컴퓨팅이 가치 있는 것은 먼저 네트워크가 안 될 때도 작업이 계속되기 때문이고, 빠른 것은 그다음이다. 반대로 클라우드의 가장 큰 가치는 종종 더 낮은 비용이 아니라 더 적은 걱정이다. 모델 반복, 탄력적 용량, 외주 운영은 청구서에는 보이지 않지만 3년 동안 조용히 예산을 소모한다.

시나리오별 라우팅: 각 워크로드에 엣지인가 클라우드인가

세 가지 계산을 합치면, 작업을 특성에 따라 라우팅하는 순간 창고 AI의 엣지 컴퓨팅 대 클라우드 결정은 단순해진다.

  • 엣지: 육안 검사, 라벨 인식, 피킹 검증, 이상 알림, 장비 상태 모니터링. 이 작업들은 세 가지 공통점이 있다. 고빈도, 실시간, 네트워크 의존 다운타임에 대한 내성 제로이다.
  • 클라우드: 수요 예측, 보충 전략, 재고 건전성 분석, 월간 성과 보고서. 저빈도이고 기다릴 수 있으며 대용량 데이터를 다루고 빠른 모델 반복의 혜택을 받는다.
  • 하이브리드: 피킹 경로 최적화, 웨이브 계획, 인력 일정. 낮에는 실시간 응답을 위해 엣지에서 경량 버전을 실행하고, 밤에는 전체 최적화를 위해 클라우드에서 무거운 재계산을 수행할 수 있다.

하이브리드 배포는 이상적으로 들리지만 함정이 있다. 모델 버전 드리프트이다. 엣지에서는 3개월 전에 배포된 경량 모델이 돌아가고, 클라우드에서는 지난주에 업데이트된 대형 모델이 돌아가며, 둘이 같은 작업에 대해 의견이 다를 수 있다. 해결책은 통합 모델 버전 관리로, 엣지 모델 업데이트를 클라우드와 동기화하고 충돌 시 어느 쪽이 이기는지 명확한 규칙을 정하는 것이다. 그 관리 비용은 프로젝트 승인 시 예산에 반영해야 하며, 그렇지 않으면 하이브리드 배포의 절감액은 나중에 분쟁으로 몇 배가 되어 돌아온다.

간과하기 쉬운 또 하나의 차원이 있다. 유지보수 역량이다. 엣지 서버는 먼지, 온도, 전압 변동이 현실인 창고 현장에 있다. 하드웨어 고장에는 현장 인력이 필요하다. 창고에 하드웨어를 이해하는 사람이 없다면 엣지 배포의 숨은 유지보수 비용은 높을 것이다. 클라우드는 운영을 벤더에 외주하고, 창고는 네트워크와 계정만 관리한다. 중소 규모 창고에서는 이 지점이 기술적 지표보다 성패를 더 자주 결정한다.

의사결정 사슬: 작업이 먼저, 위치는 그다음

창고 AI의 엣지 컴퓨팅 대 클라우드 질문에는 표준 답이 없고, 의사결정 사슬만 있다. 첫째, 작업이 얼마나 지연과 장애를 견딜 수 있는가. 둘째, 호출량이 비용 곡선에 어떤 영향을 미치는가. 셋째, 팀이 엣지 하드웨어를 유지보수할 수 있는가. 이 세 가지에 답하면 배포 위치는 저절로 정해진다.

주목할 만한 추세 하나는 경계의 양쪽이 계속 움직이고 있다는 점이다. 엣지 하드웨어는 계속 저렴해지고, 클라우드 추론도 계속 저렴해지므로 분기점은 매년 이동한다. 오늘 클라우드에 속하는 작업이 내년에는 엣지에 속할 수 있고, 오늘 엣지에 있어야 하는 작업이 내년에는 클라우드 전용 회선과 로컬 캐싱으로 커버될 수 있다. 이는 한 번의 결정이 아니라 매년 다시 검토하는 동적인 결정이다. 창고 관리자에게 정말 필요한 것은 한 번 올바르게 선택하는 능력이 아니라, 매년 세 가지 장부를 다시 계산하는 습관이다. 구체적인 가격은 각 벤더의 최신 공개 정책을 확인해야 하며, 모든 프로젝트는 승인 전에 자체 호출량을 기준으로 다시 계산해야 한다.

Dr. Chen, 공급망 연구원 지음 영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.