지난 가을, 한 영업사원이 우리 창고에 찾아와 엣지냐 클라우드냐는 제안을 들고 왔고, 창고 AI 엣지 대 클라우드 추론 배포라는 질문을 남기고 갔습니다. 일을 엣지 기기에서 돌려야 할지, 클라우드에서 돌려야 할지 말입니다. 월 요금 줄을 세 번이나 읽으며 소수점을 잘못 읽은 게 아닌지 확인했습니다. 그러고는 웃었습니다. 우리는 작은 창고라서 그렇게 돈을 태울 여유가 없으니까요. 그 카메라들의 월 요금은 포장 라인에 사람을 한 명 세워두고 자기 눈으로 직접 상자를 검사하게 하는 것보다 비쌌습니다.

하지만 그가 남기고 간 질문은 정당한 것이었고, 이는 창고 AI 엣지 대 클라우드 추론 배포에 대해 모든 작은 창고가 결국 답해야 하는 질문입니다. 창고 AI 추론에서 일을 엣지 기기에서 돌려야 할지, 클라우드에서 돌려야 할지 말입니다. 클라우드 쪽 사람은 클라우드라고 했습니다. 살 하드웨어가 없으니까요. 하드웨어 친구는 엣지라고 했습니다. 인터넷이 끊겨도 계속 돌아가니까요. 둘 다 일리가 있었고, 둘 다 제 돈을 원했습니다. 그래서 두 달 동안 제 창고에서 여섯 대의 카메라로 작은 실험을 했습니다. 짧은 답은 이렇습니다. 급한 일은 엣지에, 느려도 되는 일은 클라우드에, 그리고 모든 것을 한쪽에만 걸지 마십시오.

엣지 대 클라우드: 지연 시간 청구서, 그리고 엣지가 진짜로 이기는 곳

창고를 운영하는 동료의 실화부터 시작하겠습니다. 2025년 10월, 광둥성 둥관의 한 소형 가전 창고가 네 개의 포장 라인에 클라우드 비전 검사를 도입했습니다. 카메라가 사진을 찍어 클라우드로 보내고 합격인지 불합격인지 기다렸습니다. 평범한 날에는 잘 돌아갔습니다. 그러다 어느 날 오전 10시, 단지 내 광대역이 흔들리기 시작했고, 지연 시간은 수백 밀리초에서 거의 한 초 가까이로 뛰었으며, 컨베이어는 기다려주지 않았습니다. 세 시간 동안 40개가 넘는 상자가 검사 결과가 돌아오기 전에 봉인되어 출고되었습니다. 그중 일곱 개에는 잘못된 물건이 들어 있었습니다. 주인은 나중에 반품과 재배송만으로 그날 6,000위안이 넘게 들었다고 했습니다. 고객 불만은 빼고 말입니다.

이 지연 시간 격차는 마케팅 얘기가 아닙니다. 공개된 비교 자료들은 엣지 추론을 일관되게 대략 1~50밀리초로, 클라우드 추론은 네트워크 왕복을 포함해 보통 50~500밀리초 이상으로 나타냅니다. 반 초는 컨베이어 벨트로 재보기 전까지는 사소하게 들립니다. 초당 2미터로 움직이는 벨트에서는 500밀리초가 더해지면 상자가 한 미터 더 이동합니다. 불량품 배출 장치가 카메라를 지난 지 겨우 한 미터 지점에 있다면, 잘못된 상자는 이미 가버린 뒤입니다. 엣지 컴퓨팅의 진짜 장점은 조금 더 빠르다는 게 아닙니다. 안정적이라는 것입니다. 네트워크 흔들림도, 대기 줄도 없고, 믿을 수 있는 지연 시간이 있다는 것입니다.

제 창고에서 직접 시험해 봤습니다. 2026년 3월, 두 대의 카메라로 바코드 인식을 돌렸습니다. 하나는 클라우드를 통해서, 다른 하나는 현장의 오래된 산업용 PC에서였습니다. 두 주 동안 클라우드 경로는 피크 시간에 평균 180밀리초 안팎이었고, 가끔 600을 넘기도 했습니다. 로컬 경로는 20밀리초 안팎에 머물렀습니다. 작은 차이일까요? 우리는 하루에 8,000번 넘게 스캔하는데, 클라우드 경로는 하루에 스무 번이나 서른 번씩 시간 초과가 나고 다시 시도했습니다. 다시 시도할 때마다 작업자는 멈춰서 기다려야 했습니다. 합치면 하루에 반 시간의 노동력이 사라진 셈이었습니다.

엣지 대 클라우드, 두 번째 이야기: 클라우드 추론도 제 몫을 합니다

이야기의 절반만 전하는 건 정직하지 않습니다. 엣지 컴퓨팅에는 아픈 약점이 있습니다. 선불로 내야 한다는 것입니다. 박스도, 산업용 PC도, 모델 설치도 전부 한 번에 자기 주머니에서 나가고, 모델을 업그레이드해야 할 때는 직접 해야 합니다. 가격을 매겨보니 비전 모델을 돌릴 수 있는 엣지 박스 한 대가 두 달 치 월세와 맞먹었습니다. 클라우드는 선불을 아무것도 요구하지 않습니다. 작게 시작해 쓴 만큼 내면 되고, 물량이 적을 때는 한 달에 수백 위안입니다. 작은 창고에는 그게 진짜 차이입니다.

더 중요한 것은 클라우드가 엣지가 도저히 할 수 없는 일을 한다는 점입니다. 큰 모델, 창고 간 분석, 주간 보고서, 이상 징후 검토. 어느 것도 몇 초의 지연을 신경 쓰지 않지만, 모두 연산 능력이 필요합니다. 우리의 출고 데이터 분석은 매일 밤 자정에 클라우드에서 돌아갑니다. 결과는 다음 날 아침에 읽습니다. 몇 분 더 걸려도 아무도 눈치채지 못합니다.

여기가 직관에 반하는 부분이며, 창고 AI 엣지 대 클라우드 추론 배포 결정의 핵심입니다. 엣지와 클라우드는 라이벌이 아닙니다. 분업입니다. 창고 일 중에서 밀리초 단위의 응답이 진짜로 필요한 일은 적고, 한 손으로 셀 수 있습니다. 컨베이어에서의 실시간 불량품 배출, AMR의 장애물 회피와 안전 정지, 그리고 스캔하면 즉시 결과를 돌려줘야 하는 모든 것. 그 외의 모든 것, 품질 검토, 수요 예측, 예외 통계는 몇 초나 몇 분을 기다려도 하늘이 무너지지 않습니다. 작은 창고들이 가장 흔히 저지르는 실수는 모든 일에 가장 엄격한 지연 시간 기준을 사들이는 것입니다.

값싼 우회책: 급한 일에만 엣지를

우리의 최종 구성은 조금 허술하지만, 계산은 맞습니다. 여섯 대의 카메라 중 실시간 불량품 배출을 하는 두 대만 엣지에서 돌아갑니다. 중고 엣지 박스 위에서요. 기록과 표본 검사에 쓰는 나머지 네 대는 클라우드에서 돌아갑니다. 사진은 먼저 로컬에 저장하고 라인이 한가할 때 묶어서 업로드합니다. 모델 업데이트도 현장 방문이 필요 없습니다. 클라우드가 새 모델을 학습시켜 밤새 박스로 내려보내고, 우리는 다음 날 그대로 일합니다.

배포 방식 지연 시간 인터넷이 끊기면 지불 방식 가장 적합한 용도
엣지 컴퓨팅 보통 1~50밀리초 계속 돌아감 선불 구매, 낮은 운영 비용 실시간 불량품 배출, 장애물 회피, 즉각적인 스캔 피드백
클라우드 추론 보통 50~500밀리초 이상 전부 멈춤 하드웨어 없음, 쓴 만큼 지불 데이터 분석, 모델 학습, 일괄 검토
하이브리드 급한 일은 엣지, 느린 일은 클라우드 급한 일은 영향 없음 적은 선불 비용에 관리 가능한 월 요금 작은 창고에 가장 저렴한 현실적인 선택

계산할 때는 월 요금만 비교하지 마십시오. 어느 나쁜 오후의 가동 중단이 무엇을 희생시키는지와 비교하십시오. 우리 자체 구조로, 수치는 예시입니다. 한 달 1,500위안짜리 클라우드 요금제는 싸 보이지만, 일 년에 두 번의 장애, 매번 반나절씩으로 잘못된 출하와 노는 노동력 때문에 10,000위안이 넘게 들었습니다. 선불 20,000위안짜리 엣지 박스(예시 수치)를 세 해로 나누면 한 달에 500위안이 조금 넘고, 우리 광대역 연결의 날씨를 신경 쓸 일은 결코 없습니다.

값싼 요령 하나 더: 새 하드웨어를 숭배하지 마십시오. 우리의 엣지 박스는 중고로, 업그레이드한 다른 창고에서 샀습니다. 새것의 40퍼센트 가격에 우리 작은 모델들을 여유 있게 돌립니다. 모델도 과하게 사지 마십시오. 20개 품목군만 보관한다면 20개 품목군을 인식하는 가벼운 모델이면 충분합니다. 2,000개를 인식하는 모델은 자기 자신에게 추가 요금을 물리는 것일 뿐입니다.

저처럼 작은 창고를 운영하신다면, 창고 AI 엣지 대 클라우드 추론 배포 선택에 바로 복사해 쓸 수 있는 틀을 드리겠습니다. AI에게 맡기고 싶은 일을 전부 나열하고 두 무더기로 나누십시오. 기다릴 수 없는 일과, 기다릴 수 있는 일. 기다릴 수 없는 무더기에 세 가지가 넘는 일이 있을 때만 엣지를 진지하게 살펴볼 가치가 있습니다. 한두 가지 일이라면 먼저 클라우드를 세 달 빌려서 돌려보고, 박스를 사는 게 가치가 있는지 그다음에 결정하십시오. 먼저 돌리고, 최적화는 나중에. 그게 작은 창고가 살아남는 방법이고, 살아남는 것이 멋져 보이는 것보다 먼저입니다.

Xiao Ma, 소규모 창고 운영자 지음 영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.