작년에 저는 Riverside의 한 이커머스 창고를 방문했습니다. 막 비전 검사 시스템을 도입한 곳이었습니다. 컨베이어 위에 카메라 6대, 화물 라벨의 파손과 오부착을 검사합니다. 구성은 클라우드 추론이었습니다. 영상 스트림을 퍼블릭 클라우드로 밀어 올리고, GPU로 처리한 뒤 결과를 돌려받는 방식이었습니다. 가동 첫 주에 망가졌습니다. 피크 시간에는 결과가 반 박자 늦게 도착했고, 리젝트용 에어 실린더는 신호를 받지 못했으며, 열 개가 넘는 문제 화물이 그대로 분류 슈트로 흘러들어갔습니다. IT 매니저는 이렇게 말했습니다. “계약 전에 지연 시간 얘기는 아무도 해주지 않았습니다.”
제 결론을 먼저 말하겠습니다. 창고의 AI에서 10 ms와 300 ms의 차이는 사용자 경험의 문제가 아닙니다. 돌아가느냐 마느냐의 문제입니다. 추론을 어디에 배치하느냐가 여러분의 AI를 현장의 자산으로 만들지, 비싼 장식품으로 만들지를 결정합니다.
지연 시간 계산
카메라가 프레임을 캡처하고 클라우드에 보내고, 추론이 실행되고, 결과가 돌아옵니다. 보통 왕복 100–300 ms, 그것도 좋은 날 기준입니다. 창고 네트워크가 어떤지는 아실 겁니다. 금속 랙은 천연 신호 차단기이고, Wi-Fi 데드존은 곳곳에 있으며, 성수기 혼잡으로 지연 시간은 두 배가 될 수 있습니다.
엣지 도입은 어떨까요? 라인 근처 캐비닛에 설치된 GPU 연산을 갖춘 견고한 엣지 박스는 10–50 ms에 추론을 실행합니다. 카메라에서 박스까지는 로컬 네트워크 경유, 때로는 직접 연결입니다.
엣지가 필수인 세 가지 철칙.
첫째, 폐쇄 루프 제어입니다. 리젝트, 분류, AMR 장애물 회피 — “AI가 끝나면 기계가 당장 움직여야 한다”는 모든 경우입니다. 벨트 속도 2 m/s에서 300 ms 지연은 화물이 추가로 0.6 m 이동했다는 뜻입니다. 분기 지점을 놓친 것입니다.
둘째, 안전과 관련된 모든 것입니다. 보행자와 차량이 혼재된 구역에서 AMR 비전 회피를 클라우드로 돌리는 것은 브레이크를 네트워크 지터에 맡기는 셈입니다. 제 결론: 엣지, 논의의 여지가 없습니다.
셋째, 고빈도 추론입니다. 카메라 한 대가 30 fps로 하루 16시간 — API 호출이나 GPU 시간 기준의 클라우드 요금은 금방 무서워집니다. 엣지 박스는 한 번의 투자로, 많이 돌릴수록 추론당 비용이 저렴해집니다.
그렇다면 클라우드의 진짜 용도는 무엇일까요? 학습, 모델 반복 개선, 대시보드, 다중 시설 분석입니다. 시간 압박 없이 탄력적 연산이 필요한 작업. 그게 바로 클라우드의 본령입니다.
대역폭과 비용: 간과되는 항목들
대부분의 사람들은 GPU 비용만 계산하고 대역폭을 잊습니다. H.264 인코딩 1080p 카메라는 상향으로 약 4–8 Mbps를 밀어냅니다. 카메라 50대면 상향 200–400 Mbps의 지속적인 부하입니다. 창고 전용 회선이 한 달에 얼마인지는 아실 겁니다. 더 나쁜 것은 신뢰성입니다. 회선이 한 번 흔들리면 모든 카메라의 추론이 함께 멈춥니다.
엣지의 대역폭 수요는 거의 0에 가깝습니다. 영상이 건물을 벗어나지 않고, 올라가는 것은 추론 결과(수 KB의 JSON)와 알림 스냅샷뿐입니다. 인터넷이 끊겨도 라인은 계속 돌아가고, 최악의 경우 알림 보고가 늦어질 뿐입니다.
비용 분석은 이렇게 합니다. 클라우드는 종량제로 소규모나 간헐적 워크로드에 좋고, 엣지는 고정 투자+감가상각으로 24시간 연속 운영에 좋습니다. 분기점은 쉽게 계산할 수 있습니다. 연간 클라우드 추론 요금(GPU + 대역폭 + 데이터 전송)을 나열하고, 엣지 박스 조달, 3년 감가상각, 전력, 유지보수와 비교하면 됩니다. 제 경험칙은 이렇습니다. 연속 추론 카메라 스트림이 20개를 넘으면 엣지가 거의 항상 이깁니다. 10개 미만이고 가동률이 낮은 경우(하루 몇 시간의 QC 등)에는 클라우드가 손쉬운 선택입니다.
한 가지 함정이 있습니다. 클라우드 벤더의 청구 항목은 생각보다 많습니다. GPU 시간, 스토리지, API 호출, 데이터 송출입니다. 계약 전에 네 항목 모두 서면 견적을 받으세요. 불확실한 것이 있으면 이메일로 서면 확인을 받으세요. 영업 담당의 “대략”을 믿지 마세요.
제 도입 플레이북: 3단계
만능 처방은 금물입니다. 저는 도입을 세 단계로 나눕니다.
1단계, 순수 엣지: 비전 분류, 리젝트, AMR 주행 및 장애물 회피, pick-to-light 실시간 검증입니다. 이들은 네트워크가 죽어도 계속 돌아가는 엣지 박스를 받습니다. 하드웨어 주의점: 열과 먼지를 조심하세요. 창고는 여름에 일상적으로 35°C를 넘고, 소비자용 GPU는 살아남지 못합니다. 산업용 등급, 최소한 광온도 대응 제품을 선택하세요.
2단계, 엣지 추론+클라우드 학습: 이것이 주류 패턴입니다. 엣지가 추론을 실행하고, 어려운 샘플만 클라우드로 되돌려 보냅니다. 클라우드가 재학습하고 업데이트된 모델을 배포합니다. 업로드 전략의 핵심: 전부 올리지 마세요. 모델이 확신하지 못한 샘플(낮은 신뢰도)만 보내면 대역폭이 90% 이상 줄어듭니다.
3단계, 순수 클라우드: 수요 예측, 보충 제안, 운영 대시보드, 다중 창고 보고입니다. 실시간 요구사항이 없고, 클라우드의 탄력적 연산과 바로 쓸 수 있는 데이터 도구가 진정한 강점입니다.
운영 세부 사항 하나: 엣지 박스가 한 줌을 넘으면 모델 버전 관리가 엉망이 됩니다. 원격 OTA 업데이트와 롤백을 필수 조건으로 하세요. USB 메모리를 들고 기술자를 돌아다니게 하지 마세요. 엣지 박스 12대가 4가지 모델 버전으로 돌아가던 창고를 본 적이 있는데, 문제 해결에 일주일이 걸렸습니다.
롤아웃 순서: 첫날부터 건물 전체를 덮지 마세요
처음 AI 비전을 도입하는 현장에서 제가 가장 많이 보는 실수는 시설 전체에 한 번에 올인하는 것입니다. 제 3단계 롤아웃은 이렇습니다.
1단계, 단일 지점 파일럿. 가장 아픈 라인 — 반품 QC나 라벨 검사 — 을 선택하고 카메라 2–4대와 엣지 박스 한 대로만 시작합니다. 파일럿은 4–6주간 운영합니다. 목표는 아직 비용 절감이 아닙니다. 세 가지 표를 만드는 것입니다. 지연 시간, 정확도, 오탐율입니다. 오탐이 5%를 넘으면 현장 직원들이 알림을 무시하기 시작합니다. 그 숫자는 매의 눈으로 감시하세요.
2단계, 모델 반복 루프를 닫습니다. 파일럿이 안정되면 엣지 추론+클라우드 학습 업로드 파이프라인을 연결합니다. 라벨링 작업에 대해: 어려운 샘플은 하루에 수백 건에 이를 수 있고, 누군가 라벨을 달아야 합니다. 제 방식은 QC 직원이 작업하면서 라벨을 다는 것입니다. 시스템이 저신뢰도 스냅샷을 태블릿으로 보내고, QC 직원이 “맞음/틀림”을 탭하면 라벨링 비용은 사실상 0이 됩니다.
3단계, 복제입니다. 정확도가 98% 이상으로 안정되고 오탐이 3% 미만일 때만 다른 라인으로 확장하세요. 그쯤이면 엣지 박스를 대량 구매하고 있을 텐데, 보통 단가가 추가로 15–20% 정도 내려갑니다.
실무적인 주의 하나 더: 오래된 건물의 네트워크 개조입니다. 엣지는 네트워크에 관대하지만 네트워크가 불필요해지는 것은 아닙니다. 카메라에서 엣지 박스까지는 유선으로 연결하세요. 모든 것을 Wi-Fi로 때우려고 아끼지 마세요. 라인당 수천 달러 정도의 배선은 1년치 클라우드 대역폭 비용에 비하면 아무것도 아닙니다.
내일 바로 할 수 있는 액션 하나: 창고에서 가동 중(또는 계획 중)인 모든 AI 시나리오를 나열하고 세 열 — 지연 시간 요구사항, 추론 빈도, 카메라 대수 — 로 점수를 매기세요. <100 ms가 필요한 것은 모두 엣지로. 저빈도·소규모는 클라우드로. 중간 지대는 하이브리드가 맡습니다. 엣지 추론+클라우드 학습이죠. 이 표만 완성되면 어떤 벤더도 아키텍처 얘기로 속일 수 없습니다.
여러분의 창고 AI는 엣지에서 돌아가고 있나요, 클라우드에서 돌아가고 있나요? 지연 시간 때문에 곤란했던 적이 있나요? 댓글로 알려주세요.
영어판 번역본입니다. 내용이 다를 경우 영어판을 우선합니다.
