"인공지능(AI) 시대에 컴퓨팅은 새로운 전기와 같다"는 비유는 이제 업계의 정설로 통한다. 그러나 기업들이 이 ‘전기’를 직접 생산(소유)하지 않고 필요할 때마다 빌려 쓰는(구독) 시대가 도래한다면 어떤 변화가 일어날까. AI 수요 급증이 데이터센터의 근본적인 운영 방식을 재편하고 있다.
과거 10여 년 전만 해도, 기업들은 수억 원을 투자해 CPU 기반의 자체 서버(On-premise)를 구축하는 것이 일반적이었다. 하지만 2020년을 기점으로 AI 워크로드의 복잡성이 폭발적으로 증가하면서, 딥러닝 모델 훈련부터 챗봇의 실시간 추론에 이르기까지 GPU가 핵심적인 연산 장치로 부상했다. 개당 1,000만 원을 훌쩍 넘는 고가의 GPU 가격과 막대한 전력 소모는 기업에 막대한 초기 자본 투자(CapEx) 부담을 안겨주었다.
이러한 배경 속에서 ‘서비스형 GPU(GPU-as-a-Service, GPU-aaS)’가 대안으로 떠올랐다. GPU-aaS는 클라우드 혁신과 AI 시장의 성장이 맞물려 탄생한 모델로, 기업이 하드웨어를 직접 구매하는 대신 필요에 따라 탄력적으로 확장 가능한 GPU 클러스터를 임대하는 방식이다. 경제적으로 이는 AI 프로젝트의 비용 구조를 자본 지출(CapEx)에서 운영 비용(OpEx)으로 전환시켜, 스타트업에게는 AI 시장 진입 장벽을 낮추고 대기업에게는 신규 AI 이니셔티브에 대한 투자 위험을 줄여주는 효과를 낳는다.
업계 전문가와 시장의 반응도 이러한 변화를 뒷받침한다. 클라우드 컨설팅 기업 네오클라우드 어드바이저리의 한 연구원은 "GPU-aaS는 예측 불가능한 수요와 하드웨어 감가상각이라는 두 가지 핵심 난제를 해결한다"며 "필요할 때 컴퓨팅 자원을 확보하고, 사용이 끝나면 반납하면 그만"이라고 설명했다. 실제 엔비디아의 2025년 2분기 실적 발표에 따르면, 데이터센터 GPU 매출의 40%가 OEM 직접 판매가 아닌 클라우드 기반 서비스를 통해 발생한 것으로 나타나, 업계의 중심축이 임대 모델로 이동하고 있음을 시사했다. 이러한 변화는 기업 내부의 의사결정 문화까지 바꾸고 있다. 과거 수개월이 걸리던 자본 투자 승인 과정 없이, 현업 부서 관리자가 몇 분 만에 GPU 노드를 생성해 프로토타입 개발에 착수하는 사례가 늘고 있다.
객관적인 데이터 역시 GPU-aaS의 성장 가능성을 증명한다. FTI 컨설팅의 2025년 10월 보고서에 따르면, AI 워크로드로 인해 최근 3년간 데이터센터의 평균 전력 소비량은 70%나 급증했다. 탄력적인 자원 확장이 없다면 많은 시설이 과부하 또는 비효율적인 과잉 설비 투자 위험에 직면하게 된다. 전 세계 GPU-aaS 시장 규모는 2024년 32억 달러에서 연평균 35%의 성장률을 기록하며 2028년에는 120억 달러에 이를 것으로 전망된다. 한 중견 유통기업은 AI 모델 훈련을 GPU-aaS로 전환한 후, 총소유비용(TCO)을 45% 절감하고 모델 개선 속도는 60% 향상시키는 성과를 거두기도 했다.
물론 해결해야 할 과제도 존재한다. 외부 데이터센터에 GPU를 임대하는 것은 데이터 주권 및 규제 준수 문제를 야기할 수 있다. 전송 중 및 저장 데이터의 암호화, 권역 내 데이터센터를 보유한 신뢰도 높은 공급업체 선택이 필수적이다. 또한, 공유된 물리적 호스트 환경에서 발생하는 ‘노이지 네이버(noisy-neighbor)’ 현상으로 인한 성능 저하 가능성도 고려해야 하며, 이는 서비스 수준 협약(SLA) 및 전용 인스턴스 할당으로 완화할 수 있다. 한편, 자체 보유 GPU가 24시간 낮은 가동률로 운영되는 것에 비해, GPU-aaS 제공업체들은 평균 80% 이상의 높은 자원 활용률을 보고하고 있어, 신재생에너지로 운영될 경우 오히려 전체 탄소 배출량을 줄일 수 있는 기회 요인도 있다.
AI가 실험 단계를 넘어 비즈니스 핵심 동력으로 자리 잡으면서, 유연하고 비용 효율적인 컴퓨팅 자원에 대한 수요는 더욱 거세질 것이다. GPU-aaS는 이러한 시대적 요구와 인프라의 현실 사이를 잇는 가장 확장성 높은 다리 역할을 할 것으로 보인다.
과거 모든 회사가 자체 발전소를 소유했던 시절을 되돌아보듯, 미래에는 모든 기업이 자체 GPU 팜(Farm)을 구축했던 시대를 신기하게 여길지도 모른다. 이제 기업들은 자사의 AI 로드맵을 점검하고, GPU 구독 모델이 막대한 예산이나 데이터센터의 한계를 넘어서 차세대 혁신을 실현할 수 있는 가장 현명한 열쇠가 될 수 있을지 진지하게 고민해야 할 시점이다.
){kind=small}
){kind=small}
){kind=small}
){kind=small}
