AI 열풍에 AI 서버 시장 폭풍성장 중

 

얼마 전, 서버 제조업체 델이 시장 전망치를 크게 웃도는 실적을 발표해 투자자들을 깜짝 놀라게 했습니다. 인공지능(AI) 서버 수요가 많이 늘어난 덕분이었는데요.

 

올해 전 세계 서버 8대 중 한 대는 AI 서버라는 전망이 나올 정도로 관련 시장이 빠르게 확대되고 있습니다. AI를 중심으로 관련 산업이 모두 떠들썩한 가운데, 그중에서도 남다른 존재감을 드러내는 AI 서버 시장에 대해 알아볼까요?

---

AI 시대, 그 배후의 AI 서버

🤔 서버, 들어는 봤는데

우리는 개인 컴퓨터에서 정보를 검색하고, 필요한 작업 등을 할 수 있습니다. 이는 중앙 컴퓨터 격인 서버에 해당 서비스를 요청해 제공받기 때문인데요. 예를 들어, 전 세계 수많은 사람이 접속하는 구글은 어마어마한 양의 데이터를 처리하고 다양한 기능을 구현하기 위해 대규모 데이터 센터와 서버를 보유합니다.

 

서버는 수많은 컴퓨터로부터 받는 요청을 빠르게 처리해야 하므로, 방대한 양의 데이터를 모아두고 연산할 수 있는 고성능 장비를 갖춰야 하죠. 만약 AI처럼 양질의 데이터와 고도의 훈련·추론 역량이 필요한 경우라면 서버의 성능 역시 그에 맞춰 향상돼야 합니다.

🤖 AI 서버의 등장

AI 열풍이 거세지면서 떠오른 AI 서버는 일반 서버와 달리 중앙처리장치(CPU) 외에 첨단 그래픽처리장치(GPU)가 대거 탑재됩니다.

엔비디아 H100

 

컴퓨터의 두뇌 역할을 하는 CPU는 순서대로 연산을 하나하나 처리하는 탓에 AI 연산을 하기엔 많은 시간과 비용이 들어가는데요. 이와 달리, GPU는 여러 연산을 동시에 처리할 수 있기 때문에 복잡한 AI 연산을 처리하는 데 상대적으로 유리하다는 특징이 있습니다.

 

좋은 데이터와 알고리즘을 갖고 있더라도 연산이 되지 않는다면 곤란한데요. AI 경쟁력을 확보하려는 기업이 갈수록 많아지는 가운데, GPU에 대한 수요가 확 늘어난 배경입니다. 이런 GPU를 활용한 AI 서버의 가격은 기존의 일반 서버보다 훨씬 비쌉니다.

 

한 대당 수억 원에 달하는 가격은 일반 서버 50~60대와 맞먹는 정도죠. 엔비디아의 최신 시스템 HGX H100 8-GPU가 장착된 서버는 1대당 약 25만 달러(약 3억 3,000만 원) 수준입니다.

델

 

🖥️ 컴퓨팅 인프라 작용 프로세스

컴퓨팅 인프라는 보통 GPU를 생산하는 엔비디아 같은 기업에서 서버 기업, 클라우드 기업, 서비스 기업을 거쳐 최종적으로 고객에게 제공됩니다.

 

서버 기업은 밑에서 더 자세히 살펴볼 델이나 슈퍼마이크로컴퓨터(SMCI)가 대표적이고, 클라우드 기업은 AWS(Amazon Web Services), MS Azure(Microsoft Azure), GCP(Google Cloud Platform) 등이 대표적인데요.

 

올해 AI 수요에서 차지하는 비중은 MS가 20.2%, 구글이 16.6%, AWS가 16%를 보일 것으로 예상되면서, 이들이 AI 서버 시장의 큰손으로 자리 잡을 전망입니다. 서비스 기업으로는 AI 서비스를 제공하는 구글, 오픈AI, 마이크로소프트 등이 있죠.

 

한편, 서비스 기업 중에선 구글이나 마이크로소프트처럼 자체 클라우드 산업을 영위하는 경우도 있습니다. 이에 서비스 기업이 서버 기업에 바로 AI 서버를 주문하기도 합니다.

 

🌬️ AI 서버 난리 난 배경

챗GPT가 촉발한 생성형 AI 열풍은 AI 서버가 확산하는 시계를 앞당겼습니다. 생성형 AI를 활용하기 위한 IT 인프라의 구축이 필수가 됐기 때문인데요.

 

데이터를 처리·관리하고 손상이나 유출로부터 보호해야 할 필요성이 높아지면서, 고성능의 AI 서버는 곧 산업의 게임체인저로 떠올랐습니다. 발 빠르게 GPU 특화 AI 서버를 선보인 서버 업체들은 고객들의 러브콜을 받는 상황입니다.

---

AI 서버 시장, 어느 정도?

전 세계적으로 AI에 대한 수요가 지속해서 증가할 것으로 보이는 가운데, 서버 업체 역시 일반 서버 투자를 줄이고 AI 서버 투자를 확대해 나가는 모습인데요. AI 서버의 성장률은 일반 서버의 성장률(10%)보다 3배 이상 높을 것이란 전망도 나옵니다. 성장 잠재력이 탄탄히 보장된 셈이죠.

 

📈 뚜렷한 성장세

시장조사업체 글로벌 마켓인사이트에 따르면, 작년 AI 서버 시장의 규모는 383억 달러(약 50조 3,000억 원)였습니다. 올해부터 2032년까지 예상되는 AI 서버 시장의 연평균 성장률은 18%가 넘는데요.

 

출하량으로 확인할 수 있는 시장 규모도 우상향 곡선을 그립니다. 시장조사업체 트렌드포스에 따르면, 작년 한 해 AI 서버의 출하량은 118만3천 대로 전년 대비 38.4% 증가한 것으로 추정되는데요.

 

앞으로도 출하량은 올해 165만2천 대, 내년 189만 대, 내후년 236만 대로 계속 늘어날 전망입니다. 증가율이 매년 20% 중후반대를 유지할 것으로 보이죠. 전 세계 서버 시장에서 AI 서버가 차지하는 비중 역시 작년 9%에서 올해 약 12.1%로 늘어날 전망입니다.

ai 서버 출하량 추이

️👀 너도나도 눈독 들이는 중

전통적인 서버 업체가 아닌 전 세계 빅테크 기업들도 너나 할 것 없이 AI 서버에 아낌없는 투자를 쏟는 모습입니다.

 

애플

뒤늦게 AI 경쟁에 뛰어든 애플은 올해까지 AI 서버에만 50억 달러(약 6조 5,700억 원) 이상을 지출할 것이란 관측이 나왔습니다. 개인정보 보호 등 보안 문제로 클라우드 업체를 통하지 않고 직접 AI 서버를 구매해 LLM 훈련을 진행할 것으로 보이는데요. 작년 하반기에 애플은 폭스콘 산업 인터넷(FII)에 AI 서버 독점 공급을 주문한 바 있습니다.

삼성전자

삼성전자 역시 올해 CES에서 AI 서버를 위한 청사진을 공개했습니다. 데이터 센터 전력 효율성 개선에 대한 수요가 커지면서, AI 서버 시장을 타깃으로 한 D램을 새롭게 선보인 건데요.

 

12나노급 32Gb(기가비트) DDR5 D램은 개선된 소비 전력과 단일 칩 기준 최대 용량을 갖춘 제품으로 소개됐습니다. AI 서버 시장의 확대는 결국 고대역폭 메모리(HBM) 수요 증가와도 연결되므로, 올해 HBM 설비투자를 2.5배 이상 늘린다는 계획도 밝혔습니다.

 

💡 D램: 컴퓨터에서 데이터를 저장하는 메모리 장치의 일종입니다. 데이터 접근 속도가 조금 느리지만 구조가 매우 단순하고, 컴퓨터가 꺼지면 데이터도 삭제되는 휘발성 메모리입니다.

 

💡HBM: 데이터를 저장하는 메모리 반도체인 D램을 수직으로 여러 층 쌓아 저장용량과 속도를 높인 반도체입니다. 특히나 처리해야 하는 데이터가 많은 AI 연산에서 중요한 역할을 하죠.

 

MS

작년 11월, AI의 대표 모델인 대형언어모델(LLM)을 실행하고 AI 컴퓨팅을 지원하는 자체 AI 서버 칩 ‘마이아 100(Maia 100)’을 출시했습니다. 지난달 말에는 서버 간 데이터를 빠르게 이동시킬 수 있는 새로운 서버 장치를 개발 중이라는 소식이 전해지기도 했는데요.

 

AI를 개발하려는 기업들이 대규모 데이터를 전송할 때 발생할 수 있는 서버 과부하 위험을 줄여주고, 엔비디아에 대한 의존도를 낮추려는 전략으로 분석됩니다. AI 시장에서의 자체 기술력을 강화한다는 의도가 엿보이죠.

 

💰 잠깐 STOP! 걸림돌도

이와 같은 AI 시장의 성장세에도 불구하고, AI 서버에 들어가는 높은 투자 비용은 걸림돌이 될 수 있습니다. AI 서버 구축은 일반 서버보다 많게는 27배 높은 투자 비용이 필요한데요.

 

GPU가 비용의 70% 이상을 차지합니다. 공급을 뛰어넘는 수요에 GPU를 제공받기까지 장기간 대기해야 하는 점도 현실적인 어려움으로 꼽히죠. 또한, AI 인프라는 단순히 고성능 AI 서버를 여러 대 확보하는 것만으로 끝나지 않습니다. 서버의 운영과 성능의 구현, 서버와 스토리지 간 네트워크 성능 등이 모두 뒷받침돼야 하는데요.

 

한 개에 몇천만 원씩 하는 GPU 8개와 CPU 2개로 구성된 서버를 수십 대씩 놓고, 여기에 대용량 고속 스토리지와 네트워크를 구성해 데이터센터를 설치하는 데는 적어도 수십억에서 수백억 원이 필요합니다.

---

주요 플레이어 자세히 들여다보기

🥇 델 테크놀로지(델)

전 세계 서버 시장 점유율 1위(약 19%)를 차지하며 서버 분야의 일인자로 통합니다. 델 전체 서버 주문 매출 중 AI 서버의 매출은 20%에 달하는데요. AI 서버 주문량 역시 40%가량 늘어난 것으로 나타났습니다.

 

작년 회계연도 4분기(2023년 11월~2024년 1월) 순이익은 전년 동기 대비 25% 증가했고, 주당순이익(EPS)은 시장 전망치(1.73달러)를 크게 뛰어넘는 2.20달러를 기록했습니다. 지난 1년 동안 주가는 2.5배 상승했죠.

 

델의 경쟁력은 PC와 데이터센터, 서버와 스토리지를 아우르는 광범위한 생성형 AI 인프라에서 나옵니다. 고객이 생성형 AI라는 복잡한 생태계에 손쉽게 접근할 수 있도록 인프라 전반을 지원할 수 있다는 역량을 강조하는데요.

 

작년 상반기에 출시된 GPU 고집적 서버 ‘XE 9680’가 높은 수요를 보이며 이에 대한 수주 잔고가 20억 달러(약 2조 6,200억 원)에 달하는 것으로 알려졌습니다.

 

🚀 슈퍼마이크로컴퓨터(SMCI)

델과 함께 엄청난 주목을 받는 기업이 SMCI입니다. SMCI의 주가는 지난 1년간 무려 1,000% 가까이 폭등했는데요.

 

작년 4분기 주당순이익이 전년 동기 대비 62.42% 증가한 5.10달러를 기록했습니다. 분기 매출은 103.25% 증가해 36억 6,492만 달러(약 4조 9,000억 원)를 기록했죠. 이번 달에는 미국 S&P500 지수에 편입된다는 소식이 전해지며 또다시 주가 강세를 보인 바 있습니다.

 

델처럼 단순 서버만 아니라 AI 인프라에 필요한 통합 솔루션을 제공하는 SMCI는 특히 엔비디아의 오랜 파트너사라는 점에서 더욱 주목받습니다.

🧊 SMCI의 비장의 카드, 액침 냉각

SMCI는 데이터 센터에서 발생하는 엄청난 열을 낮추기 위한 액침 냉각(Liquid Immersion Cooling) 기술로 업계의 주목을 받았습니다. 데이터센터는 다수의 서버, 그리고 서버를 탑재할 수 있는 랙(Rack) 시스템이 모여 있는데요. 그만큼 무수한 양의 데이터를 보관하고 관리할 수 있습니다.

액침 냉각 시스템, SK엔무브

 

데이터센터에서는 막대한 양의 연산이 이뤄짐에 따라 열이 발생하기 때문에, 발열로 인한 장애를 막기 위해 냉각 시스템이 굉장히 중요합니다. 따라서 주요 기업들은 냉각 시스템을 통해 데이터센터의 에너지 효율성을 확보하는 데 사활을 걸죠.

 

기존에는 공기 순환으로 열을 식히는 공랭식 냉각과 냉각수 배치를 더 해 열을 낮추는 수랭식 냉각이 이뤄졌으나, 최근에는 이 방식만으로는 AI 시스템에서 발생하는 열을 낮추기가 어려워졌습니다.

 

이에 SMCI는 기존의 방식에서 나아가 특수 액체를 사용해 효율적으로 냉각할 수 있는 새로운 냉각 시스템인 액침 냉각 기술 개발에 앞장섰습니다. 전기는 통하지 않고 열전도율은 높은 특수 냉각유를 사용해 서버 자체를 물에 담그는 방식이죠. 직접적으로 서버 장비의 열이 흡수되고, 냉각에 필요했던 서버의 송풍기를 제거함으로써 서버의 전력 낭비를 줄일 수 있다는 점이 특징입니다.

 

🧠 HPE(Hewlett Packard Enterprise)

델과 함께 전 세계 서버 시장 점유율에서 선두 그룹으로 꼽힙니다. 작년 4분기 실적 발표에서 전년 동기 대비 매출(69억 1,200만 달러, 약 9조 2,300억 원)이 7.40% 줄어들고 주당 순이익(0.29달러)이 40.82% 감소하며 어닝쇼크 수준을 보였는데요.

 

향후 추론 중심의 AI 모델이 시장의 주류가 될 것으로 보고, AI 추론 전용 서버에 강조점을 찍습니다. 대표적으로 지난 2022년 엔비디아의 GPU가 탑재된 ‘프로 라이언트 Gen11’ 서버 시리즈를 발표했습니다. 생성형 AI 워크로드에 최적화된 인프라 구축에 힘을 쏟는 모습이 돋보입니다.

 

💡 워크로드: 필요한 작업을 완료하는 데 사용되는 컴퓨팅 인프라 및 시간을 나타내는 말입니다. 컴퓨터에서 실행되는 프로그램이나 컴퓨터 사용자의 시스템 수요 등을 포함하죠.

---

많은 사람이 건물을 이용하기 위해선 건물을 지은 뒤에도 물이나 전기가 원활하게 공급돼야 합니다. 컴퓨터 역시 제대로 작동하기 위해선 서버가 필수적인데요.

 

서버 없이는 인터넷도 없다는 말이 있기도 하죠. 최근 몇 가지 단어만으로도 수백 개의 이미지와 소설을 만들어 내고, 인간의 작업량을 훨씬 압축해 주는 등 여태껏 상상해 본 적 없는 다양한 AI 서비스가 세상에 나옵니다.

 

어디에서나 뜨거운 화두로 떠오르는 이런 AI가 앞으로 더 많은 사람에게 가 닿을 수 있으려면, AI 서버의 역할도 더욱 중요해질 수밖에 없습니다. AI 시장이 커질수록 혜택을 받는 주인공은 AI 서버 시장이 되는 이유입니다.

 

 

😎 같이 보면 좋은 내용

https://chief-cho.tistory.com/564

AI 반도체 자세히 알아보기

 

https://chief-cho.tistory.com/537

[기업탐구] AMD, 만년 2인자 딱지 뗄까? 라이젠 Ai 로드맵으로 엔비디아 넘본다.