Kioxia가 일본 시가총액 1위 기업으로 떠오르고, Fujikura가 갑자기 실적을 상향 조정하면서 '반도체'에 대한 관심과 자금이 쏟아지고 있습니다. AI 붐, 반도체라는 말이 곳곳에서 들리지만, 그 모든 것의 진정한 중심에는 AI 데이터 센터가 있습니다.
이전에 저는 '아는 척하기 위한 반도체 강좌'를 올린 적이 있습니다.
https://x.com/Kumakuring/status/1760605955845464527?s=20
사실 별다른 검증 없이 책과 유튜브 내용을 정리한 것이라 누군가 화내지 않을까 걱정했는데, 생각보다 긍정적인 반응을 얻었습니다. 그래서 두 번째로 데이터 센터에 대해 써보려고 합니다.
그 반도체 글을 쓴 이후로 저는 많이 발전했습니다. 왜냐하면 이제는 매일 니혼게이자이 신문을 제대로 읽고 있기 때문입니다.
게다가 마케팅 본업에서도 대부분의 프로젝트가 반도체와 데이터 센터를 다루다 보니 전문가들과 이야기할 기회도 늘어났습니다. 배운 내용을 정리하는 차원에서 이 글을 작성했습니다.
하지만 저는 전문가가 아니고, 이번에는 직접 글을 써보고 싶어서 AI를 많이 사용하지 않았습니다. 부정확한 부분이 있더라도 양해 부탁드립니다.
인류는 기다리는 능력을 잃었다
30대 중반인 저는 핸드폰으로 이메일을 확인하려면 '센터에 문의'해야 했던 시절을 기억합니다. 돌이켜보면 참 평화로운 시대였어요. 이메일이 왔는지 수동으로 확인하고, 답장이 오길 기다렸죠.
하지만 지금은 상황이 완전히 달라졌습니다.
검색, 동영상, 결제, 소셜 미디어, 생성형 AI 응답까지, 즉각적인 반응이 없으면 짜증이 납니다. 짜증을 넘어 불안감을 느끼는 사람도 있습니다.
요컨대, 인간은 점점 더 기다리지 못하게 되고 있습니다.
여기서 핵심 키워드는 '레이턴시(Latency)'입니다. 레이턴시는 통신 지연을 의미합니다. 데이터를 보내고 처리된 결과를 받기까지의 시간이 짧을수록 사용자는 '더 빠르다'고 인식합니다.
과거에는 이메일 문의를 기다렸지만, 이제는 AI 응답이 번개처럼 나타나지 않으면 불편해합니다. 이러한 '기다리지 못함'을 뒷받침하는 것이 바로 데이터 센터입니다.
데이터 센터는 방대한 수의 서버를 안정적으로 운영하기 위해 설계된 전용 시설입니다.
- 서버를 수용할 건물
- 막대한 양의 전력
- 열을 식히기 위한 냉각 장비
- 초고속 통신 회선
- 지진, 화재, 정전, 사이버 공격, 물리적 침입으로부터의 보호
즉, 데이터 센터는 단순한 '서버 보관실'이 아니라 전력, 냉각, 통신, 건설, 부동산, 운영이 결합된 거대한 인프라입니다. 중동 분쟁에서 데이터 센터가 표적이 된 적이 있을 정도로 국가 안보 측면에서도 중요한 의미를 가집니다.
AI가 주도하는 데이터 센터 건설 러시
생성형 AI는 엄청난 컴퓨팅 자원을 소모합니다. 특히 AI 훈련과 추론에는 엄청난 수의 GPU가 필요하고, 이 GPU를 가동하려면 막대한 전력과 냉각이 필요합니다.
기존 데이터 센터는 클라우드, 전자상거래, 동영상 스트리밍, 금융, 통신을 지원해 왔습니다. 여기에 생성형 AI 수요가 갑자기 더해지면서 '더 지어야 하는데', '전력이 부족하다', '냉각이 어렵다', '땅이 없다', '전력망이 필요하다'는 아우성이 터져 나오고 있습니다.
데이터 센터 업계 관계자와 이야기해 본 적이 있는데, '데이터 센터는 양파와 같아서 껍질을 벗기다 보면 결국 반도체가 나온다'고 하더군요.
건물 → 내부 전력 설비 → 냉각 장비 → 통신 회선 → 랙 → 서버 → 그리고 그 안에는 GPU, CPU, 메모리, SSD 같은 반도체가 있습니다. 이 구조를 이해하면 관련된 다양한 업체들을 쉽게 파악할 수 있습니다.
앞서 반도체 글에서 언급했듯이, AI가 반도체 산업을 부양하는 이유는 생성형 AI가 단순한 소프트웨어가 아니라 막대한 하드웨어 지원을 필요로 하기 때문입니다. 하지만 반도체만으로는 아무것도 할 수 없습니다.
아무리 NVIDIA GPU가 있어도 전기가 없으면 작동하지 않습니다. 작동해도 열을 식히지 못하면 멈춥니다. GPU가 고속으로 연결되지 않으면 제 성능을 발휘하지 못합니다. 엄청난 양의 데이터를 읽어야 합니다. 그리고 무엇보다 건물이 있어야 하는데, 최근에는 반대 운동도 생겨나고 있습니다...
전력, 냉각, 광섬유, 전선, 서버, 메모리, SSD, 건설, 부동산, 데이터 센터 운영. 이것이 바로 AI 붐이 NVIDIA와 반도체에서 시작해 이 모든 분야로 퍼져 나가는 이유입니다.
AI는 GPU만이 아니다
AI 하면 가장 먼저 떠오르는 것은 NVIDIA GPU입니다. GPU는 연산을 담당하는 반도체입니다. 따라서 AI가 성장하면 NVIDIA가 수혜를 본다는 이야기가 일반적입니다.
하지만 생성형 AI가 실제 사용 단계에 접어들면 이야기는 GPU에서 끝나지 않습니다.
- 사용자가 질문
- 데이터 읽기
- 연산 수행
- 중간 정보 임시 저장
- 데이터 재읽기
- 답변 반환
이 과정이 전 세계적으로 동시에 대규모로 일어납니다. 여담으로, 제가 환생한다면 '챗GPT 안에 있는 사람'이 되는 것은 지옥일 거라고 농담한 적이 있습니다. 이야기가 잠시 샜네요.
중요한 것은 GPU가 공중에서 연산을 하는 것이 아니라는 점입니다. GPU가 연산할 때마다 엄청난 양의 데이터를 읽어옵니다.
여기서 중요한 것은 GPU의 연산 속도입니다. GPU는 엄청난 속도로 대규모 연산을 처리할 수 있지만, 필요한 데이터가 제때 도착하지 않으면 '대기 시간'이 발생합니다. 아무리 GPU가 빨라도 데이터 전달이 느리면 GPU의 성능을 100% 활용할 수 없습니다.
즉, 중요한 것은 연산 능력뿐만 아니라 GPU에 얼마나 빠르게 데이터를 전달할 수 있느냐입니다.
여기서 메모리가 등장합니다. 메모리는 현재 사용 중인 데이터를 임시로 저장하는 공간입니다. 빠른 메모리가 GPU 가까이 있을수록 데이터 전달 속도가 빨라집니다. 이것이 바로 HBM이라는 고속 메모리가 AI GPU 옆에 배치되는 이유입니다.
반면, 모든 데이터를 고속 메모리에 저장할 수는 없습니다. 대량의 데이터를 저장할 공간도 필요합니다. 여기서 스토리지가 등장합니다. 데이터 센터에서는 주로 SSD가 사용됩니다. 그리고 그 SSD 안에 있는 메모리 반도체가 바로 NAND 플래시입니다. 이 NAND를 개발하는 선두 기업이 바로 우리의 사랑을 받는 Kioxia입니다.
생성형 AI의 확산과 함께 '대량의 데이터를 빠르게 읽고, 임시 저장하고, 저장하는 능력'이 연산 능력만큼 중요해지고 있습니다. 이것이 바로 AI와 관련하여 NVIDIA 외에도 SK Hynix, Micron, Samsung(메모리), 그리고 Kioxia, Samsung, Micron(SSD 및 NAND) 같은 기업들이 주목받는 이유입니다.
레이턴시와 엣지 데이터 센터
데이터 센터를 생각할 때 레이턴시는 매우 중요합니다. 인간이 더 이상 기다릴 수 없게 되었기 때문에 데이터 센터는 '대량 처리'뿐만 아니라 '빠른 응답'도 중요해졌습니다.
AI 훈련은 대규모 데이터 센터에서 이루어지지만, 사용자의 질문에 답하는 AI 추론은 사용자와 가까운 곳에서 처리하는 것이 유리합니다. 여기서 '엣지 데이터 센터'가 등장합니다.
멀리 떨어진 대규모 데이터 센터만 건설하면 속도가 느려집니다. 더 작은 데이터 센터를 사용자나 기기 가까이에 배치하는 것이 아이디어입니다. 아무리 내부 서버가 빨라도 데이터가 왕복하는 데 시간이 걸리면 사용자는 느리다고 인식합니다.
이러한 지연은 금융 거래, 게임, 동영상 스트리밍, 공장, 자율 주행, AI 추론에 문제가 됩니다. 따라서 미래에는 대규모 데이터 센터뿐만 아니라 사용자 근처에 위치한 엣지 데이터 센터도 필수적입니다.
이제 논의는 '대규모 데이터 센터를 어디에 지을까'에서 '처리를 어디에 배치할까'로 옮겨가고 있습니다. 통신 사업자, 광섬유, 5G, 네트워크 장비, 엣지 서버, 냉방, 원격 모니터링, 유지 보수 네트워크 등이 모두 중요해집니다. 엣지가 확장됨에 따라 데이터 센터 공급망은 소규모 분산 인프라를 많이 관리하는 방향으로 성장할 것입니다.
데이터 센터 공급망
본업에서 저는 팀원들에게 'B2B 마케팅을 하려면 가치 사슬과 공급망을 이해해야 한다'고 말합니다. 이렇게 거대한 공급망에는 수많은 업체들이 참여합니다.
[하이퍼스케일러(Hyperscaler)]
먼저, 하이퍼스케일러가 수요를 창출합니다. 이들은 초대규모 클라우드 또는 IT 서비스를 운영하는 기업입니다. 일반적으로 AWS, Microsoft Azure, Google Cloud, Oracle Cloud와 같은 클라우드 제공업체나 Meta, Apple, Alibaba, Tencent와 같은 거대 플랫폼 기업을 의미합니다. 이들은 AI를 위해 막대한 양의 GPU와 서버를 필요로 하여 데이터 센터 수요를 창출합니다.
[데이터 센터 운영사]
다음은 데이터 센터를 소유하고 운영하는 운영사입니다. 하이퍼스케일러는 자체적으로 구축하기도 하지만, '코로케이션(Colocation)' 업체라고 불리는 외부 운영사를 이용하기도 합니다. 코로케이션 업체는 공간, 전력, 냉각, 연결성, 보안을 제공합니다. 주요 업체로는 Equinix, Digital Realty, 막강한 NTT Data 그룹 등이 있습니다. KDDI는 Telehouse 브랜드로 해외에서 운영되고 있습니다.
[건설]
그 아래에는 건설/EPC 계층이 있습니다. EPC는 Engineering, Procurement, Construction의 약자로, 설계, 자재 조달, 시설 건설을 담당하는 종합 건설 회사 등을 의미합니다.
[전력 인프라]
AI 데이터 센터는 막대한 전력을 사용하므로 발전, 송전, 변전, 배전, 비상 전원이 매우 중요합니다. 발전 및 분산 전원 분야에서는 GE Vernova, Siemens, Mitsubishi Heavy Industries가 가스 터빈과 발전기로 좋은 성과를 내고 있습니다. 정전 시 서버 다운을 방지하기 위해 변전, 배전, UPS(무정전 전원 공급 장치)도 중요합니다. Schneider Electric이 이 분야에서 유명합니다.
[냉각]
일반 PC도 무거운 작업을 하면 뜨거워지지만, AI 데이터 센터는 그 규모가 천문학적입니다. AI GPU는 열이 너무 많이 발생해서 식히지 않으면 고장 나거나 성능이 저하됩니다. 기존에는 '공랭식(공기로 전체 공간을 냉각)'이 표준이었지만, AI 서버는 랙당 발생하는 열이 너무 커서 공랭식이 비효율적이 되고 있습니다. 이로 인해 액체를 사용하여 열을 더 효율적으로 제거하는 '액체 냉각' 방식이 도입되고 있습니다. GPU나 CPU에 직접 냉각판을 부착하는 'Direct-to-Chip' 방식이 주목받고 있습니다. Daikin, Mitsubishi Heavy Industries Thermal Systems, Mitsubishi Electric 등이 주요 업체입니다.
[통신 및 네트워킹]
데이터 센터는 외부와 연결되지 않으면 무용지물입니다. 여기에는 통신 사업자, 네트워크 장비, 스위치, 라우터가 포함됩니다. AI에서는 데이터 센터 내부에서 GPU 간 고속 연결이 외부 연결만큼 중요합니다. 이를 위해서는 전력 케이블과 광섬유가 모두 필요합니다. 바로 이 분야에서 일본의 '3대 전선 회사'인 Fujikura, Sumitomo Electric, Furukawa Electric이 활약하고 있습니다.
[IT 장비 및 반도체]
AI에는 서버, GPU, CPU, 메모리, SSD, 네트워크 장비 등 모든 것이 필요합니다. AI가 사용 단계로 접어들면서 데이터 읽기 및 쓰기 속도가 단순 연산 능력만큼 중요해지고 있습니다.
하룻밤 사이에 생겨나지 않는다
보시다시피 AI 데이터 센터는 수요가 있으면 바로 공급이 따라올 수 있는 종류의 것이 아닙니다. 하이퍼스케일러가 막대한 투자를 하고 있지만, 이러한 시설을 짓는 데는 시간이 걸립니다. 자재부터 전 세계적인 숙련 노동자 부족까지, 공급망의 어떤 병목 현상도 운영을 지연시킵니다.
공사 지연 및 가동 일정 연기 소식은 흔합니다. 백로그(주문 잔고)는 여러 현장에 쌓여 있습니다. '반도체'가 현재 가장 뜨거운 주제이지만, AI 데이터 센터라는 렌즈로 보면 이는 수년에 걸친 인프라 투자 테마입니다.
(수요와 주가는 별개이므로 투자는 본인의 책임 하에 하시기 바랍니다!)
