隨著 Kioxia 成為日本市值最高的公司，以及 Fujikura 突然上調財測，資金與目光正大量湧入「半導體」領域。雖然 AI 熱潮與半導體這類詞彙隨處可見，但這一切的核心，其實是 AI 資料中心。
之前，我寫過一篇〈假裝什麼都懂的半導體課程〉。
那只是我隨手整理書籍和 YouTube 影片的內容，沒怎麼查證，還擔心會惹人生氣，沒想到反應還不錯。所以，第二篇我想來寫寫資料中心。
https://x.com/Kumakuring/status/1760605955845464527?s=20
自從寫了那篇半導體文章之後，我進步了很多。為什麼？因為我現在每天都會好好讀《日本經濟新聞》。
而且，在我主要的行銷工作中，大部分專案都跟半導體和資料中心有關，所以有更多機會跟專家交流。這篇文章，就是我將所學輸出的一次嘗試。
不過，我不是專家，而且這次我想自己動手寫，所以沒怎麼用 AI。如果有不準確的地方，還請見諒。
人類已經失去了等待的能力
我三十幾歲了，還記得以前要在手機上看個郵件，都得「查詢中心」。現在回想起來，那真是個田園詩般的年代。你得手動檢查郵件有沒有來，然後等一會兒才能收到回覆。
但現在不一樣了。
無論是搜尋、影片、支付、社群媒體，還是生成式 AI 的回應，如果沒有立刻回傳結果，我們就會感到不耐煩。不只是不耐煩，有些人甚至會感到焦慮。
簡單來說，人類越來越無法等待了。
這裡的關鍵字是「延遲」。 延遲指的是通訊延遲。從送出資料到收到處理結果的時間越短，使用者就會覺得「越快」。
我們以前會等郵件查詢，但現在如果 AI 回應沒有瞬間出現，我們就會不爽。而資料中心，就是在背後支撐這種「無法等待」的基礎設施。
資料中心是為了讓大量伺服器穩定運作而設計的專用設施。
- 容納伺服器的建築物
- 大量的電力
- 用來散熱的冷卻設備
- 高速通訊線路
- 抗震、防火、斷電、網路攻擊、實體入侵的防護
換句話說，資料中心不只是「伺服器機房」，而是一個結合了電力、冷卻、通訊、營建、房地產與營運的龐大基礎設施。考慮到資料中心曾在中東衝突中成為攻擊目標，它也具有重要的國家安全意義。
AI 驅動的資料中心建設熱潮
生成式 AI 消耗大量的運算資源。具體來說，AI 的訓練和推論需要大量的 GPU，而運行這些 GPU 又需要大量的電力和冷卻。
現有的資料中心已經在支撐雲端、電子商務、影音串流、金融和電信等服務。在此之上，生成式 AI 的需求突然湧現，於是到處都在喊「快蓋」、「但電不夠」、「冷卻很難」、「土地有限」、「需要電網」。
我曾跟一位資料中心領域的人聊過，他說：「資料中心就像洋蔥，一層層剝開，到最後就是半導體。」
想像一下：建築物 → 內部的電力設備 → 冷卻設備 → 通訊線路 → 機櫃 → 伺服器 → 裡面就是 GPU、CPU、記憶體、SSD 這些半導體。這個結構，可以幫助我們清楚理解各個參與者。
就像我在半導體那篇文章提到的，AI 之所以能帶動半導體，是因為生成式 AI 不只是軟體，它需要龐大的硬體支援。但半導體無法獨自運作。
就算你有 NVIDIA 的 GPU，沒有電也跑不起來。跑得起來但散不了熱，也會停擺。GPU 之間沒有高速連接，效能也出不來。還需要讀取大量的資料。而且，首先你得有棟建築物——雖然最近也出現了反對建設的聲浪……
電力、冷卻、光纖、電線、伺服器、記憶體、SSD、營建、房地產、資料中心營運。這就是為什麼 AI 熱潮會從 NVIDIA 和半導體，擴散到所有這些領域。
AI 不只是 GPU
提到 AI，大家第一個想到的就是 NVIDIA 的 GPU。GPU 是用來運算的半導體。所以，故事通常就是：AI 成長，NVIDIA 賺錢。
然而，一旦生成式 AI 進入實際使用階段，故事就不只停留在 GPU 了。
- 使用者提出問題
- 讀取資料
- 進行運算
- 暫時存放中間資訊
- 再次讀取資料
- 回傳答案
這個過程在全球範圍內大規模同步進行。順帶一提，我最近開玩笑說，如果下輩子轉世成「ChatGPT 裡面的那個人」，那簡直是地獄。但扯遠了。
重要的是，GPU 不是憑空運算的。每次 GPU 運算，都需要讀取大量的資料。
這裡的關鍵是 GPU 的運算速度。GPU 能以驚人的速度處理大量運算，但如果需要的資料沒有送達，就會產生「等待時間」。無論 GPU 多快，如果資料傳送太慢，GPU 的效能就無法完全發揮。
換句話說，重要的不只是運算能力，而是資料能多快送達 GPU。
這就是記憶體登場的地方。記憶體是暫時存放正在使用中資料的地方。越快、越靠近 GPU 的記憶體，資料傳送就越快。這就是為什麼 AI GPU 旁邊會放一種叫做 HBM 的高速記憶體。
另一方面，你不可能把所有資料都放在高速記憶體裡。你還需要一個地方來儲存大量的資料。這就是儲存裝置。在資料中心，通常使用 SSD。而 SSD 裡面的記憶體半導體，就是 NAND 快閃記憶體。開發這種 NAND 的領導公司，就是我們喜愛的 Kioxia。
隨著生成式 AI 的普及，「快速讀取、暫存、儲存大量資料」的能力，變得跟運算能力一樣重要。這就是為什麼除了 NVIDIA 之外，SK 海力士、美光、三星（記憶體），以及 Kioxia、三星、美光（SSD 和 NAND）等公司，也在 AI 的脈絡下受到關注。
延遲與邊緣資料中心
在思考資料中心時，延遲是關鍵。因為人類已經無法等待，所以資料中心不僅要能「大量處理」，還要能「快速回應」。
雖然 AI 訓練是在大型資料中心進行，但 AI 推論——也就是回答使用者問題的過程——如果能在靠近使用者的地方處理，效果會更好。這就是「邊緣資料中心」的概念。
如果你只在很遠的地方蓋大型資料中心，速度就會變慢。想法是，把較小的資料中心放在靠近使用者或裝置的地方。無論內部伺服器多快，如果資料往返需要時間，使用者就會覺得慢。
這種延遲對於金融交易、遊戲、影音串流、工廠、自動駕駛和 AI 推論來說都是問題。因此，未來不僅需要大型資料中心，靠近使用者的邊緣資料中心也至關重要。
這也讓討論從「在哪裡蓋大型資料中心」，轉向「在哪裡進行處理」。電信業者、光纖、5G、網路設備、邊緣伺服器、空調、遠端監控、維護網路，這些都變得重要。隨著邊緣範圍擴大，資料中心的供應鏈將朝著管理大量小型、分散式基礎設施的方向發展。
資料中心供應鏈
在我的主要工作中，我告訴團隊：「要做 B2B 行銷，就必須了解價值鏈和供應鏈。」面對如此龐大的供應鏈，有許多參與者。
[超大規模雲端業者]
首先，是超大規模雲端業者創造了需求。這些是營運超大規模雲端或 IT 服務的公司。通常指的是雲端供應商，如 AWS、Microsoft Azure、Google Cloud、Oracle Cloud，或是大型平台商如 Meta、Apple、阿里巴巴、騰訊。他們因為 AI 而需要大量的 GPU 和伺服器，從而創造了資料中心的需求。
[資料中心營運商]
接下來是擁有並營運資料中心的營運商。超大規模雲端業者有時會自己蓋，但也會使用稱為「共置業者」的外部營運商。共置業者提供空間、電力、冷卻、網路連線和安全。主要業者包括 Equinix、Digital Realty、強大的 NTT Data Group，以及許多其他公司。KDDI 則以 Telehouse 品牌在海外營運。
[營建]
再往下是營建 / EPC 層。EPC 代表 Engineering, Procurement, and Construction（工程、採購、施工）。這些公司負責設計、採購設備和建造設施，包括總承包商。
[電力基礎設施]
由於 AI 資料中心使用大量電力，因此發電、輸電、變電、配電和備用電源至關重要。在發電和分散式電源方面，GE Vernova、西門子、三菱重工等公司，其燃氣渦輪機和發電機業務表現強勁。變電、配電和 UPS（不斷電系統）也至關重要，以確保伺服器在停電時不會當機。Schneider Electric 在這個領域很有名。
[冷卻]
即使是家用電腦，在執行繁重任務時也會發熱，但 AI 資料中心的發熱量是天文數字。AI GPU 產生的熱量如此之大，如果不冷卻，就會故障或效能下降。雖然「氣冷」（冷卻整個機房）曾是標準做法，但 AI 伺服器每個機櫃的發熱量太高，氣冷已逐漸不敷使用。這導致了「液冷」的趨勢，利用液體更有效地帶走熱量。一種稱為「直接至晶片」的技術，是將冷卻板直接放在 GPU 或 CPU 上。大金工業、三菱重工熱能系統、三菱電機等公司是這方面的關鍵參與者。
[通訊與網路]
資料中心如果沒有連接到外部世界就沒有用。這涉及電信業者、網路設備、交換器和路由器。在 AI 領域，資料中心內部 GPU 之間的高速互連，與外部連線同樣重要。這需要電源線和光纖。這就是日本「三大電線公司」——Fujikura、住友電工、古河電氣——登場的地方。
[IT 設備與半導體]
AI 需要一整套設備：伺服器、GPU、CPU、記憶體、SSD 和網路設備。隨著 AI 進入使用階段，資料讀寫的速度變得跟原始運算能力一樣重要。
這些不是一夜之間就能冒出來的
如你所見，AI 資料中心不是說供給就能立刻滿足需求的東西。即使超大規模雲端業者大力投資，這些設施也需要時間建造。供應鏈中的任何瓶頸——從材料到全球性的熟練勞動力短缺——都會延遲運轉。
關於建設延誤和啟用日期推遲的報導屢見不鮮。各種訂單積壓的情況正在發生。雖然「半導體」是當前的熱門話題，但如果從 AI 資料中心的角度來看，這是一個為期多年的基礎設施投資主題。
（需求和股價是兩回事，投資請自負風險！）
