Con Kioxia diventata l'azienda giapponese con la maggiore capitalizzazione di mercato e Fujikura che ha improvvisamente rivisto al rialzo le sue previsioni di utili, l'attenzione e i capitali stanno inondando il settore dei 'semiconduttori'. Mentre termini come boom dell'IA e semiconduttori sono ovunque, il vero centro di tutto ciò è il data center per l'IA.
In precedenza, ho pubblicato un 'Corso sui Semiconduttori per Fingere di Saperne Tutto'.
Era solo un riassunto di libri e video di YouTube che ho messo insieme senza troppi controlli, e temevo che qualcuno si sarebbe arrabbiato, ma è stato accolto piuttosto positivamente. Quindi, per il secondo capitolo, vorrei scrivere sui data center.
https://x.com/Kumakuring/status/1760605955845464527?s=20
Da quell'articolo sui semiconduttori, mi sono evoluto notevolmente. Perché? Perché ora leggo il Nikkei Shimbun ogni giorno come si deve.
Inoltre, nel mio lavoro principale nel marketing, la maggior parte dei progetti riguarda semiconduttori e data center, quindi ho più opportunità di parlare con esperti. Ho scritto questo come un modo per mettere in pratica ciò che ho imparato.
Tuttavia, non sono un esperto, e dato che volevo scrivere il testo da solo per una volta, questa volta non ho usato molto l'IA. Perdonate eventuali imprecisioni.
L'Umanità ha Perso la Capacità di Aspettare
Ho superato i trentacinque anni e ricordo quando dovevamo 'interrogare il centro' solo per leggere una email su un telefono cellulare. A ripensarci, era piuttosto idilliaco. Controllavi manualmente se era arrivata un'email e aspettavi un po' per la risposta.
Ma ora le cose sono diverse.
Che si tratti di ricerche, video, pagamenti, social media o risposte dell'IA generativa, ci frustriamo se non tornano immediatamente. Non è solo frustrazione; alcune persone si innervosiscono addirittura.
In breve, gli esseri umani stanno diventando sempre più incapaci di aspettare.
La parola chiave qui è 'latenza'. La latenza si riferisce al ritardo di comunicazione. Minore è il tempo tra l'invio dei dati e la ricezione del risultato elaborato, più 'veloce' l'utente lo percepisce.
Un tempo aspettavamo le risposte alle email, ma ora ci infastidiamo se una risposta dell'IA non appare in un lampo. I data center sono ciò che supporta questa 'incapacità di aspettare' dietro le quinte.
Un data center è una struttura dedicata progettata per mantenere un numero enorme di server in funzione in modo stabile.
- Edifici per ospitare i server
- Quantità massive di elettricità
- Apparecchiature di raffreddamento per dissipare il calore
- Linee di comunicazione ad alta velocità
- Protezione contro terremoti, incendi, interruzioni di corrente, attacchi informatici e intrusioni fisiche
In altre parole, un data center non è solo un 'ripostiglio per server'; è un'infrastruttura massiccia che combina energia, raffreddamento, comunicazione, edilizia, immobiliare e operazioni. Dato che i data center sono stati presi di mira in conflitti in Medio Oriente, hanno anche un'importanza significativa per la sicurezza nazionale.
La Corsa alla Costruzione di Data Center Guidata dall'IA
L'IA generativa consuma risorse computazionali massive. Nello specifico, l'addestramento e l'inferenza dell'IA richiedono un numero enorme di GPU, e far funzionare quelle GPU richiede quantità massive di energia e raffreddamento.
I data center esistenti hanno supportato il cloud, l'e-commerce, lo streaming video, la finanza e le telecomunicazioni. In aggiunta a ciò, è arrivata improvvisamente la domanda di IA generativa, portando a grida di 'costruite di più', 'ma non c'è abbastanza elettricità', 'il raffreddamento è difficile', 'il terreno è limitato' e 'abbiamo bisogno di reti elettriche'.
Una volta ho parlato con qualcuno nel campo dei data center che ha detto: 'Un data center è come una cipolla; se sbucci gli strati, ti ritrovi con i semiconduttori.'
Immaginate l'edificio → le apparecchiature elettriche all'interno → le apparecchiature di raffreddamento → le linee di comunicazione → i rack → i server → e al loro interno ci sono i semiconduttori come GPU, CPU, memoria e SSD. Questa struttura rende facile organizzare i vari attori coinvolti.
Come ho accennato nel post sui semiconduttori, il motivo per cui l'IA sta spingendo i semiconduttori è che l'IA generativa non è solo software; richiede un massiccio supporto hardware. Tuttavia, i semiconduttori non funzionano da soli.
Anche se hai GPU NVIDIA, non funzionano senza elettricità. Se funzionano ma non riescono a dissipare il calore, si fermano. Se le GPU non sono collegate ad alta velocità, non funzionano. Hanno bisogno di leggere quantità massive di dati. E hai bisogno di un edificio per cominciare, anche se recentemente ci sono movimenti contrari alla costruzione...
Energia, raffreddamento, fibra ottica, cavi elettrici, server, memoria, SSD, edilizia, immobiliare e operazioni dei data center. Questo è il motivo per cui il boom dell'IA si propaga da NVIDIA e dai semiconduttori a tutti questi altri settori.
L'IA è Più delle Semplici GPU
Quando la gente pensa all'IA, le GPU NVIDIA sono la prima cosa che viene in mente. Le GPU sono i semiconduttori per il calcolo. Pertanto, la storia di solito è: se l'IA cresce, NVIDIA guadagna.
Tuttavia, una volta che l'IA generativa raggiunge la fase di utilizzo effettivo, la storia non finisce con le GPU.
- L'utente fa una domanda
- I dati vengono letti
- Avviene il calcolo
- Le informazioni intermedie vengono tenute temporaneamente
- I dati vengono letti di nuovo
- Viene restituita la risposta
Questo processo avviene simultaneamente su scala massiccia in tutto il mondo. Tra parentesi, di recente ho scherzato sul fatto che essere la 'persona dentro ChatGPT' se mi reincarnassi sarebbe un inferno. Ma divago.
La cosa importante è che le GPU non calcolano dal nulla. Ogni volta che una GPU calcola, legge una quantità massiccia di dati.
Ciò che conta qui è la velocità di calcolo della GPU. Le GPU possono elaborare calcoli massicci a velocità incredibili, ma se i dati necessari non arrivano, si verifica un 'tempo di attesa'. Non importa quanto sia veloce la GPU, se la consegna dei dati è lenta, le prestazioni della GPU non possono essere pienamente utilizzate.
In altre parole, non conta solo la potenza di calcolo, ma quanto velocemente i dati possono essere consegnati alla GPU.
È qui che entra in gioco la memoria. La memoria è il luogo in cui vengono temporaneamente archiviati i dati attualmente in uso. Più la memoria veloce è vicina alla GPU, più velocemente i dati possono essere consegnati. Questo è il motivo per cui la memoria ad alta velocità chiamata HBM è posizionata vicino alle GPU AI.
D'altra parte, non puoi tenere tutti i dati nella memoria ad alta velocità. Hai anche bisogno di un posto per archiviare quantità massive di dati. È qui che entra in gioco l'archiviazione. Nei data center, vengono comunemente utilizzati gli SSD. E il semiconduttore di memoria all'interno di quegli SSD è la NAND flash. L'azienda leader che sviluppa quella NAND è la nostra amata Kioxia.
Con la diffusione dell'IA generativa, la capacità di 'leggere, trattenere temporaneamente e salvare rapidamente dati massicci' sta diventando importante tanto quanto la potenza di calcolo. Questo è il motivo per cui, oltre a NVIDIA, aziende come SK Hynix, Micron e Samsung (per la memoria), e Kioxia, Samsung e Micron (per SSD e NAND) stanno attirando l'attenzione nel contesto dell'IA.
Latenza e Data Center Edge
La latenza è cruciale quando si pensa ai data center. Poiché gli umani non possono più aspettare, è importante che i data center non solo 'elaborino in blocco' ma anche 'rispondano rapidamente'.
Mentre l'addestramento dell'IA avviene in data center massicci, l'inferenza dell'IA, il processo di risposta alla domanda di un utente, trae vantaggio dall'essere elaborata più vicino all'utente. È qui che entrano in gioco i 'data center edge'.
Se costruisci solo data center massicci lontani, le cose rallentano. L'idea è di posizionare data center più piccoli più vicino agli utenti o ai dispositivi. Non importa quanto siano veloci i server interni, se i dati impiegano tempo per viaggiare avanti e indietro, l'utente li percepirà come lenti.
Questo ritardo è un problema per le transazioni finanziarie, i giochi, lo streaming video, le fabbriche, la guida autonoma e l'inferenza dell'IA. Pertanto, in futuro, non solo i data center massicci, ma anche i data center edge situati vicino agli utenti saranno vitali.
Questo sposta la conversazione dal semplice 'dove costruire grandi data center' a 'dove posizionare l'elaborazione'. I vettori di telecomunicazioni, la fibra ottica, il 5G, le apparecchiature di rete, i server edge, il condizionamento dell'aria, il monitoraggio remoto e le reti di manutenzione diventano tutti importanti. Man mano che l'edge si espande, la catena di approvvigionamento dei data center crescerà verso la gestione di molte infrastrutture distribuite e di piccole dimensioni.
La Catena di Approvvigionamento dei Data Center
Nel mio lavoro principale, dico al mio team: 'Per fare marketing B2B, devi comprendere la catena del valore e la catena di approvvigionamento.' Con una catena di approvvigionamento così massiccia, molti attori sono coinvolti.
[Hyperscaler]
In primo luogo, gli hyperscaler creano la domanda. Queste sono aziende che gestiscono servizi cloud o IT su scala ultra-grande. Questo di solito si riferisce a provider cloud come AWS, Microsoft Azure, Google Cloud e Oracle Cloud, o a piattaforme giganti come Meta, Apple, Alibaba e Tencent. Creano domanda di data center richiedendo quantità massive di GPU e server per l'IA.
[Operatori di Data Center]
Poi ci sono gli operatori che possiedono e gestiscono i data center. Gli hyperscaler a volte costruiscono i propri, ma utilizzano anche operatori esterni chiamati 'colocatori'. I colocatori forniscono spazio, energia, raffreddamento, connettività e sicurezza. Gli attori chiave includono Equinix, Digital Realty, il potente NTT Data Group e molti altri. KDDI opera all'estero con il marchio Telehouse.
[Costruzione]
Al di sotto c'è il livello Costruzione/EPC. EPC sta per Engineering, Procurement e Construction (Ingegneria, Approvvigionamento e Costruzione). Queste sono le aziende che progettano, acquistano attrezzature e costruiscono le strutture, inclusi gli appaltatori generali.
[Infrastruttura Elettrica]
Poiché i data center AI utilizzano quantità massive di elettricità, la generazione, la trasmissione, la trasformazione, la distribuzione e l'alimentazione di backup sono fondamentali. Nella generazione di energia e nell'energia distribuita, aziende come GE Vernova, Siemens e Mitsubishi Heavy Industries stanno registrando buone performance con turbine a gas e generatori. Anche la trasformazione, la distribuzione e l'UPS (Gruppo di Continuità) sono vitali per garantire che i server non si blocchino durante le interruzioni. Schneider Electric è famosa in questo spazio.
[Raffreddamento]
Anche i PC di casa si scaldano durante i compiti pesanti, ma i data center AI lo fanno su scala astronomica. Le GPU AI generano così tanto calore che si guasteranno o perderanno prestazioni se non vengono raffreddate. Mentre il 'raffreddamento ad aria' (raffreddamento dell'intera stanza) era standard, i server AI generano così tanto calore per rack che il raffreddamento ad aria sta diventando inefficiente. Questo sta portando al 'raffreddamento a liquido', che utilizza il liquido per portare via il calore in modo più efficiente. Una tendenza chiamata 'Direct-to-Chip' prevede il posizionamento di piastre di raffreddamento direttamente su GPU o CPU. Aziende come Daikin, Mitsubishi Heavy Industries Thermal Systems e Mitsubishi Electric sono attori chiave qui.
[Comunicazione e Rete]
I data center sono inutili se non sono connessi al mondo esterno. Ciò coinvolge vettori di telecomunicazioni, apparecchiature di rete, switch e router. Nell'IA, collegare le GPU tra loro ad alta velocità all'interno del data center è importante tanto quanto la connettività esterna. Ciò richiede sia cavi di alimentazione che fibra ottica. È qui che entrano in gioco le 'tre grandi' aziende di cavi giapponesi: Fujikura, Sumitomo Electric e Furukawa Electric.
[Apparecchiature IT e Semiconduttori]
L'IA richiede un set completo: server, GPU, CPU, memoria, SSD e apparecchiature di rete. Man mano che l'IA passa alla fase di utilizzo, la velocità di lettura e scrittura dei dati diventa importante quanto la potenza di calcolo grezza.
Non Spuntano dal Nulla dall'Oggi al Domani
Come puoi vedere, i data center AI non sono qualcosa per cui l'offerta può soddisfare istantaneamente la domanda. Anche se gli hyperscaler stanno investendo pesantemente, queste strutture richiedono tempo per essere costruite. Qualsiasi collo di bottiglia nella catena di approvvigionamento, dai materiali alla carenza globale di manodopera qualificata, ritarda l'operatività.
Le notizie di ritardi nella costruzione e di date di inizio posticipate sono comuni. Gli arretrati si accumulano in vari siti. Mentre 'semiconduttori' è l'argomento caldo del momento, se lo guardi attraverso la lente dei data center AI, è un tema di investimento infrastrutturale pluriennale.
(La domanda e i prezzi delle azioni sono cose diverse, quindi investi a tuo rischio e pericolo!)
