Avec Kioxia qui devient la première capitalisation boursière du Japon et Fujikura qui revoit soudainement ses prévisions de bénéfices à la hausse, l'attention et les capitaux affluent vers les « semi-conducteurs ». Bien que les termes « boom de l'IA » et « semi-conducteurs » soient omniprésents, le véritable centre de tout cela est le centre de données IA.
J'ai déjà publié un « Cours sur les semi-conducteurs pour faire comme si vous vous y connaissiez ».
Ce n'était qu'un résumé de livres et de vidéos YouTube que j'avais assemblé sans trop vérifier les faits, et je craignais que quelqu'un ne se fâche, mais il a été plutôt bien accueilli. Alors, pour ce deuxième volet, j'aimerais écrire sur les centres de données.
https://x.com/Kumakuring/status/1760605955845464527?s=20
J'ai beaucoup évolué depuis cet article sur les semi-conducteurs. Pourquoi ? Parce que je lis désormais le Nikkei Shimbun tous les jours comme il se doit.
De plus, dans mon travail principal en marketing, la plupart des projets concernent les semi-conducteurs et les centres de données, j'ai donc plus d'occasions de discuter avec des experts. J'ai écrit ceci comme un moyen de restituer ce que j'ai appris.
Cependant, je ne suis pas un expert, et comme je voulais écrire le texte moi-même pour une fois, je n'ai pas beaucoup utilisé l'IA cette fois-ci. Veuillez pardonner les inexactitudes éventuelles.
L'humanité a perdu la capacité d'attendre
J'ai la trentaine bien entamée, et je me souviens de l'époque où il fallait « interroger le centre » rien que pour lire un email sur un téléphone portable. Avec le recul, c'était assez idyllique. On vérifiait manuellement si un email était arrivé et on attendait un peu la réponse.
Mais les choses ont changé maintenant.
Qu'il s'agisse de recherches, de vidéos, de paiements, de réseaux sociaux ou de réponses de l'IA générative, on s'énerve si elles ne sont pas instantanées. Ce n'est pas seulement de l'énervement ; certaines personnes deviennent même anxieuses.
En bref, les humains sont de moins en moins capables d'attendre.
Le mot-clé ici est la « latence ». La latence fait référence au délai de communication. Plus le temps entre l'envoi des données et la réception du résultat traité est court, plus l'utilisateur perçoit le service comme « rapide ».
Nous avions l'habitude d'attendre les requêtes par email, mais maintenant nous sommes agacés si une réponse de l'IA n'apparaît pas en un éclair. Les centres de données sont ce qui soutient cette « incapacité à attendre » en coulisses.
Un centre de données est une installation dédiée conçue pour faire fonctionner un nombre massif de serveurs de manière stable.
- Bâtiments pour abriter les serveurs
- Quantités massives d'électricité
- Équipements de refroidissement pour dissiper la chaleur
- Lignes de communication à haut débit
- Protection contre les tremblements de terre, les incendies, les pannes de courant, les cyberattaques et les intrusions physiques
En d'autres termes, un centre de données n'est pas simplement une « salle de stockage de serveurs » ; c'est une infrastructure massive combinant électricité, refroidissement, communication, construction, immobilier et exploitation. Étant donné que les centres de données ont été ciblés dans des conflits au Moyen-Orient, ils revêtent également une importance majeure pour la sécurité nationale.
La ruée vers la construction de centres de données pilotée par l'IA
L'IA générative consomme d'énormes ressources de calcul. Plus précisément, l'entraînement et l'inférence de l'IA nécessitent un très grand nombre de GPU, et faire fonctionner ces GPU nécessite des quantités massives d'énergie et de refroidissement.
Les centres de données existants soutenaient le cloud, le commerce électronique, le streaming vidéo, la finance et les télécommunications. Par-dessus tout cela, la demande pour l'IA générative est soudainement arrivée, provoquant des cris de « construisez plus », « mais il n'y a pas assez d'électricité », « le refroidissement est difficile », « le terrain est limité » et « nous avons besoin de réseaux électriques ».
J'ai parlé une fois à quelqu'un du domaine des centres de données qui a dit : « Un centre de données, c'est comme un oignon ; si on enlève les couches, on se retrouve avec des semi-conducteurs. »
Imaginez le bâtiment → les équipements électriques à l'intérieur → les équipements de refroidissement → les lignes de communication → les baies → les serveurs → et à l'intérieur de ceux-ci, les semi-conducteurs comme les GPU, CPU, mémoire et SSD. Cette structure permet d'organiser facilement les différents acteurs impliqués.
Comme je l'ai mentionné dans l'article sur les semi-conducteurs, la raison pour laquelle l'IA stimule les semi-conducteurs est que l'IA générative n'est pas seulement un logiciel ; elle nécessite un support matériel massif. Cependant, les semi-conducteurs ne fonctionnent pas seuls.
Même si vous avez des GPU NVIDIA, ils ne fonctionneront pas sans électricité. S'ils fonctionnent mais ne peuvent pas dissiper la chaleur, ils s'arrêtent. Si les GPU ne sont pas connectés à haute vitesse, ils ne performeront pas. Ils doivent lire des quantités massives de données. Et il faut d'abord un bâtiment, bien que récemment il y ait eu des mouvements anti-construction...
Électricité, refroidissement, fibres optiques, câbles électriques, serveurs, mémoire, SSD, construction, immobilier et exploitation de centres de données. C'est pourquoi le boom de l'IA se propage de NVIDIA et des semi-conducteurs à tous ces autres secteurs.
L'IA, c'est plus que de simples GPU
Quand les gens pensent à l'IA, les GPU NVIDIA sont la première chose qui vient à l'esprit. Les GPU sont les semi-conducteurs pour le calcul. Par conséquent, l'histoire va généralement comme suit : si l'IA se développe, NVIDIA profite.
Cependant, une fois que l'IA générative atteint le stade de l'utilisation réelle, l'histoire ne s'arrête pas aux GPU.
- L'utilisateur pose une question
- Les données sont lues
- Le calcul a lieu
- Les informations intermédiaires sont conservées temporairement
- Les données sont lues à nouveau
- La réponse est renvoyée
Ce processus se produit simultanément à une échelle massive dans le monde entier. En passant, j'ai récemment plaisanté en disant qu'être la « personne à l'intérieur de ChatGPT » si je devais me réincarner serait un enfer. Mais je m'égare.
L'important est que les GPU ne calculent pas à partir de rien. Chaque fois qu'un GPU calcule, il lit une quantité massive de données.
Ce qui compte ici, c'est la vitesse de calcul du GPU. Les GPU peuvent traiter des calculs massifs à des vitesses incroyables, mais si les données nécessaires n'arrivent pas, un « temps d'attente » se produit. Peu importe la vitesse du GPU, si la livraison des données est lente, les performances du GPU ne peuvent pas être pleinement utilisées.
En d'autres termes, ce n'est pas seulement la puissance de calcul qui compte, mais la rapidité avec laquelle les données peuvent être livrées au GPU.
C'est là que la mémoire entre en jeu. La mémoire est l'endroit où les données actuellement utilisées sont temporairement stockées. Plus la mémoire rapide est proche du GPU, plus les données peuvent être livrées rapidement. C'est pourquoi une mémoire à haute vitesse appelée HBM est placée près des GPU IA.
D'un autre côté, on ne peut pas conserver toutes les données dans une mémoire à haute vitesse. Il faut aussi un endroit pour stocker des quantités massives de données. C'est là que le stockage entre en jeu. Dans les centres de données, les SSD sont couramment utilisés. Et le semi-conducteur mémoire à l'intérieur de ces SSD est la mémoire flash NAND. La société leader dans le développement de cette NAND est notre bien-aimée Kioxia.
Avec la propagation de l'IA générative, la capacité à « lire, conserver temporairement et sauvegarder rapidement des données massives » devient tout aussi importante que la puissance de calcul. C'est pourquoi, en plus de NVIDIA, des entreprises comme SK Hynix, Micron et Samsung (pour la mémoire), ainsi que Kioxia, Samsung et Micron (pour les SSD et la NAND) attirent l'attention dans le contexte de l'IA.
Latence et centres de données Edge
La latence est cruciale lorsqu'on pense aux centres de données. Parce que les humains ne peuvent plus attendre, il est important que les centres de données non seulement « traitent en masse » mais aussi « répondent rapidement ».
Alors que l'entraînement de l'IA se fait dans des centres de données massifs, l'inférence de l'IA—le processus de réponse à la question d'un utilisateur—bénéficie d'un traitement plus proche de l'utilisateur. C'est là qu'interviennent les « centres de données edge ».
Si vous ne construisez que des centres de données massifs et éloignés, les choses deviennent lentes. L'idée est de placer des centres de données plus petits plus près des utilisateurs ou des appareils. Peu importe la vitesse des serveurs internes, si les données mettent du temps à faire l'aller-retour, l'utilisateur percevra le service comme lent.
Ce délai est un problème pour les transactions financières, les jeux, le streaming vidéo, les usines, la conduite autonome et l'inférence IA. Par conséquent, à l'avenir, non seulement les centres de données massifs, mais aussi les centres de données edge situés près des utilisateurs seront essentiels.
Cela déplace la conversation de « où construire de grands centres de données » à « où placer le traitement ». Les opérateurs de télécommunications, la fibre optique, la 5G, les équipements réseau, les serveurs edge, la climatisation, la surveillance à distance et les réseaux de maintenance deviennent tous importants. À mesure que l'edge se développe, la chaîne d'approvisionnement des centres de données s'orientera vers la gestion de nombreuses petites infrastructures distribuées.
La chaîne d'approvisionnement des centres de données
Dans mon travail principal, je dis à mon équipe : « Pour faire du marketing B2B, vous devez comprendre la chaîne de valeur et la chaîne d'approvisionnement. » Avec une chaîne d'approvisionnement aussi massive, de nombreux acteurs sont impliqués.
[Hyperscalers]
D'abord, les hyperscalers créent la demande. Ce sont des entreprises qui exploitent des services cloud ou informatiques à très grande échelle. Cela fait généralement référence aux fournisseurs de cloud comme AWS, Microsoft Azure, Google Cloud et Oracle Cloud, ou aux grandes plateformes comme Meta, Apple, Alibaba et Tencent. Ils créent la demande de centres de données en nécessitant des quantités massives de GPU et de serveurs pour l'IA.
[Opérateurs de centres de données]
Ensuite, il y a les opérateurs qui possèdent et exploitent les centres de données. Les hyperscalers construisent parfois les leurs, mais ils utilisent aussi des opérateurs externes appelés « colocators ». Les colocators fournissent l'espace, l'électricité, le refroidissement, la connectivité et la sécurité. Les acteurs clés incluent Equinix, Digital Realty, le puissant groupe NTT Data, et bien d'autres. KDDI opère à l'étranger sous la marque Telehouse.
[Construction]
En dessous se trouve la couche Construction/EPC. EPC signifie Engineering, Procurement, and Construction (Ingénierie, Approvisionnement et Construction). Ce sont les entreprises qui conçoivent, achètent les équipements et construisent les installations, y compris les entrepreneurs généraux.
[Infrastructure électrique]
Étant donné que les centres de données IA utilisent des quantités massives d'électricité, la production, le transport, la transformation, la distribution et l'alimentation de secours sont essentiels. Dans la production d'électricité et la production distribuée, des entreprises comme GE Vernova, Siemens et Mitsubishi Heavy Industries affichent de bonnes performances avec les turbines à gaz et les générateurs. La transformation, la distribution et l'onduleur (UPS) sont également essentiels pour garantir que les serveurs ne plantent pas en cas de panne. Schneider Electric est célèbre dans ce domaine.
[Refroidissement]
Même les PC domestiques chauffent lors de tâches lourdes, mais les centres de données IA le font à une échelle astronomique. Les GPU IA génèrent tellement de chaleur qu'ils tomberont en panne ou perdront en performance s'ils ne sont pas refroidis. Alors que le « refroidissement par air » (refroidir toute la pièce) était la norme, les serveurs IA génèrent tellement de chaleur par baie que le refroidissement par air devient inefficace. Cela conduit au « refroidissement liquide », qui utilise un liquide pour évacuer la chaleur plus efficacement. Une tendance appelée « Direct-to-Chip » consiste à placer des plaques de refroidissement directement sur les GPU ou les CPU. Des entreprises comme Daikin, Mitsubishi Heavy Industries Thermal Systems et Mitsubishi Electric sont des acteurs clés ici.
[Communication et mise en réseau]
Les centres de données sont inutiles s'ils ne sont pas connectés au monde extérieur. Cela implique les opérateurs de télécommunications, les équipements réseau, les commutateurs et les routeurs. Dans l'IA, connecter les GPU entre eux à haute vitesse à l'intérieur du centre de données est tout aussi important que la connectivité externe. Cela nécessite à la fois des câbles électriques et de la fibre optique. C'est là qu'interviennent les « trois grands » fabricants de câbles japonais—Fujikura, Sumitomo Electric et Furukawa Electric.
[Équipements informatiques et semi-conducteurs]
L'IA nécessite un ensemble complet : serveurs, GPU, CPU, mémoire, SSD et équipements réseau. À mesure que l'IA entre dans la phase d'utilisation, la vitesse de lecture et d'écriture des données devient aussi cruciale que la puissance de calcul brute.
Ils ne poussent pas du jour au lendemain
Comme vous pouvez le voir, les centres de données IA ne sont pas quelque chose dont l'offre peut répondre instantanément à la demande. Même si les hyperscalers investissent massivement, ces installations prennent du temps à construire. Tout goulot d'étranglement dans la chaîne d'approvisionnement—des matériaux à la pénurie mondiale de main-d'œuvre qualifiée—retarde la mise en service.
Les rapports de retards de construction et de reports de dates de démarrage sont courants. Les commandes en souffrance s'accumulent sur divers sites. Bien que les « semi-conducteurs » soient le sujet brûlant du moment, si vous regardez les choses sous l'angle des centres de données IA, il s'agit d'un thème d'investissement dans les infrastructures à long terme.
(La demande et les cours des actions sont des choses différentes, alors investissez à vos risques et périls !)
