Con Kioxia convirtiéndose en la empresa más grande de Japón por capitalización de mercado y Fujikura revisando repentinamente sus ganancias al alza, la atención y el capital están inundando los 'semiconductores'. Si bien términos como auge de la IA y semiconductores están por todas partes, el verdadero centro de todo es el centro de datos de IA.
Anteriormente, publiqué un 'Curso de Semiconductores para Fingir que Sabes de Todo'.
Era solo un resumen de libros y videos de YouTube que armé sin mucha verificación de datos, y me preocupaba que alguien se enojara, pero fue recibido de manera bastante positiva. Así que, para la segunda entrega, me gustaría escribir sobre los centros de datos.
https://x.com/Kumakuring/status/1760605955845464527?s=20
He evolucionado significativamente desde ese artículo sobre semiconductores. ¿Por qué? Porque ahora leo el Nikkei Shimbun correctamente todos los días.
Además, en mi trabajo principal en marketing, la mayoría de los proyectos involucran semiconductores y centros de datos, por lo que tengo más oportunidades de hablar con expertos. He escrito esto como una forma de plasmar lo que he aprendido.
Sin embargo, no soy un experto, y como quería escribir el texto yo mismo por una vez, no he usado mucha IA esta vez. Por favor, disculpen cualquier inexactitud.
La Humanidad Ha Perdido la Capacidad de Esperar
Estoy en mis treinta y tantos, y recuerdo cuando teníamos que 'consultar el centro' solo para leer un correo electrónico en un teléfono móvil. Mirando hacia atrás, era bastante idílico. Tú mismo revisabas manualmente si había llegado un correo y esperabas un poco la respuesta.
Pero las cosas son diferentes ahora.
Ya sean búsquedas, videos, pagos, redes sociales o respuestas de IA generativa, nos frustramos si no devuelven resultados al instante. No es solo frustración; algunas personas incluso se ponen ansiosas.
En resumen, los humanos se están volviendo cada vez más incapaces de esperar.
La palabra clave aquí es 'latencia'. La latencia se refiere al retardo en la comunicación. Cuanto más corto sea el tiempo entre enviar datos y recibir el resultado procesado, más 'rápido' lo percibe el usuario.
Solíamos esperar las consultas de correo electrónico, pero ahora nos molestamos si una respuesta de IA no aparece en un instante. Los centros de datos son lo que respalda esta 'incapacidad de esperar' entre bastidores.
Un centro de datos es una instalación dedicada diseñada para mantener una gran cantidad de servidores funcionando de manera estable.
- Edificios para albergar servidores
- Grandes cantidades de electricidad
- Equipos de refrigeración para disipar el calor
- Líneas de comunicación de alta velocidad
- Protección contra terremotos, incendios, cortes de energía, ciberataques e intrusiones físicas
En otras palabras, un centro de datos no es solo una 'sala de almacenamiento de servidores'; es una infraestructura masiva que combina energía, refrigeración, comunicación, construcción, bienes raíces y operaciones.
Dado que los centros de datos han sido blanco de conflictos en el Medio Oriente, también tienen una importancia significativa para la seguridad nacional.
La Fiebre de Construcción de Centros de Datos Impulsada por la IA
La IA generativa consume enormes recursos computacionales. Específicamente, el entrenamiento y la inferencia de IA requieren una gran cantidad de GPUs, y ejecutar esas GPUs requiere grandes cantidades de energía y refrigeración.
Los centros de datos existentes han respaldado la nube, el comercio electrónico, la transmisión de video, las finanzas y las telecomunicaciones. Además de eso, la demanda de IA generativa ha llegado repentinamente, generando gritos de 'construyan más', 'pero no hay suficiente electricidad', 'la refrigeración es difícil', 'el terreno es limitado' y 'necesitamos redes eléctricas'.
Una vez hablé con alguien del campo de los centros de datos que dijo: 'Un centro de datos es como una cebolla; si pelas las capas, te quedas con semiconductores'.
Imagina el edificio → equipo eléctrico en el interior → equipo de refrigeración → líneas de comunicación → racks → servidores → y dentro de esos están los semiconductores como GPUs, CPUs, memoria y SSDs. Esta estructura facilita la organización de los diversos actores involucrados.
Como mencioné en la publicación sobre semiconductores, la razón por la que la IA está impulsando los semiconductores es que la IA generativa no es solo software; requiere un enorme soporte de hardware. Sin embargo, los semiconductores no funcionan solos.
Incluso si tienes GPUs de NVIDIA, no funcionarán sin electricidad. Si funcionan pero no pueden disipar el calor, se detienen. Si las GPUs no están conectadas a altas velocidades, no rendirán. Necesitan leer grandes cantidades de datos. Y necesitas un edificio para empezar, aunque recientemente ha habido movimientos anti-construcción...
Energía, refrigeración, fibra óptica, cables eléctricos, servidores, memoria, SSDs, construcción, bienes raíces y operaciones de centros de datos. Es por eso que el auge de la IA se extiende desde NVIDIA y los semiconductores a todos estos otros sectores.
La IA es Más que Solo GPUs
Cuando la gente piensa en IA, las GPUs de NVIDIA son lo primero que viene a la mente. Las GPUs son los semiconductores para el cálculo. Por lo tanto, la historia usualmente dice: si la IA crece, NVIDIA gana.
Sin embargo, una vez que la IA generativa llega a la etapa de uso real, la historia no termina con las GPUs.
- El usuario hace una pregunta
- Se leen los datos
- Ocurre el cálculo
- La información intermedia se retiene temporalmente
- Se vuelven a leer los datos
- Se devuelve la respuesta
Este proceso ocurre simultáneamente a gran escala en todo el mundo. Como nota al margen, bromeé recientemente que ser la 'persona dentro de ChatGPT' si me reencarnara sería un infierno. Pero me desvío.
Lo importante es que las GPUs no calculan de la nada. Cada vez que una GPU calcula, lee una gran cantidad de datos.
Lo que importa aquí es la velocidad de cálculo de la GPU. Las GPUs pueden procesar cálculos masivos a velocidades increíbles, pero si los datos necesarios no llegan, ocurre un 'tiempo de espera'.
No importa lo rápida que sea la GPU, si la entrega de datos es lenta, el rendimiento de la GPU no se puede utilizar por completo.
En otras palabras, no solo importa la capacidad de cálculo, sino la rapidez con que se pueden entregar los datos a la GPU.
Aquí es donde entra la memoria. La memoria es el lugar donde se almacena temporalmente los datos que están en uso. Cuanto más cerca esté la memoria rápida de la GPU, más rápido se pueden entregar los datos. Es por eso que la memoria de alta velocidad llamada HBM se coloca cerca de las GPUs de IA.
Por otro lado, no se pueden mantener todos los datos en memoria de alta velocidad. También necesitas un lugar para almacenar grandes cantidades de datos. Aquí es donde entra el almacenamiento. En los centros de datos, se usan comúnmente SSDs. Y el semiconductor de memoria dentro de esos SSDs es NAND flash. La empresa líder en el desarrollo de esa NAND es nuestra querida Kioxia.
Con la propagación de la IA generativa, la capacidad de 'leer, retener temporalmente y guardar grandes cantidades de datos rápidamente' se está volviendo igual de importante que la potencia de cálculo. Es por eso que, además de NVIDIA, empresas como SK Hynix, Micron y Samsung (para memoria), y Kioxia, Samsung y Micron (para SSDs y NAND) están ganando atención en el contexto de la IA.
Latencia y Centros de Datos Periféricos (Edge)
La latencia es crucial al pensar en los centros de datos. Debido a que los humanos ya no pueden esperar, es importante que los centros de datos no solo 'procesen en masa' sino que también 'respondan rápidamente'.
Mientras que el entrenamiento de IA ocurre en centros de datos masivos, la inferencia de IA—el proceso de responder a la pregunta de un usuario—se beneficia al procesarse más cerca del usuario. Aquí es donde entran los 'centros de datos periféricos' (edge data centers).
Si solo construyes centros de datos masivos lejanos, las cosas se vuelven lentas. La idea es colocar centros de datos más pequeños más cerca de los usuarios o dispositivos.
No importa lo rápidos que sean los servidores internos, si los datos tardan en viajar de ida y vuelta, el usuario lo percibirá como lento.
Este retraso es un problema para las transacciones financieras, los juegos, la transmisión de video, las fábricas, la conducción autónoma y la inferencia de IA. Por lo tanto, en el futuro, no solo los centros de datos masivos sino también los centros de datos periféricos ubicados cerca de los usuarios serán vitales.
Esto cambia la conversación de simplemente 'dónde construir grandes centros de datos' a 'dónde colocar el procesamiento'. Las operadoras de telecomunicaciones, la fibra óptica, el 5G, los equipos de red, los servidores periféricos, el aire acondicionado, la monitorización remota y las redes de mantenimiento se vuelven importantes.
A medida que el borde se expande, la cadena de suministro de centros de datos crecerá hacia la gestión de muchas infraestructuras pequeñas y distribuidas.
La Cadena de Suministro de Centros de Datos
En mi trabajo principal, le digo a mi equipo: 'Para hacer marketing B2B, debes entender la cadena de valor y la cadena de suministro'. Con una cadena de suministro tan masiva, muchos actores están involucrados.
[Hiperscaladores]
Primero, los hiperscaladores crean la demanda. Estas son empresas que operan servicios en la nube o servicios de TI a escala ultra grande.
Esto usualmente se refiere a proveedores de nube como AWS, Microsoft Azure, Google Cloud y Oracle Cloud, o plataformas gigantes como Meta, Apple, Alibaba y Tencent. Crean demanda de centros de datos al requerir grandes cantidades de GPUs y servidores para IA.
[Operadores de Centros de Datos]
A continuación están los operadores que poseen y administran los centros de datos. Los hiperscaladores a veces construyen los suyos propios, pero también utilizan operadores externos llamados 'colocadores'.
Los colocadores proporcionan espacio, energía, refrigeración, conectividad y seguridad. Los actores clave incluyen Equinix, Digital Realty, el poderoso Grupo NTT Data, y muchos otros. KDDI opera en el extranjero bajo la marca Telehouse.
[Construcción]
Debajo de eso está la capa de Construcción/EPC. EPC significa Ingeniería, Adquisiciones y Construcción (Engineering, Procurement, and Construction). Estas son las empresas que diseñan, adquieren equipos y construyen las instalaciones, incluyendo contratistas generales.
[Infraestructura Eléctrica]
Dado que los centros de datos de IA usan grandes cantidades de electricidad, la generación, transmisión, transformación, distribución y energía de respaldo son críticas.
En la generación de energía y la energía distribuida, empresas como GE Vernova, Siemens y Mitsubishi Heavy Industries están viendo un fuerte rendimiento con turbinas de gas y generadores.
La transformación, distribución de energía y los UPS (Sistemas de Alimentación Ininterrumpida) también son vitales para garantizar que los servidores no se caigan durante los apagones. Schneider Electric es famosa en este ámbito.
[Refrigeración]
Incluso las PC domésticas se calientan durante tareas pesadas, pero los centros de datos de IA lo hacen a una escala astronómica. Las GPUs de IA generan tanto calor que fallarán o perderán rendimiento si no se enfrían.
Si bien la 'refrigeración por aire' (enfriar toda la sala) era estándar, los servidores de IA generan tanto calor por rack que la refrigeración por aire se está volviendo ineficiente. Esto está llevando a la 'refrigeración líquida', que utiliza líquido para transportar el calor de manera más eficiente.
Una tendencia llamada 'Directo al Chip' (Direct-to-Chip) implica colocar placas de refrigeración directamente sobre las GPUs o CPUs. Empresas como Daikin, Mitsubishi Heavy Industries Thermal Systems y Mitsubishi Electric son actores clave aquí.
[Comunicación y Redes]
Los centros de datos son inútiles si no están conectados al mundo exterior. Esto involucra operadoras de telecomunicaciones, equipos de red, switches y routers.
En IA, conectar las GPUs entre sí a altas velocidades dentro del centro de datos es igual de importante que la conectividad externa. Esto requiere tanto cables de energía como fibra óptica.
Aquí es donde entran las 'Tres Grandes' empresas de cables de Japón: Fujikura, Sumitomo Electric y Furukawa Electric.
[Equipos de TI y Semiconductores]
La IA requiere un conjunto completo: servidores, GPUs, CPUs, memoria, SSDs y equipos de red. A medida que la IA avanza hacia la fase de uso, la velocidad de lectura y escritura de datos se vuelve igual de crítica que la potencia bruta de cálculo.
No Aparecen de la Noche a la Mañana
Como puedes ver, los centros de datos de IA no son algo donde la oferta pueda simplemente satisfacer la demanda al instante. Aunque los hiperscaladores están invirtiendo fuertemente, estas instalaciones toman tiempo para construirse.
Cualquier cuello de botella en la cadena de suministro, desde los materiales hasta la escasez global de mano de obra calificada, retrasa la operación.
Los informes de retrasos en la construcción y fechas de inicio pospuestas son comunes. Los pedidos pendientes se acumulan en varios sitios. Si bien los 'semiconductores' son el tema candente actual, si lo ves a través del lente de los centros de datos de IA, es un tema de inversión en infraestructura a varios años.
(La demanda y los precios de las acciones son cosas diferentes, así que ¡invierte bajo tu propio riesgo!)
