Esta noche vi de repente que Musk publicó un tuit: "Trabajo impresionante de Kimi."
Fui a ver qué había emocionado tanto al viejo Musk. Entonces descubrí que Kimi había publicado un paper.
Leí con atención el paper que Musk elogió. Descubrí que el protagonista de este paper es algo que me resulta bastante familiar: las conexiones residuales. Mi primera reacción fue: Espera, ¿no es esto justo lo que DeepSeek abordó a finales del año pasado?
En enero de este año, escribí un artículo analizando el paper mHC de DeepSeek. El núcleo era: DeepSeek encontró algo que todos pensaban que no necesitaba cambios (las conexiones residuales) y lo cambió.
Ahora Kimi también le está metiendo mano a las conexiones residuales, y Musk dice que es impresionante. Leí el paper con confusión. La conclusión: ambos laboratorios encontraron el mismo problema, pero sus puntos de partida y la profundidad de sus soluciones son completamente diferentes.
¿Qué problema encontró DeepSeek y cómo lo resolvió?
Repasemos rápidamente el paper de DeepSeek. Las conexiones residuales estándar se ven así:
h_l = h_{l-1} + f_{l-1}(h_{l-1})
La salida de cada capa = salida de la capa anterior + cosas nuevas aprendidas en esta capa. Pesos fijos, acumulación uniforme. Propuesto por ResNet en 2015, usado por todos los modelos grandes desde entonces.
La conciencia del problema de DeepSeek fue: ¿Son los pesos fijos demasiado rígidos? ¿Es razonable que cada capa trate a todas las capas anteriores por igual?
Su primer intento fueron las Hiperconexiones (HC): expandir el flujo residual de 1 a 4 caminos, con pesos aprendibles para cada uno. Funcionaba bien pero tenía un defecto fatal: inestabilidad en el entrenamiento. Las matrices de pesos aprendibles no tenían restricciones, y después de 60 capas de multiplicación, la señal se amplificaba 3000 veces. La curva de pérdida se disparaba de repente a mitad del entrenamiento.
La solución final mHC: restringir la matriz de pesos a una "matriz doblemente estocástica"—donde la suma de cada fila y cada columna es 1. Esta propiedad matemática asegura que la norma espectral sea ≤ 1, evitando la explosión de la señal. El entrenamiento se volvió estable y el rendimiento superó a las conexiones residuales originales con un costo de solo el 6.7% adicional de tiempo de entrenamiento.
La solución de DeepSeek: cambiar los pesos de las conexiones de fijos a aprendibles, usando restricciones matemáticas para garantizar la estabilidad.
¿Qué encontró Kimi, y por qué parece lo mismo?
El paper de Kimi también comienza discutiendo problemas con las conexiones residuales. Pero a medida que seguí leyendo, la definición del problema de Kimi está en otro nivel.
DeepSeek preguntó: ¿Pueden los pesos ser más flexibles?
Kimi preguntó: ¿Cuál es el problema más fundamental? Incluso si los pesos son aprendibles, ¿qué sigue sin resolver?
Encontraron tres respuestas.
Primero, no puedes "pedir del menú".
Cada capa solo ve el "estado mezclado" que le pasa la capa anterior: el resultado de mezclar las salidas de todas las capas anteriores. Pero los diferentes tipos de capas necesitan cosas distintas: algunas pueden necesitar semántica cruda temprana, otras pueden necesitar características recién calculadas. Actualmente, todas comen la misma comida mezclada; no pueden decir "quiero la salida de la capa 3."
Segundo, la información no se puede recuperar.
Una vez que una capa aprende algo valioso y se mezcla en el estado acumulativo, se combina con todo lo demás. A medida que las capas posteriores apilan nuevas salidas, esa información se desvanece y eventualmente se ahoga. Es irreversible.
Tercero, a las capas posteriores les cuesta más tener impacto.
Imagina hablar en una habitación que se vuelve cada vez más ruidosa. Las capas anteriores han acumulado una señal grande; las capas posteriores deben gritar más fuerte que todas las anteriores combinadas para ser escuchadas. El paper lo midió: en las capas finales, la magnitud de la señal es más de diez veces la del inicio. Para tener el mismo impacto, las capas posteriores necesitan diez veces el "volumen."
mHC resolvió la estabilidad del entrenamiento, pero estos tres problemas fundamentales permanecen—porque los pesos de mHC, aunque aprendibles, son fijos después del entrenamiento. Sin importar la entrada, los pesos son los mismos.
La Solución de Kimi: Mover soluciones de la dimensión temporal a la dimensión de profundidad
La solución de Kimi viene de una analogía hermosa. Estos tres problemas—sin menú, información perdida, y gritar en una habitación ruidosa—parecen familiares. Son exactamente los problemas que se encontraban antes de 2017 al procesar secuencias de texto con RNNs.
En 2017, "Attention Is All You Need" propuso el Transformer, usando el mecanismo de atención para resolver esto: cada posición ya no solo ve el estado comprimido anterior, sino que puede mirar hacia atrás a todas las posiciones históricas y decidir dinámicamente dónde enfocarse.
Curiosamente, mientras ese paper mejoró el procesamiento de texto, no tocó el flujo de información entre capas—las conexiones residuales seguían siendo la acumulación fija de 2015.
La pregunta de Kimi: Cuando procesamos texto, reemplazamos la "transferencia comprimida" con atención; ¿por qué todavía usamos "transferencia comprimida" entre capas?
Esta es la idea central de AttnRes: aplicar el mecanismo de atención a las conexiones entre capas. En cierto sentido, esta es la secuela de "Attention Is All You Need" en la dirección de la profundidad.
En términos simples, cada capa ahora puede "mirar hacia atrás" a las salidas de todas las capas anteriores y decidir dinámicamente qué resultados son más relevantes basándose en el contenido actual. Este "mirar hacia atrás" es el mecanismo de atención—el mismo que los Transformers hacen con el texto, pero la dirección cambia de "mirar hacia atrás a palabras anteriores" a "mirar hacia atrás a capas anteriores."
El costo de parámetros es insignificante: solo un vector extra por capa. Lo más importante: los pesos de "a quién mirar" no son fijos. El mismo modelo, al procesar diferentes entradas, se enfocará en diferentes capas. Esta es la diferencia esencial con mHC: los pesos de mHC son fijos después del entrenamiento; los pesos de AttnRes están "vivos."
Me recuerda a Proust. En "En busca del tiempo perdido", cuando Marcel prueba la magdalena mojada en té, la infancia de Combray regresa—no como una impresión vaga, sino como una percepción precisa que evita todas las cadenas narrativas intermedias. Proust llamó a esto "memoria involuntaria." AttnRes le da a cada capa una habilidad proustiana ingenieril: desencadenada por el contenido actual, salta directamente a la salida precisa de cualquier capa predecesora sin pasar por la cadena de compresión intermedia.
La Diferencia Esencial entre las Dos Soluciones
DeepSeek mHC | Kimi AttnRes | |
|---|---|---|
Qué se cambió | Método de aprendizaje de los pesos de conexión | Estructura del flujo de información |
Pesos: Vivos o Muertos | Fijos después del entrenamiento | Diferentes para cada entrada |
Qué se puede ver | Solo el estado mezclado de la capa anterior | Puede ver directamente las salidas crudas de todas las capas anteriores |
Qué se resolvió | Pesos rígidos | Selección de "menú" + efecto de habitación ruidosa |
Un estudio de ablación en el paper es muy directo: si el modelo puede ver todas las capas anteriores pero los pesos son fijos, casi no hay mejora. Pero con pesos dinámicos (decididos en tiempo real según el contenido), el rendimiento mejora significativamente.
Block AttnRes: Implementación de Ingeniería
Idealmente, cada capa mira hacia atrás a todas las capas anteriores (Full AttnRes). Pero para un modelo de más de 100 capas, almacenar todas las salidas consume demasiada memoria. La solución de ingeniería de Kimi es Block AttnRes: dividir las capas en aproximadamente 8 "bloques." Dentro de los bloques, se usan residuales estándar; entre bloques, se usa atención. El uso de memoria disminuye significativamente mientras se retiene la mayoría de las ganancias. La sobrecarga de entrenamiento es inferior al 4%, y la latencia de inferencia aumenta menos del 2%.
¿Cuáles son los resultados?
Probado en el modelo de 48 mil millones de parámetros de Kimi: Usando el mismo cómputo, AttnRes logró un rendimiento que los métodos estándar necesitarían un 25% más de cómputo para alcanzar.
Las mejoras en tareas downstream son significativas, especialmente en razonamiento:
- GPQA-Diamond: 36.9 → 44.4 (+7.5 puntos)
- Math: 53.5 → 57.1
- Code: 59.1 → 62.2
- C-Eval: 79.6 → 82.5
¿Qué aprendió el modelo?
Kimi visualizó los patrones de "mirar hacia atrás":
- Mayormente mira a los vecinos. Las residuales estándar no estaban del todo equivocadas.
- La entrada original nunca se olvida. Incluso en las capas más profundas, la atención a la entrada inicial no es cero.
- El modelo inventó "atajos". Ciertas capas saltan el medio para enfocarse en capas muy tempranas.
El Panorama General
La mayoría de los equipos se enfocan en mejores datos, contexto más largo o MoE más grande. Estas son optimizaciones bajo el supuesto de que "las conexiones de capas son fijas." Volver a la estructura base para un avance requiere criterio técnico y fortaleza en ingeniería.
Las conexiones residuales han sido el estándar durante diez años. En menos de tres meses, dos laboratorios chinos encontraron avances fundamentales aquí. El "Trabajo impresionante" de Musk es más que una cortesía; señala que el paradigma subyacente del aprendizaje profundo está cambiando.
Referencias:
- Informe de Residuales de Atención: https://github.com/MoonshotAI/Attention-Residuals
- Paper mHC: https://arxiv.org/abs/2512.24880
- Informe Lineal de Kimi: https://arxiv.org/abs/2510.26692
Kimi explica este paper en términos simples: Los modelos grandes son como un edificio de 100 pisos. Durante diez años, los trabajadores pasaban un solo archivo mezclado piso por piso. Kimi instaló un teléfono en cada piso. Ahora, el trabajador del piso 100 puede llamar directamente al piso 3 para verificar datos, en lugar de tener que escarbar en un archivo que ha sido modificado 97 veces. Este simple cambio le dio al modelo un aumento gratuito del 25% en rendimiento.
