Heute Abend sah ich plötzlich einen Tweet von Musk: "Beeindruckende Arbeit von Kimi."
Ich ging nachschauen, was den alten Musk so begeistert hatte. Und dann fand ich heraus, dass Kimi ein Paper veröffentlicht hatte.
Ich las das von Musk gelobte Paper aufmerksam. Ich stellte fest, dass der Protagonist dieses Papers etwas ist, das ich gut kenne – Residualverbindungen. Meine erste Reaktion war: Moment, ist das nicht das, was DeepSeek erst Ende letzten Jahres angesprochen hat?
Im Januar dieses Jahres schrieb ich einen Artikel zur Interpretation von DeepSeeks mHC-Paper. Der Kern war: DeepSeek fand etwas, von dem alle dachten, es müsse nicht geändert werden – Residualverbindungen – und änderte es.
Jetzt legt auch Kimi Hand an die Residualverbindungen, und Musk sagt, es sei beeindruckend. Ich las das Paper verwirrt. Das Fazit: Beide Labore fanden dasselbe Problem, aber ihre Ansätze und die Tiefe ihrer Lösungen sind völlig unterschiedlich.
Welches Problem hat DeepSeek gefunden und wie haben sie es gelöst?
Lassen Sie uns kurz das DeepSeek-Paper rekapitulieren. Standard-Residualverbindungen sehen so aus:
h_l = h_{l-1} + f_{l-1}(h_{l-1})
Jeder Layer-Ausgang = Ausgang des vorherigen Layers + neue Dinge, die in diesem Layer gelernt wurden. Feste Gewichte, gleichmäßige Akkumulation. 2015 von ResNet vorgeschlagen, seitdem von allen großen Modellen verwendet.
DeepSeek erkannte das Problem: Sind feste Gewichte zu starr? Ist es sinnvoll, dass jeder Layer alle vorherigen Layer gleich behandelt?
Ihr erster Versuch war Hyper-Connections (HC): Erweiterung des Residualflusses von 1 auf 4 Pfade, mit lernbaren Gewichten für jeden. Es funktionierte gut, hatte aber einen fatalen Fehler: Trainingsinstabilität. Die lernbaren Gewichtsmatrizen hatten keine Einschränkungen, und nach 60 Multiplikationsschichten wurde das Signal 3000-fach verstärkt. Die Verlustkurve schoss mitten im Training plötzlich in die Höhe.
Die endgültige mHC-Lösung: Die Gewichtsmatrix wird auf eine "doppelt stochastische Matrix" eingeschränkt – bei der die Summe jeder Zeile und jeder Spalte 1 ergibt. Diese mathematische Eigenschaft stellt sicher, dass die Spektralnorm ≤ 1 ist, was eine Signalexplosion verhindert. Das Training wurde stabil und die Leistung übertraf die ursprünglichen Residualverbindungen bei nur 6,7% zusätzlicher Trainingszeit.
DeepSeek's Lösung: Änderung der Verbindungsgewichte von fest zu lernbar, mit mathematischen Einschränkungen zur Gewährleistung der Stabilität.
Was hat Kimi gefunden, und warum sieht es gleich aus?
Kimis Paper beginnt ebenfalls mit der Diskussion von Problemen mit Residualverbindungen. Aber je weiter ich las, desto mehr wurde klar, dass Kimis Problemdefinition auf einer anderen Ebene liegt.
DeepSeek fragte: Können Gewichte flexibler sein?
Kimi fragte: Was ist das grundlegendere Problem? Selbst wenn Gewichte lernbar sind, was bleibt ungelöst?
Sie fanden drei Antworten.
Erstens: Man kann nicht "à la carte bestellen".
Jeder Layer sieht nur den "gemischten Zustand", der vom vorherigen Layer weitergegeben wird – das Ergebnis der zusammengerührten Ausgaben aller vorherigen Layer. Aber verschiedene Layer-Typen brauchen unterschiedliche Dinge: Manche brauchen vielleicht frühe rohe Semantik, andere gerade berechnete Merkmale. Derzeit bekommen alle denselben gemischten Brei; sie können nicht sagen: "Ich will den Output von Layer 3."
Zweitens: Informationen können nicht wiederhergestellt werden.
Sobald ein Layer etwas Wertvolles lernt und es in den kumulativen Zustand gemischt wird, vermischt es sich mit allem anderen. Wenn nachfolgende Layer neue Outputs hinzufügen, verblasst diese Information und wird schließlich übertönt. Es ist irreversibel.
Drittens: Spätere Layer haben es schwerer, Einfluss zu nehmen.
Stellen Sie sich ein Gespräch in einem Raum vor, der immer lauter wird. Frühere Layer haben ein großes Signal akkumuliert; spätere Layer müssen lauter schreien als alle Vorgänger zusammen, um gehört zu werden. Das Paper hat das gemessen: In den letzten Layern ist die Signalamplitude mehr als zehnmal so groß wie am Anfang. Um die gleiche Wirkung zu erzielen, brauchen spätere Layer die zehnfache "Lautstärke."
mHC löste die Trainingsstabilität, aber diese drei grundlegenden Probleme bleiben bestehen – denn mHC-Gewichte sind zwar lernbar, aber nach dem Training fest. Unabhängig vom Input sind die Gewichte immer gleich.
Kimis Lösung: Zeitdimensions-Lösungen auf die Tiefendimension übertragen
Kimis Lösung beruht auf einer schönen Analogie. Diese drei Probleme – keine Menükarte, verlorene Informationen und Schreien in einem lauten Raum – sehen vertraut aus. Sie sind genau die Probleme, die vor 2017 bei der Verarbeitung von Textsequenzen mit RNNs auftraten.
Im Jahr 2017 schlug "Attention Is All You Need" den Transformer vor, der den Attention-Mechanismus nutzt, um dies zu lösen: Jede Position sieht nicht mehr nur den komprimierten vorherigen Zustand, sondern kann auf alle historischen Positionen zurückblicken und dynamisch entscheiden, worauf sie sich konzentrieren will.
Interessanterweise verbesserte dieses Paper zwar die Textverarbeitung, berührte aber nicht den Informationsfluss zwischen den Layern – die Residualverbindungen blieben die feste Akkumulation von 2015.
Kimis Frage: Wenn wir bei der Textverarbeitung die "komprimierte Übertragung" durch Attention ersetzt haben, warum verwenden wir zwischen den Layern immer noch die "komprimierte Übertragung"?
Dies ist die Kerneinsicht von AttnRes: Anwendung des Attention-Mechanismus auf Layer-zu-Layer-Verbindungen. In gewisser Weise ist dies die Fortsetzung von "Attention Is All You Need" in der Tiefenrichtung.
Einfach ausgedrückt, kann jeder Layer nun auf alle vorherigen Layer-Ausgaben "zurückblicken" und dynamisch entscheiden, welche Ergebnisse basierend auf dem aktuellen Inhalt am relevantesten sind. Dieses "Zurückblicken" ist der Attention-Mechanismus – derselbe, den Transformer bei Text verwenden, nur dass die Richtung von "Zurückblicken auf vorherige Wörter" zu "Zurückblicken auf vorherige Layer" wechselt.
Der Parameteraufwand ist vernachlässigbar: nur ein zusätzlicher Vektor pro Layer. Am wichtigsten ist, dass die "Auf wen schaue ich"-Gewichte nicht fest sind. Dasselbe Modell, das verschiedene Inputs verarbeitet, wird sich auf verschiedene Layer konzentrieren. Dies ist der wesentliche Unterschied zu mHC: mHC-Gewichte sind nach dem Training fest; AttnRes-Gewichte sind "lebendig."
Es erinnert mich an Proust. In "Auf der Suche nach der verlorenen Zeit" strömt die Kindheit von Combray zurück, als Marcel den in Tee getauchten Madeleine probiert – nicht als vager Eindruck, sondern als präzise Wahrnehmung, die alle intermediären Erzählketten umgeht. Proust nannte dies "unwillkürliche Erinnerung". AttnRes gibt jedem Layer eine technische Proust'sche Fähigkeit: Ausgelöst durch aktuellen Inhalt springt er direkt zum genauen Output eines beliebigen vorherigen Layers, ohne die intermediäre Kompressionskette zu durchlaufen.
Der wesentliche Unterschied zwischen den beiden Lösungen
DeepSeek mHC | Kimi AttnRes | |
|---|---|---|
Was geändert wurde | Lernmethode der Verbindungsgewichte | Struktur des Informationsflusses |
Gewichte: Lebendig oder fest | Nach dem Training fest | Unterschiedlich für jeden Input |
Was kann gesehen werden | Nur der gemischte Zustand des vorherigen Layers | Kann direkt rohe Outputs aller vorherigen Layer sehen |
Was gelöst wurde | Starre Gewichte | "Menü"-Auswahl + Effekt des lauten Raums |
Eine Ablationsstudie im Paper ist sehr direkt: Wenn das Modell alle vorherigen Layer sehen kann, aber die Gewichte fest sind, gibt es fast keine Verbesserung. Aber mit dynamischen Gewichten (in Echtzeit basierend auf dem Inhalt entschieden) verbessert sich die Leistung deutlich.
Block AttnRes: Technische Implementierung
Idealerweise blickt jeder Layer auf alle vorherigen Layer zurück (Full AttnRes). Aber bei einem Modell mit über 100 Layern ist das Speichern aller Outputs zu speicherintensiv. Kimis technische Lösung ist Block AttnRes: Aufteilung der Layer in etwa 8 "Blöcke". Innerhalb der Blöcke werden Standard-Residuals verwendet; zwischen den Blöcken wird Attention benutzt. Der Speicherverbrauch sinkt deutlich, während die meisten Vorteile erhalten bleiben. Der Trainingsaufwand liegt unter 4%, und die Inferenzlatenz steigt um weniger als 2%.
Wie sind die Ergebnisse?
Getestet an Kimis 48B-Parametermodell: Mit derselben Rechenleistung erreichte AttnRes eine Leistung, für die Standardmethoden 25% mehr Rechenaufwand benötigen würden.
Die Verbesserungen bei den Downstream-Aufgaben sind signifikant, insbesondere beim Reasoning:
- GPQA-Diamond: 36,9 → 44,4 (+7,5 Punkte)
- Math: 53,5 → 57,1
- Code: 59,1 → 62,2
- C-Eval: 79,6 → 82,5
Was hat das Modell gelernt?
Kimi visualisierte die "Rückblick"-Muster:
- Meistens auf Nachbarn fokussiert. Standard-Residuals waren nicht völlig falsch.
- Der ursprüngliche Input wird nie vergessen. Selbst in den tiefsten Layern ist die Aufmerksamkeit auf den anfänglichen Input nie Null.
- Das Modell erfand "Abkürzungen". Bestimmte Layer überspringen die Mitte und konzentrieren sich auf sehr frühe Layer.
Das große Ganze
Die meisten Teams konzentrieren sich auf bessere Daten, längere Kontexte oder größere MoE. Das sind Optimierungen unter der Annahme, dass "Layer-Verbindungen fest sind". Zur grundlegenden Struktur zurückzukehren, um einen Durchbruch zu erzielen, erfordert technische Urteilskraft und technische Stärke.
Residualverbindungen waren zehn Jahre lang der Standard. Innerhalb von drei Monaten haben zwei chinesische Labore hier grundlegende Durchbrüche erzielt. Musks "Beeindruckende Arbeit" ist mehr als eine Höflichkeit; es ist ein Zeichen dafür, dass sich das zugrundeliegende Paradigma des Deep Learnings verändert.
Referenzen:
- Attention Residuals Bericht: https://github.com/MoonshotAI/Attention-Residuals
- mHC Paper: https://arxiv.org/abs/2512.24880
- Kimi Linear Bericht: https://arxiv.org/abs/2510.26692
Kimi erklärt dieses Paper einfach: Große Modelle sind wie ein 100-stöckiges Gebäude. Zehn Jahre lang reichten Arbeiter eine einzige gemischte Datei Stockwerk für Stockwerk weiter. Kimi installierte in jedem Stockwerk ein Telefon. Jetzt kann der Arbeiter im 100. Stock direkt im 3. Stock anrufen, um Daten zu überprüfen, anstatt eine Datei zu durchforsten, die 97 Mal geändert wurde. Diese einfache Änderung brachte dem Modell eine kostenlose Leistungssteigerung von 25%.
