Ein Detail, das die X-Community besonders fasziniert hat, ist, dass Kimi K3 einen konstanten Zustand hat. Mit anderen Worten: Der KV-Cache wächst nicht linear mit dem Kontext oder der Länge der Unterhaltung (zumindest größtenteils – Details und Einschränkungen werden wir bald sehen).
Langkontext-Anwendungsfälle – z. B. agentisches Coden – haben den Speicherbedarf massiv erhöht, was zu einer 10- bis 30-fachen Preissteigerung bei Speicherwerten geführt hat. Wenn man weniger Speicher für den KV-Cache benötigt, ist diese Preissteigerung dann gerechtfertigt? Auf X wird zu diesem Thema eine lebhafte Debatte geführt.
Die Kritiker sagen, dass die hybride lineare Aufmerksamkeit, die Kimi K3 verwendet und die Kimi Delta Attention (KDA) genannt wird, schon seit geraumer Zeit existiert. Sie sei also bereits in den Preisen der Speicherwerte eingepreist.
Sie übersehen jedoch, dass Kimi K3 im Gegensatz zu früheren Versuchen bewiesen hat, dass Hybrid Linear auf einer Skala von über 1 Billion Parametern so gut funktionieren kann, dass es Spitzenleistungen erbringt. **Dies ist eine NEUE Information und verdient ernsthafte Beachtung. Vor Kimi K3 galt Hybrid Linear nicht als Technik für Spitzenmodelle, sondern nur als netter Trick, der von
**- Qwen (die nie ganz an die Spitze kommen) oder
- Nvidia (die alles Mögliche ausprobieren, einfach weil sie unendlich viele GPUs haben) verwendet wurde.
Tauchen wir ein!
(Ich möchte klarstellen – DAS IST KEINE ANLAGEBERATUNG).
Kurze Geschichte des Hybrid Linear:
Lineare Modelle waren auf dem Papier immer vielversprechend, genau wie der Kommunismus.
Anstatt eines ständig wachsenden KV-Caches, wenn der Kontext wächst, haben sie einen konstanten Zustand, der aktualisiert wird. Die Zustandsgröße ist konstant, egal ob man tausend Token oder eine Million Token hat.
Es klingt zu schön, um wahr zu sein, und das ist es auch! Lineare Modelle haben Probleme, sich perfekt an Inhalte aus früheren Teilen der Unterhaltung zu erinnern – z. B. an eine Telefonnummer aus dem früheren Teil der Unterhaltung.
Warum? Weil solche Modelle ständig ihre interne 'Zusammenfassung' (genannt Zustand) des Kontextes aktualisieren. Da dieser Kontext/diese Zusammenfassung jedoch eine feste Größe hat (z. B. 128\128 bei Kimi K3, pro Kopf), ist seine Speicherkapazität begrenzt. Er komprimiert Informationen, um effizient zu sein (das lernt das Modell während des Trainings), aber er muss zwangsläufig einige Informationen verwerfen. Mit anderen Worten: Die Komprimierung ist verlustbehaftet.*
Eine Möglichkeit, das Problem zu lösen, ist der Einsatz von 'hybrid linear', bei dem lineare Schichten (typischerweise 75 %) mit vollständigen Aufmerksamkeitsschichten (25 %) kombiniert werden. Hybrid Linear kann auch eine effiziente Version der vollständigen Aufmerksamkeit haben (z. B. DeepSeek Style MLA bei Kimi K3). Obwohl dies versucht wurde, hatten die früheren hybriden linearen Modelle keine Leistung auf Spitzenniveau!
Was Kimi K3 gezeigt hat, ist, dass man mit ihrer Variation namens Kimi Delta Linear Attention (KDA) eine nahezu perfekte Wiedergabe erreichen kann, die so gut ist wie die von Modellen, die in allen Schichten vollständige Aufmerksamkeit verwenden. Dies ist ein massiver Durchbruch, egal was man einem darüber erzählt hat....
Wie hat Kimi K3 das erreicht?
Moonshot ist nicht der Erste, der Hybrid Linear verwendet, aber sie haben eine Variation davon entwickelt, die hochwirksam ist. Sie ermöglicht eine feinkörnige Kontrolle über den Gedächtnisverfall.
Natürlich haben sie viele andere Dinge getan, die Datenaufbereitung, Kernel-Entwicklung usw. betreffen, sowie die Verwendung von Aufmerksamkeitsresiduen, stabile latente MoE usw. (wir werden sie gegen Ende verstehen). Aber sie haben etwas scheinbar Einfaches getan, das zu einem außergewöhnlichen Leistungsgewinn beim Aufmerksamkeitsteil geführt hat.
Der KDA-Zustand des Modells kann im Wesentlichen als ein Stapel von Erinnerungen betrachtet werden (stark vereinfachte Version). An jeder neuen Token-Position wird eine Diagonalmatrix berechnet und der Zustand damit multipliziert. Dies führt dazu, dass einige Erinnerungen mehr und andere weniger vergessen werden (Fachjargon: kanalweiser Zerfall). In früheren Versionen wurden alle Erinnerungen gleichermaßen vergessen. Dieser Trick des selektiven und gezielten Vergessens verbesserte die Leistung erheblich!
Dies ist eine schöne Visualisierung, die zeigt, wie Zustandsmatrix-Updates ablaufen. Ich werde einen weiteren Blogbeitrag haben, der erklärt, wie dies zum heiligen Gral des "kontinuierlichen Lernens" führt.
Wie viel Speicher spart Kimi K3?
K3 hat 93 Schichten und 96 Köpfe. KDA hat 128 dv- und dk-Dimensionen.
Sehen wir uns an, was für die Verarbeitung von 128.000 Token und 1 Million Token in Bezug auf Zustands- und KV-Speicherung benötigt wird. Betrachten wir zwei Fälle:
1) 93 MLA Vollaufmerksamkeitsschichten (All-MLA) vs.
2) 69 KDA + 24 MLA Vollaufmerksamkeit (tatsächliches Kimi K3-Modell wie oben dargestellt)
Am Ende des Artikels habe ich die Berechnungen gepostet.
**Wichtige Beobachtungen:
**1. Für All-MLA wächst der KV-Cache-Speicher von 13,7 GB auf 107 GB von 128K auf 1M Token.
- Wie Sie sehen, ist der KDA-Zustand für Kimi K3 konstant bei 0,22 GB, unabhängig von der Kontextlänge. Nur der MLA-Teil wächst von 3,5 GB auf 29 GB von 128K auf 1M Token Kontext.
In beiden Fällen ergibt sich eine Einsparung von etwa 73 %. Das Schöne ist, dass KDA keine Kompromisse bei der Spitzenleistung eingeht und gleichzeitig diese Einsparungen bietet. MLA ist bereits eine massive Einsparung gegenüber MHA und GQA (fast 90 %), KDA spart 73 %!
Einige werden argumentieren, dass die Einsparungen mit der DeepSeek V4-Architektur im Maßstab von Kimi K3 noch höher wären. Stimmt, DeepSeek V4 ist noch nicht an der Spitze. Und selbst wenn es die Spitze erreicht, wird es sich in genau die gleiche Richtung verbessern: weniger Speicher.
Diese schöne Visualisierung, die von Kimi K3 selbst erstellt wurde, zeigt die Einsparungen:
Ist Kimi K3 in der Branche einzigartig, wenn es um solch dramatische Speichereinsparungen geht?
DeepSeek V4 (https://arxiv.org/pdf/2606.19348v1) hat außergewöhnliche Arbeit bei der Reduzierung des KV-Cache um 98 % geleistet, aber niemand betrachtet sie als nahe an der Spitze. Haben Sie bei der Einführung von DeepSeek V4 das gleiche Aktivitätsniveau auf X beobachtet?
Auch sind bei aller Brillanz alle Schichten in DeepSeek V4 entweder CSA (Compressed Sparse Attention) oder HCA (Highly Compressed Attention) – beide Arten werden entlang der Sequenzdimension komprimiert und sind verlustbehaftet. Es gibt keine einzige Schicht, die unkomprimierte Informationen hat, d.h. alle Schichten sind verlustbehaftet – zur Erinnerung: Bei Kimi K3 haben 25 % der Schichten vollständige Aufmerksamkeit.
Meine Hypothese ist, dass Kimi K3 eine bessere Fähigkeit haben wird, spezifische Informationen aus früheren Kontexten in Langkontext-Szenarien abzurufen. Daher gehe ich davon aus, dass die Kimi K3-Architektur auch von anderen Labors weit verbreitet übernommen wird (z. B. ZAI, MiniMax, Qwen, Tencent, Xiaomi usw.), genau wie DeepSeek V3 (MLA) und später DeepSeek V3.2 (MLA + DSA) in der Branche weit verbreitet wurden.
DeepSeek's CSA. Beachten Sie die Komprimierung entlang der Sequenzdimension. Es resultiert 1 komprimierter Token pro 4 Token.
**
DeepSeek's HCA. Beachten Sie die Komprimierung entlang der Sequenzdimension. Es resultiert 1 komprimierter Token pro 128 Token.
Was ist mit Funda AIs Punkt, dass man den KDA-Zustand mehrfach cachen muss, da er nicht additiv wie der KV-Cache ist? Werden Subagenten nicht auch KV-Cache-Speicher benötigen?
Zur Erinnerung: Im vorherigen Beispiel beträgt der gesamte KDA-Zustand über 69 Schichten 0,22 GB. Selbst wenn man ihn während einer langen Sitzung alle 20.000 Token cached/snapshotted, sind das 50 Mal über 1M Kontext.
Diese 50 Snapshots werden also 50 * 0,22 GB belegen. Das summiert sich auf nur 11 GB – insgesamt (29,22 GB + 11 GB) bleibt die Summe weit unter den 107 GB, die für All MLA bei 1M Token Kontext erforderlich sind.
Zweitens: Funda AIs Punkt war, dass Hauptagenten Subagenten spawnen können. Leute werden viele Subagenten spawnen. Aber typischerweise, sobald ein Subagent die Kontrolle wieder an den Hauptagenten zurückgibt, ist seine Aufgabe erledigt. Sein KV + Zustand wird gelöscht. Selbst wenn Leute also Agenten starten, die Hunderte von Subagenten starten, sind die KV + Zustandsanforderungen nicht langfristig. Der Zustand der Hauptsitzung / des Hauptagenten muss viel länger erhalten bleiben; und hier spart KDA eine Menge!!!
Es gibt Muster mit langlebigen asynchronen Agenten; in diesen Fällen müssten ihr KV + Zustand erhalten bleiben. Aber ich sehe diese Muster selten implementiert. Das soll nicht heißen, dass es sich in Zukunft nicht ändern wird.
Synchrone Subagenten (ein sehr verbreitetes Muster):
Asynchrone Subagenten (ein relativ seltenes Muster)
Wird die Übernahme von KDA dann einen negativen Einfluss auf die Speichernachfrage haben?
Ich bin kein Hellseher, aber es gibt eine kleine, nicht verschwindende Wahrscheinlichkeit, dass es die Speicherblase platzen lässt.
Zuerst, warum es möglicherweise keine Auswirkungen auf die Speichernachfrage hat:
- Die Einsparungen sind zwar real, aber wenn Open-Source-KI weit verbreitet ist, werden die meisten Bereitstellungen nicht so effizient sein wie in den geschlossenen Spitzenlabors. Daher gehen alle Gewinne auf Modellebene auf Branchenebene verloren. Wir werden eine große Anzahl kleiner, nicht sehr effizienter Bereitstellungen haben. Z. B. für die meisten Unternehmen und Regierungen erfolgt die Nutzung über 12 Stunden am Tag. Was macht die Infrastruktur ihres Open-Source-Modells und ihr Speicher nachts? Die Infrastruktur in großen Labors wird aufgrund der globalen Kundenbasis rund um die Uhr genutzt.
- Außerdem gehen wir von der großen Annahme aus, dass führende Labore nicht bereits ähnliche Ansätze haben. OpenAI, Anthropic, DeepMind beschäftigen einige der klügsten Köpfe der Welt. Es besteht also eine gute Chance, dass solche Innovationen bereits im Einsatz sind und in die Speichernachfrage eingepreist wurden.
Dennoch gibt es hin und wieder ein SpaceX, das kommt und den Branchenführern zeigt, wie ineffizient ihre Ansätze waren. Sie denken von den ersten Prinzipien aus. Etablierte Unternehmen – aufgrund von Organisationsstrukturproblemen oder weil sie nicht hungrig genug sind – innovieren nicht in wichtigen Dimensionen. Die Geschichte des Kapitalismus ist voll von tausenden solcher Beispiele....
Es ist also ein unwahrscheinliches Szenario – aber immer noch mit einer gewissen nicht verschwindenden Wahrscheinlichkeit – dass große Labore, wenn sie nicht so ressourcenarm gewesen wären, möglicherweise nicht den gesamten Entwurfsraum erkundet hätten, um den Speicherbedarf in diesem Ausmaß zu reduzieren.
In der KI-Branche selbst ist es schon oft vorgekommen, dass große Labore grobe Inkompetenz gezeigt haben:
- Die Trainingspipeline von XAI hatte eine schlechte MFU (GPU-Auslastung) – aufgrund der Gewohnheit, Rechenleistung auf das Problem zu werfen, plus anderer Cluster-Fehlkonfigurationen und organisatorischer Probleme.
- Trotz aller ihnen zur Verfügung stehenden Ressourcen hat Meta eine schlechte Version von DeepSeek's MoE für Llama 4 trainiert.
- Google hat seit dem Start von ChatGPT 1,5 Jahre gebraucht, um Gemini an die Spitze zu bringen, und es ist immer noch niemandes Lieblingsmodell für den beliebtesten Anwendungsfall: KI-Coden.
Zwänge fördern Innovation, daher ist es nicht unwahrscheinlich, dass kleine, gut organisierte Teams große, ressourcenreiche Teams überflügeln. Und jetzt, da K3 veröffentlicht und seine Architektur bekannt ist, wenn KDA-ähnliche Techniken – die jetzt erfolgreich im Spitzenmaßstab sind - auch von geschlossenen Labors übernommen werden; bedeutet das eine Reduzierung des Speicherbedarfs um mindestens 75 % für einige Labore, und diese sind einzeln betrachtet ziemlich groß, daher könnte die Auswirkung in zig Milliarden liegen.
Diese Speichereinsparungen könnten durch eine verstärkte Nutzung aufgrund der Kostensenkung absorbiert werden (Jevons-Paradoxon), aber es ist nicht garantiert, dass das Verbrauchswachstum die Einsparungen immer übertrifft....
Verbreitung anderer Innovationen: Kimi K3s Hauptinnovation ist nicht nur KDA!
Kimi K3 kommt komplett ohne Positionskodierung aus: Positionskodierungen geben die Sequenznummer jedes Tokens im Kontext an. Seine KDA-Schichten benötigen aufgrund ihres rekurrenten Charakters keine Positionskodierungen. Sie werden auch für MLA-Schichten entfernt, und das schadet nicht. Vorteile? Es erfordert keine besonderen Anstrengungen, um die Modellkontextlänge im Vergleich zu früheren Modellen zu erweitern. Elegant.
Kimi K3 implementiert Aufmerksamkeitsresiduen im Maßstab von 2,8 Billionen: Es stellt sicher, dass höhere Schichten in der Lage sind, ausgewählte Aufmerksamkeit auf Eingaben von niedrigeren Schichten zu richten. Bei früheren Ansätzen konnten höhere Schichten nicht zwischen Eingaben von niedrigeren Schichten an einer bestimmten Token-Position unterscheiden, da alle Werte aggregiert wurden. Dieser neue Ansatz verleiht dem Modell eine viel höhere Unterscheidungsfähigkeit. (https://arxiv.org/pdf/2603.15031
Kimi K3 implementiert Nvidias Stable Latent MoE: Der Hauptvorteil einer stabilen latenten Mixture-of-Experts (LatentMoE)-Architektur ist höhere Modellgenauigkeit und mehr Expertenkapazität bei gleichen oder niedrigeren Inferenzkosten. Dies wird erreicht, indem Token-Repräsentationen in einen kleineren latenten Raum projiziert werden, bevor das Experten-Routing und die Berechnung durchgeführt werden. Sie haben dies aus Nvidias Januar 2026 Paper übernommen (https://arxiv.org/pdf/2601.18089v1
Mit all diesen Innovationen zusammen hat das MoonShot-Team eine 2,5-fache Trainingseffizienz im Vergleich zu ihrer vorherigen Architektur Kimi K2 erreicht. Das heißt, sie erreichen den gleichen Validierungsverlust bei 2,5-mal weniger FLOPs. Das ist eine massive Einsparung selbst für das Training! Dies wird es vielen weiteren Labors ermöglichen, solche hochskaligen Modelle mit begrenzter Rechenleistung zu trainieren....
Mit K3 hat Moonshot neue Skalierungsgesetze erschlossen. Kimi K3 erreicht einen 2,5-fachen Gewinn an Skalierungseffizienz gegenüber Kimi K2
MoonShot hat auch ihren FlashKDA GPU-Kernel für die schnelle Berechnung des KDA-Zustands und MoonMoE für das Verteilen und Kombinieren von Tokens als Open Source veröffentlicht. Sie sind ziemlich zuversichtlich, so viel Wissen zu teilen, weil sie bereits an der nächsten Reihe von Innovationen arbeiten, die sie noch weiter bringen werden (am Ende des Tages sind sie auch Kapitalisten).
Skalierungsgesetze sind keine Naturgesetze, wir können immer bessere entdecken
Darüber hinaus könnten wir mit neueren Architekturen und Trainingsparadigmen neuere Skalierungsgesetze entdecken, die noch dichtere Intelligenz bieten. Skalierungsgesetze sind statistische Beobachtungen, sie sind keine Naturgesetze, die nicht geändert werden können. Was das bedeutet, ist, dass wir mit neueren Modellen bei kleinerer Größe (und niedrigerem KV und Zustand) eine bessere Leistung erzielen können. Die Nachfrageexplosion bedeutet also nicht, dass dieselben großen Modelle für immer laufen. Modelle werden in Bezug auf Intelligenz weiterhin dichter werden.
Wir haben ein Ökosystem in Form von chinesischen Labors, das stark eingeschränkt und hochgradig leistungsfähig ist – eine sehr potente Mischung, wie besprochen. Sie entdecken Ecken des Entwurfsraums, die von besser finanzierten Labors nicht entdeckt wurden. Sie machen aufgrund des offenen Wissensaustauschs schnelle Fortschritte. Dies erspart anderen, ihre Mühen zu verschwenden und das Rad neu zu erfinden. Die Entwicklung der Architektur geschieht viel schneller als sonst....
Außerdem wird dieser Erfolg des MoonShot-Teams sicherlich andere ebenso fähige Teams bei DeepSeek, ZAI, MiniMax, Tencent, Alibaba, ByteDance SEED und sogar aufstrebende Player wie Baidu, Ant Ling, Xiaomi Mimo, Meituan und viele andere inspirieren, die Besten zu sein, nicht nur als Open-Source-Modell, sondern insgesamt die Besten zu sein.
Viele neue Innovationen werden auch in aufstrebenden Labors im Westen stattfinden, ob bei xAI oder MSL, jetzt, wo sie sich zusammengerissen haben und großartige Modelle liefern.
Das heißt, wie ich immer wieder betone, hat China basierend auf NEURIPS-Statistiken die meisten jungen KI-Forscher. Beiträge in diesem Bereich kommen überproportional von jüngeren Forschern (der Quellthread), daher werden wahrscheinlich noch viele weitere Durchbrüche aus dieser Region der Welt kommen.
China hat auch 3 große urbane Zentren mit einer KI-Talentedichte, die mit dem Silicon Valley konkurriert; sie fungieren als Schmelztiegel für Ideen (der Quellthread).
Ein Verbot von Open-Source-KI wird nicht helfen:
Eine unglückliche Schlussfolgerung dieser Diskussion könnte sein, dass wir Open-Source-KI verbieten müssen, um die westlichen Märkte zu schützen. Aber das wäre äußerst kontraproduktiv.
Unabhängig davon, ob Open-Source-KI in der westlichen Welt verboten ist oder nicht, werden diese Entwurfsräume erforscht und Paper veröffentlicht. Der Westen hat auch viele neue großartige Labore, die entstehen. Auch sie werden viele neue Ideen entdecken, jetzt, da erkannt wurde, dass noch viele Effizienzgewinne möglich sind.
Das Beste ist, diese Innovationen zu fördern und zu übernehmen, verantwortungsvoll mit Investitionen umzugehen und wilde Spekulationen zu vermeiden.
Die Zukunft ist aufgrund dieser Technologie sehr, sehr hell, aber wir müssen vorsichtig sein, nicht zu verrückten Spekulanten zu werden, die einen Margin Call erhalten.
Wir haben KI noch nicht so viel genutzt, wie wir könnten: weder in der Geschäftswelt, in der Bildung, in der Forschung noch in der Unterhaltung.
- Während Coden der Hauptanwendungsfall für GenAI-Token war, haben Anwendungen wie CoWorker gerade erst begonnen.
- Ich würde mir wünschen, dass jeder Student in Indien unbegrenzten Zugang zu Modellen auf Opus 4.8- oder Kimi K3-Niveau hätte. Sie haben Zugang, aber nur zu schwächeren Modellen.
- Darüber hinaus könnten wir in der Wissenschaft, Technik und Medizin viel wertvollere KI-Anwendungsfälle haben.
- Außerdem haben wir eine alternde Welt, um die wir uns kümmern müssen. KI wird dort sehr vorteilhaft sein. Es gibt so viele Möglichkeiten auch in der Unterhaltung und im Gaming. Wie Jensen Huang sagte: "Jedes Pixel, das wir auf dem Bildschirm zur Unterhaltung sehen, wird generiert werden."
Fazit:
Der Börsencrash von 1929 – die Große Depression – war nicht das Ergebnis einer Zerstörung der Nachfrage. Er war das Ergebnis von spekulativen Exzessen. Die ganze Welt litt zwei Jahrzehnte lang. Er führte bekanntermaßen zum Aufstieg des Faschismus und zum Zweiten Weltkrieg.
**
Während die Zukunft ungewiss ist, ist in meinen Beobachtungen klar, dass KI-Bullen und insbesondere Speicher-Bullen keine algorithmischen Innovationen und die Entdeckung neuerer Skalierungsgesetze berücksichtigen. Für sie wird alles durch Jevons Paradoxon aufgefressen, daher nicht interessant. Diese Haltung hat sich auch auf Privatanleger übertragen und zu einem wahnsinnigen Verhalten geführt, das das Potenzial hat, die Volkswirtschaften mehrerer Länder zu ruinieren. **Ich möchte neue Blickwinkel in ihre Analyse einführen. Sie haben weitaus bessere Informationen über Lieferkettensituationen und Unternehmensgewinne. Ich möchte sie mit einer technischeren Perspektive ausrüsten.
Um Speicher- und KI-Aktien zum Absturz zu bringen, brauchen wir keine massive Reduzierung der Nachfrage, wie Jaya Gupta dargelegt hat. Selbst eine kleine Reduzierung der Nachfrage kann einen spieltheoretischen Wettbewerb auslösen, bei dem bestehende Taschenhalter damit beginnen, Gewinne mitzunehmen, in der Absicht, Aktien später zu kaufen, was den gesamten Markt zum Absturz bringen kann. Und dies scheint begonnen zu haben....
Es ist wichtig, nicht zuzulassen, dass sich so große Blasen bilden und katastrophal für die Gesellschaft platzen. Insgesamt bleibe ich sehr optimistisch hinsichtlich des Potenzials dieser Technologie (und selbst der Speichernachfrage) und des zukünftigen Infrastrukturausbaus. Es ist die aufregendste Zeit, um am Leben zu sein!
(KEINE ANLAGEBERATUNG)
Anhang
Detaillierte Berechnung der Speichereinsparungen:
Um zu zeigen, wie gut Kimi K3 ist, habe ich K3 selbst gebeten, diese Berechnungen durchzuführen. Ich habe überprüft, dass sie korrekt sind. Wie bereits erwähnt, betrachten wir zwei Fälle:
1) Kimi K3: 69 KDA + 24 Gated MLA Vollaufmerksamkeit vs.
2) Vollständiges MLA: 93 MLA Vollaufmerksamkeit
