Claude Code hat seinen System-Prompt um 80 % gekürzt. Funktioniert das auch bei kleinen Modellen?

Anthropic hat kürzlich etwa 80 % des System-Prompts von Claude Code für seine neuesten Modelle entfernt.

Die Begründung ist intuitiv: Je intelligenter Modelle werden, desto weniger Anleitung, weniger Einschränkungen und weniger Beispiele benötigen sie. Ab einem bestimmten Fähigkeitsniveau helfen Beispiele nicht mehr, sondern schränken das Modell ein.

Wir glauben, dass Anthropics Entscheidung durch Daten gestützt wird – aber diese Belege gelten nur für seine neuesten Modelle.

Die naheliegende Folgefrage ist: Funktioniert das auch bei einem alltäglichen, beliebten Arbeitstier wie DeepSeek V4?

Kleine, schnelle, günstige Modelle sind genau die, bei denen man erwarten würde, dass sie auf eine detaillierte Führung angewiesen sind. Wenn man ihren Prompt halbiert, sagt die konventionelle Weisheit, dass sie zusammenbrechen sollten.

Wir haben das Experiment durchgeführt, damit du es nicht tun musst.

Der Aufbau

Unser Coding-Agent Ante enthält einen --short-prompt-Modus.

Er fasst den System-Prompt von etwa 5.000 auf 2.300 Zeichen zusammen und verkürzt die Tool-Beschreibungen. Zusammen reduzieren diese Änderungen den vollständigen Pro-Request-Prompt von etwa 34.000 auf 18.000 Zeichen.

Wir haben die beiden Versionen A/B-getestet auf:

• Aufgaben: Terminal-Bench 2.1, komplette Suite mit 89 Aufgaben
• Modell: DeepSeek V4 Flash
• Versuche: Ein Versuch pro Aufgabe
• Geänderte Variable: Ein CLI-Flag

Alles andere blieb konstant: derselbe Agenten-Build, gepinnte Dataset-Digest, Sandbox-Pool, Aufwandsstufe und Laufzeit-Flags.

Das Ergebnis

Leistung: Gleichstand. Der kurze Prompt erzielte tatsächlich +2,3 Punkte mehr, aber bei einem Versuch pro Aufgabe liegt das innerhalb der Rauschgrenze.

Input-Tokens: 32 % niedriger im Teilbereich mit gleichem Ergebnis.

Zwanzig Aufgaben änderten ihr Bestehen/Durchfallen zwischen den Läufen, was auch die Arbeitszeit dieser Agenten veränderte und ihre Token-Anzahlen zu schlechten Äpfel-mit-Äpfel-Vergleichen machte. Wir schließen diese 20 Aufgaben aus, lassen die 69, deren Ergebnis gleich blieb, und vergleichen dann die beiden unabhängigen Mediane: 509.498 Input-Tokens mit dem langen Prompt gegenüber 346.409 mit dem kurzen Prompt. Das sind 32 % weniger. Dies ist ein bewusst ausgewählter Teilbereich, keine Kostenschätzung für die gesamte Suite.

Die aggregierten Input-Token-Summen über alle 89 Aufgaben sind nahezu flach, und das sollte man ehrlich zugeben: Der Gesprächsverlauf dominiert die Input-Nutzung, und ein paar Aufgaben, bei denen der kurze Prompt einen längeren Lösungsweg nahm, überlagern die Einsparungen pro Anfrage in der Summe. Die Laufkosten änderten sich ebenfalls nur geringfügig, von 4,25 $ auf 4,18 $.

Worauf wir geachtet haben und nicht gefunden haben: eine Fähigkeitsklippe. Zwanzig Aufgaben wechselten zwischen den Läufen das Ergebnis – 11 neu bestanden, 9 neu durchgefallen – aber diese Fluktuation ist eine charakteristische Einzelversuchsvarianz auf diesem Benchmark, kein Muster. Keine Aufgabenkategorie ist zusammengebrochen.

Was dieses Experiment nicht beweist:

Das war:

• Ein Modell
• Ein Benchmark
• Ein Versuch pro Aufgabe

Das 32 %-Token-Ergebnis stammt aus einem ausgewählten Teilbereich mit gleichem Ergebnis. Die Anzahl der Aufgabenwechsel zwischen den Läufen zeigt auch, warum eine Validierung mit mehreren Versuchen wichtig ist.

Bei einer geschätzten Rauschgrenze von etwa ±5 Prozentpunkten könnte sich immer noch eine kleine Regression in diesen Ergebnissen verstecken. Wir würden eine Evaluierung mit mehreren Versuchen durchführen, bevor wir die Voreinstellung für alle ändern.

Das Fazit

Für dieses Modell, bei diesem Benchmark, haben wir den Prompt etwa halbiert und nichts Schlechteres gemessen.

Bei den 69 Aufgaben, deren Ergebnis gleich blieb, war die mediane Input-Token-Anzahl des kurzen Prompts etwa ein Drittel niedriger.

Das Ergebnis entspricht der Richtung, die Anthropic eine Stufe höher beobachtet hat:

Wenn eine neue Modellgeneration erscheint, sollte dein erster Schritt nicht sein, zum Prompt hinzuzufügen. Er sollte sein, zu löschen.

Wie viel von deinem System-Prompt ist noch da, weil ein Modell von vor zwei Generationen es einmal brauchte?