Ich habe Sakana AIs Fugu Ultra, das heute veröffentlicht wurde, für praktische Programmierarbeit getestet.
Um es wie eine KI vorwegzunehmen:
„Fugu Ultra ist eindeutig intelligenter als GPT-5.5 oder Opus 4.8 allein, aber derzeit würde ich es anderen grundsätzlich nicht empfehlen."
Auf einer Skala von 1 bis 10 fühlt es sich so an:
- Fugu Ultra: 9,3 Punkte
- GPT-5.5: 7,6 Punkte
- Opus 4.8: 7,5 Punkte
Übrigens: Fable 5 liegt bei 12 Punkten.
Die Aufgabe, die ich Fugu Ultra gestellt habe, war folgende:
„Implementiere separate Funktionen in zwei verschiedenen Branches im selben Repository. Führe dann eine umfangreiche und destruktive Optimierung und Refaktorisierung durch und löse Konflikte ohne Regression, während die Implementierungsabsicht beider Seiten erhalten bleibt."
Dies war eine Aufgabe, die für GPT-5.5 oder Opus 4.8 allein ziemlich schwierig war; sie trafen falsche Entscheidungen oder gerieten in Endlosschleifen, in denen sie dieselben Korrekturen wiederholten, was häufige menschliche Eingriffe erforderte.
Fugu Ultra hingegen erfasste präzise die Implementierungsabsicht, die impliziten Spezifikationen, die Struktur nach der Refaktorisierung und die Auswirkungen auf bestehende Funktionen beider Branches und integrierte sie wie beabsichtigt.
Bei Aufgaben wie dieser, die die Gesamtkonsistenz über mehrere Änderungsverläufe hinweg wahren, ist es meiner Meinung nach eindeutig stärker als eigenständige Modelle. Ehrlich gesagt, hätte ich es ohne die Erfahrung mit Fable recht hoch bewertet.
Aber wenn man fragt, ob es auf dem Niveau von Fable ist, kann ich klar sagen: nein. So überwältigend war Fable.
Es zerlegt Aufgaben in angemessene Größen aus der Argumentation, übergibt sie an Unter-Agenten, aggregiert die Ergebnisse und kompiliert sie zum Endprodukt. Diese Orchestrierung führte es sehr leichtgewichtig aus.
Die Anzahl der Eingriffe bei Fugu Ultra unterscheidet sich nicht wesentlich von der bei Fable, aber die gefühlte Geschwindigkeit bis zur Fertigstellung ist etwa dreimal langsamer.
Fable verbrauchte ebenfalls Tokens mit enormer Geschwindigkeit, aber die Verarbeitung war schnell genug, um mitzuhalten, und ich hatte keine Beschwerden über die Ausgabequalität.
Fugu Ultra hingegen verbraucht Tokens schnell, während die Verarbeitung langsam ist. Der Stress, warten zu müssen, und der Stress, dass gleichzeitig das Nutzungskontingent sinkt, war sehr schmerzhaft.
Sakana AI erklärt, dass Fugu Ultra ein Modell ist, das die Qualität komplexer mehrstufiger Aufgaben priorisiert, auf Kosten der Antwortgeschwindigkeit, aber nach etwa 2 Stunden praktischer Entwicklung inklusive großer Aufgaben hatte ich das Limit für eine 5-Stunden-Einheit erreicht.
Ich nutzte den Max-Tarif für 220 $/Monat, aber ich hatte das Gefühl, dass der Zweck von Fugu Ultra und das Design des Nutzungskontingents nicht zusammenpassten.
Um die Intelligenz von Fugu Ultra zu nutzen, möchte man ihm große und komplexe Aufgaben geben, aber große Aufgaben sind langsam und verbrauchen einen massiven Anteil des Nutzungskontingents, was ein Dilemma schafft, bei dem es in kritischen Momenten stoppt.
Umgekehrt ist es für kleine Aufgaben zu langsam und zu teuer. Mit anderen Worten: Es ist derzeit ein sehr halbherziges Modell geworden.
So wäre es weniger stressig, wenn ein fähiger Mensch GPT-5.5 oder Opus detaillierte Anweisungen gibt und den Entwicklungsprozess selbst aufteilt.
Wenn es so bleibt, werde ich mein Abonnement nicht verlängern und es anderen grundsätzlich nicht empfehlen.
Wenn die monatliche Gebühr etwa halb so hoch wäre und das Nutzungskontingent etwa um das Fünffache erhöht würde, könnte ich eine erneute Nutzung in Betracht ziehen.
Ich freue mich jedoch sehr darauf zu sehen, wie weit es gehen kann, wenn Modelle der Klasse Fable oder der nächsten GPT-Generation verfügbar sind und in die Orchestrierung von Fugu integriert werden.
Es ist nicht so, dass Fugu Ultra schlecht ist.
Fable hat das KI-Programmieren verändert.
