Mein GPT-5.6-Test: Der zweite Platz war noch nie so gut

TL;DR

• Ich teste GPT-5.6 seit dem 27. Mai. In den ersten zwei Wochen war es das beeindruckendste Modell, das ich je genutzt habe. Der Zielmodus in Kombination mit diesem Modell ist pure Zauberei. Es hat mir eine voxelbasierte Manhattan-Simulation mit funktionierender U-Bahn und ein Zerstörungsspiel im Teardown-Stil gebaut, weitgehend eigenständig, über Tage andauernde Läufe.

• Dann kam Claude Fable heraus, und ich habe GPT-5.6 fast über Nacht nicht mehr benutzt, weil Fable für meine Aufgaben so viel besser ist.

• Bei Benchmarks sehen die beiden nah beieinander aus. In der realen Welt tun sie das nicht. Fable hat den Geruch eines großen Modells. GPT-5.6 fühlt sich an wie ein kleineres Modell, das unglaublich gut mit RL trainiert wurde, und dieser Unterschied zeigt sich, sobald man über normale Programmierarbeit hinausgeht. Er zeigt sich auch beim Vertrauen: Mit den richtigen Schutzmaßnahmen und dem richtigen Setup muss ich Fables Code nicht überprüfen. Ich muss 5.6 immer noch überprüfen.

• Mit GPT-5.6 musst du es bei ambitionierten Arbeiten immer noch lenken, während du bei Fable nur einmal das endgültige Ziel beschreibst und es normalerweise autonom dorthin gelangt.

• GPT-5.6 schlägt Fable immer noch in einigen wichtigen Bereichen: Limits, die Benutzeroberfläche und die Bereitschaft, Sicherheitsarbeit zu leisten. Es ist jetzt mein Sicherheitsprüfer und mein zweites Paar Augen, nicht mein Hauptmodell.

• Abgesehen von Fable ist GPT-5.6 das beste Modell, das du verwenden kannst. Und es im Zielmodus zu betreiben, ist das beste agentische Setup, das OpenAI je ausgeliefert hat.

Das Gute

• Zielmodus. Tippe /goal und das Modell hört nicht auf, bis das Ziel tatsächlich erreicht ist. Das ist das Nächste, was OpenAI dem gekommen ist, wie ich tatsächlich arbeiten möchte.

• Es ist besessen und kann tagelang laufen, um eine Aufgabe zu erledigen. Meine längsten Zielläufe gingen fast eine Woche für ein einziges Ziel, weitgehend unbeaufsichtigt.

• Viel weniger Führung erforderlich als bei jedem früheren GPT-Modell. Es trifft vernünftige Entscheidungen bei Unklarheiten und macht weiter. Nach dem Ausprobieren von 5.6 zu GPT-5.5 zurückzukehren, fühlte sich in dieser Hinsicht wie ein großer Rückschritt an.

• Sicherheitsarbeit ist wirklich stark, und es ist viel bereitwilliger, sie zu erledigen, als Fable es ist.

• Design ist viel besser als bei früheren GPT-Modellen.

• Die Limits sind, wie immer, viel großzügiger als die von Anthropic.

• Die Codex-App ist immer noch die beste Benutzeroberfläche zum Ausführen von Agenten, besonders vom Handy aus.

• Wenn du 5.6 so verwendest, wie du frühere Modelle zum Programmieren verwendet hast, wirst du dieses Modell mögen. Fable ist teurer und langsamer für dieselbe Aufgabe. Aber wenn du ambitionierter promptest, versuchst, in einem Schritt von a nach z zu gelangen, oder an ungewöhnlicheren Aufgaben arbeitest, ist Fable dramatisch besser.

Das weniger Gute

• Es ist nicht Fable. Das ist ehrlich gesagt der größte Teil dieser Rezension.

• Design kann immer noch nicht mit Fable mithalten. Es kann nicht einmal mit Opus 4.8 mithalten.

• Ambitionierte kreative Arbeit braucht viel mehr Führung als Fable, und selbst mit viel Führung kann es nicht erreichen, was Fable in einem Durchgang schafft. Weniger als bei älteren Modellen, aber die Lücke ist real.

• Es kann abdrücken. Ich habe es einmal gebeten, ein Pflichtenheft zu schreiben, und es hat einige vage relevante Dateien auf meinem Rechner gefunden und angefangen, sie zu bearbeiten, was nervig war.

• Wenn deine Arbeit aus einfachen technischen Aufgaben besteht, wirst du das Upgrade vielleicht manchmal nicht spüren. Die letzte Generation war für die meisten davon schon gut genug. Wenn du das Modell mit schwierigeren Aufgaben forderst oder bittest, mehr auf einmal zu tun, wirst du das Upgrade mehr spüren.

Dies ist die seltsamste Rezension, die ich je geschrieben habe, weil sich meine Meinung über dieses Modell mitten im Testen komplett geändert hat und das Modell nichts damit zu tun hatte.

Ich habe am 27. Mai Zugang zu GPT-5.6 bekommen. Ungefähr zwei Wochen lang war ich völlig hin und weg. Ich habe es morgens, mittags und abends laufen lassen. Irgendwann hatte ich so viele Zielläufe parallel laufen, dass ich das 3-fache der monatlichen Tokens des höchsten OpenAI-Nutzers in 17 Tagen auf einem einzigen Rechner verbraucht hatte. Ich baute Dinge, von denen ich nicht dachte, dass Modelle sie bauen könnten, und ich tippte kaum.

Dann kam Fable heraus, ich bekam Zugang, und ich hörte fast sofort auf, GPT-5.6 zu benutzen.

Du solltest wissen, woher ich komme. Wenn du meine früheren Rezensionen gelesen hast, weißt du, dass ich normalerweise ein GPT-Mensch bin. Ich mache nicht viel Frontend- oder UX-Arbeit. Ich mache hauptsächlich Backend-, System- und agentische Arbeit, und GPT-Modelle waren historisch dafür einfach besser für mich. Sie neigen dazu, die von mir angeforderte Änderung zu treffen und sonst nichts. Wenn ich dir also sage, dass ein Claude-Modell mich dazu gebracht hat, ein GPT-Modell aufzugeben, das ich liebte, verstehe, dass dies gegen den Strich geht.

Lass mich beide Hälften erklären: warum GPT-5.6 mich umgehauen hat und warum ich es jetzt kaum noch benutze.

Zielmodus ist pure Zauberei

Der Zielmodus ist einfach zu beschreiben. Du tippst /goal in die Codex-CLI oder -App, gibst ihm ein Ziel mit klaren Erfolgskriterien, und das Modell hört nicht auf, bis das Ziel erledigt ist. Wenn ein Lauf beendet ist, überprüft der Zielmodus, ob das Ziel tatsächlich erreicht wurde. Wenn nicht, startet er einen neuen Lauf und macht weiter. Und wiederholt das. Tage lang, wenn es sein muss.

Wenn du meinen Fable-Prompting-Leitfaden gelesen hast, trifft alles darin direkt hier zu, weil ich viele dieser Techniken zuerst auf GPT-5.6 entwickelt habe. Mache "erledigt" zu einem Test, nicht zu einem Adjektiv. Lass es niemals beenden. Mache Erbauer und Bewerter zu separaten Agenten. Lasse es eine Fortschrittsseite führen, die du von deinem Handy aus überprüfen kannst. GPT-5.6 reagiert auf all das.

Zwei Tricks speziell für den Zielmodus:

1. Ziele sind auf 4.000 Zeichen begrenzt. Kämpfe nicht gegen die Grenze und versuche nicht, alles hineinzustopfen ... schreibe stattdessen das eigentliche Ziel als Markdown-Datei und mache das Ziel selbst zu einer Zeile: "Erfülle das Ziel und die Erfolgskriterien in goal.md. Behandle diese Datei während des gesamten Laufs als dauerhafte Quelle der Wahrheit." Als Bonus kannst du die Datei bearbeiten, während der Lauf läuft.

1. Nimm dir viel Zeit für diese Zieldatei. Lasse dir von einem Modell beim Schreiben helfen. Die Zieldatei erledigt die Arbeit, die normalerweise ein Manager machen würde, und jede Unklarheit, die du darin lässt, ist eine Entscheidung, die das Modell ohne dich trifft.

Es hat Manhattan gebaut

Der beste Weg, dir zu zeigen, wie das aussieht, ist, was es gebaut hat.

Ich gab ihm eine Zieldatei, die im Wesentlichen besagte: Baue eine erkundbare 3D-Voxel-Nachbildung von Manhattan, die wie die echte Stadt aussieht, klingt und funktioniert, einschließlich des echten U-Bahn-Systems von New York City. Der Standard, den ich in das Ziel geschrieben habe, war einfach: Jemand, der New York kennt, sollte sagen können, wo er ist.

Tage später hatte ich das hier.

GPT-5.6-gebauter Blick aus der Luft auf Manhattan

Das ist die tatsächliche Insel. Die Skyline stimmt überein. Die Gebäudeformen stimmen überein. Die Geografie und Topografie stimmen überein. Es hat echte Stadtdaten dafür verwendet, also befindet sich das Empire State Building bei 40,7485° N, 73,9868° W, wo es hingehört.

Präzises Empire State Building

Und die U-Bahn funktioniert. Nicht "es gibt eine U-Bahn-Textur". Du gehst eine echte Straße entlang, findest einen Stationseingang an seinem echten Standort, gehst unter die Erde, steigst in einen Zug der richtigen Linie, fährst durch die Tunnel, steigst um, wo du tatsächlich umsteigen würdest, und kommst an einem echten Ausgang irgendwo anders in der Stadt wieder heraus. Es hat sogar einen Weg gefunden, die tatsächlichen U-Bahn-Fahrpläne des echten Manhattan abzubilden, sodass die digitalen Züge mit dem Echten synchron waren.

Einsteigen am Grand Central-42 St

Das Zerstörungsspiel, das ich es in Angriff nehmen ließ, war die gleiche Geschichte. Das Ziel: Ein Ego-Voxel-Zerstörungsspiel, das neben Teardown bestehen kann, mit echten Voxeln und echter Strukturphysik. Spreng die Basis eines Gebäudes weg und alles darüber stürzt unter seinem eigenen Gewicht ein. Dieser Lauf dauerte fünf Tage und mehr als siebzig Iterationen.

Redline Demolition, das Voxel-Zerstörungsspiel, das GPT-5.6 gebaut hat

Spielablauf ansehen

Zwei Dinge aus diesen Läufen sind mir in Erinnerung geblieben. Erstens hat es sich ehrlich selbst benotet. Früh im Manhattan-Lauf weigerte sich sein eigenes Fortschrittstagebuch, den Entwurf als Fortschritt zu zählen: "sichtbar nicht Manhattan und wird nicht als Meilenstein der Stadt akzeptiert." Es wollte tagelang keinen Sieg erklären, weil die Zieldatei es nicht zuließ. Zweitens hat es die Bewertung auf eine Weise ernst genommen, die ich nie verlangt hatte. Es startete hunderte von gegnerischen Bewerter-Subagenten und fand eine Menge kleiner Probleme, die es auszubügeln galt.

Ein Lauf füllte sogar mitten im Ziel die Festplatte meines Macs, räumte die Caches auf, von denen es sicherstellen konnte, dass sie sicher zu löschen waren, installierte dann eine Cloud-Sandbox-CLI und zog dorthin um, um weiterzuarbeiten. Beeindruckend und leicht beunruhigend in einem Atemzug, was eine gute Zusammenfassung dieses Modells ist.

Also ja: Zwei Wochen lang dachte ich, das sei die Zukunft.

Dann kam Fable heraus

Dann bekam ich Fable, und der Vergleich war nicht knapp.

Ich ging zurück und ließ einige meiner GPT-5.6-Projekte erneut laufen, um fair zu sein. Der klarste Test war die programmatische 3D- und Videoarbeit, die gleiche Art von Arbeit, die hinter den Welten steckt, die ich gepostet habe. Die Ausgabe von GPT-5.6 war besser als jedes frühere GPT-Modell. Sie war auch nicht annähernd auf dem Niveau von Fable. Die Ergebnisse sahen einfach dramatisch schlechter aus, und keine noch so große Anzahl von Iterationen schloss die Lücke.

Dies ist übrigens zu meinem neuen Benchmark für Modelle geworden: Lass es eine physikalisch korrekte Voxel-Engine von Grund auf bauen und sieh, wie weit es damit kommt. Es ist ein brutaler Test, weil es keine Bibliothek gibt, auf die man sich stützen kann, und keine Möglichkeit, zu schummeln. Die Engines von GPT-5.6 landeten weit, weit unter der Messlatte von Fable.

Der tiefere Unterschied ist die Führung. Bei Fable sagst du, was du willst, und es wird erledigt. Bei GPT-5.6 wird viel erledigt, aber die ambitionierten Dinge brauchen Lenkung. Du korrigierst den Kurs, erklärst die Messlatte neu, drängst es, weniger konservativ zu sein. Das ist immer noch viel weniger Beaufsichtigung als bei den Modellen der letzten Generation. Es ist viel mehr, als Fable braucht, was ungefähr null ist.

Vertrauen ist die andere Hälfte. Mit den richtigen Schutzmaßnahmen und dem richtigen Setup überprüfe ich Fables Code nicht mehr. Ich weiß, dass ich ihm vertrauen kann. Ich überprüfe 5.6 immer noch, ziemlich oft.

Einige der Dinge, die ich auf GPT-5.6 gebaut habe, habe ich nie wieder getestet, weil sie sich nach ein paar Wochen mit Fable unterhalb der Wasserlinie anfühlten.

Der Geruch des großen Modells

Hier ist meine ehrliche Einschätzung, warum.

Fable hat den Geruch eines großen Modells. Du kannst einfach sagen, dass du mit etwas Enormem sprichst. Es verallgemeinert. Du bringst es an einen seltsamen Ort und es ist dort immer noch schlau.

GPT-5.6 fühlt sich an wie ein kleineres Modell. Immer noch groß, aber kleiner, mit einer unglaublichen Menge an bestärkendem Lernen obendrauf. Und RL bringt dir genau das, was du erwarten würdest: Das Modell ist extrem gut in den Arbeitsformen, auf die es trainiert wurde, und Benchmarks sind die am meisten trainierte Form von allen. Deshalb sehen die Ergebnisse nah beieinander aus. Dann machst du einen Schritt weg von der asphaltierten Straße, hin zu einer Voxel-Engine von Grund auf oder einem 3D-Render, und der Unterschied ist sofort da.

Das macht GPT-5.6 zu einem gezielteren Werkzeug, als die Benchmarks vermuten lassen.

Ich hoffe wirklich, dass OpenAI ein wirklich großes Modell trainiert, denn ihr RL auf etwas in Fable-Größe wäre absolut unglaublich. Dieses Modell existiert nur noch nicht (soweit wir wissen... es wird wahrscheinlich bald).

Wo GPT-5.6 immer noch gewinnt

Es ist nicht alles einseitig, und die Ausnahmen sind wichtig zu erwähnen.

Sicherheit. GPT-5.6 ist bereitwilliger, Cybersicherheitsarbeit zu leisten als Fable, das Aufgaben verweigern kann, die auf Gefahr hindeuten. Und es ist wirklich gut darin. Mein eigentlicher Arbeitsablauf jetzt: Fable schreibt den Code, und GPT-5.6 prüft ihn. Da Codex Exec headless läuft, kannst du dies in einen Hook einbinden, der jeden Commit prüft oder nach jedem abgeschlossenen Fable-Lauf feuert.

Limits. OpenAIs Limits sind viel großzügiger als die von Anthropic. Das war schon immer so und ist es immer noch. Wenn du mit Fable-Tokens haushalten musst, ist GPT-5.6 eine großartige zweite Option (oder du kannst es zur Ausführung verwenden, während Fable plant).

Die Benutzeroberfläche. Die Codex-App ist immer noch der beste Weg, um Agenten auszuführen und zu lenken, besonders von einem Handy aus. Kopple sie einmal und du kannst Arbeit von überall aus erledigen, Diffs überprüfen und Zielläufe am Laufen halten. Ich benutze sie weniger als früher, weil ich meinen eigenen Weg gefunden habe, dies mit Fable zu tun: Ich lasse es in einem Dokument auf workbench.md arbeiten, und ich kann seine Updates lesen und es direkt von einer Chat-Komponente im Dokument auf meinem Handy aus lenken. Aber als Produkt bleibt OpenAIs Team hier voraus, und es ist nicht knapp.

Wann was verwenden

• Wenn du Fable verwenden kannst: Fable für so ziemlich alles. GPT-5.6 für Sicherheitsüberprüfungen, als zweites Paar Augen für wichtige Änderungen und als Ausführer von Fables Plänen, wenn du Kosten sparen willst.

• Wenn du es nicht kannst: GPT-5.6, ohne Zögern. Es ist das beste Modell, das sonst jemand herstellt, es im Zielmodus zu betreiben, ist das beste agentische Setup, das du heute haben kannst, und alles in dieser Rezension, was sich lauwarm anhört, ist nur im Vergleich zu Fable lauwarm.

Abschließende Gedanken

Wenn Fable nicht existieren würde, wäre dies die überschwänglichste Rezension, die ich je geschrieben habe. Ein Modell, das tagelang gegen eine Zieldatei laufen, seine eigene Arbeit gegnerisch bewerten und ein funktionierendes voxelbasiertes Manhattan ausliefern kann, ist keine Kleinigkeit. Vor sechs Monaten wäre es Science-Fiction gewesen.

Aber Fable existiert. Und die ehrliche Zusammenfassung von GPT-5.6 ist, dass der zweite Platz noch nie so gut war und er noch nie so wenig bedeutet hat. Die Grenze ist keine Rangliste, auf der Silber etwas wert ist. Wenn ein Modell kann, was das andere nicht kann, verwendest du dieses Modell, und die Lücke ist gerade breit genug, dass ich meinen gesamten Arbeitsablauf innerhalb von Tagen danach neu organisiert habe.

GPT-5.6 ist ein erstaunliches Modell. Ich hoffe, das nächste von OpenAI bringt mich dazu, zurückzuwechseln. Sie haben es schon einmal bei mir geschafft.

Wenn du dies nützlich fandest, folge mir auf X für weitere Gedanken zu KI-Modellen und wie man das Beste aus ihnen herausholt.

Lies meine ursprüngliche Rezension hier: https://shumer.dev/gpt56review.html