要約
- 私は 5 月 27 日から GPT-5.6 をテストしています。最初の 2 週間は、これまで使った中で最も印象的なモデルでした。ゴールモードとこのモデルの組み合わせは、まさに魔法のようでした。動作する地下鉄を備えたボクセルベースのマンハッタンシミュレーションや、Teardown スタイルの破壊ゲームを、ほぼ自律的に、何日もかけて構築してくれました。
- その後 Claude Fable が登場し、私はほぼ一晩で GPT-5.6 を使うのをやめました。なぜなら、Fable の方が私のタスクにはるかに優れているからです。
- ベンチマークでは両者は僅差に見えます。現実世界では、そうではありません。Fable には「ビッグモデルの香り」があります。GPT-5.6 は、RL が非常にうまく適用された小型モデルのように感じられ、その違いは、通常のコーディング作業を超えた瞬間に現れます。それは信頼性にも現れます。適切なガードレールと設定があれば、Fable のコードをチェックする必要はありません。しかし、5.6 のコードはまだチェックする必要があります。
- GPT-5.6 で野心的な作業を行うには、やはりモデルを導く必要があります。一方、Fable では、最終的な目的地を一度説明するだけで、通常は自律的にそこに到達します。
- GPT-5.6 は、いくつかの重要な点でまだ Fable に勝っています。制限、インターフェース、そしてセキュリティ作業への意欲です。今では、GPT-5.6 はセキュリティ監査役と第二の目として使っており、メインモデルではありません。
- Fable を除けば、GPT-5.6 は使用できる最高のモデルです。そして、ゴールモードで実行することは、OpenAI がこれまでにリリースした中で最高のエージェント設定です。
良い点
- ゴールモード。/goal と入力すると、モデルは目標が実際に達成されるまで停止しません。これは、私が実際に望む作業方法に最も近いものを OpenAI が実現したものです。
- 執着心があり、タスクを完了するために何日も実行し続けることができます。私の最長のゴール実行は、単一の目標に対して、ほぼ放置状態で一週間近く続きました。
- これまでのどの GPT モデルよりも、はるかに手間がかかりません。曖昧な状況でも合理的な判断を下し、動き続けます。5.6 を試した後に GPT-5.5 に戻ると、この点で大きな後退を感じました。
- セキュリティ作業は本当に強力で、Fable よりもはるかに積極的にそれを行います。
- デザインは以前の GPT モデルよりもはるかに優れています。
- いつものように、制限は Anthropic のものよりもはるかに寛大です。
- Codex アプリは、特にスマートフォンからエージェントを実行するための最良のインターフェースです。
- コーディングに以前のモデルと同じように 5.6 を使うなら、このモデルを気に入るでしょう。Fable は同じ仕事に対してより高価で低速です。しかし、より野心的なプロンプトを使用し、一度に a から z までを試みたり、より分布外のタスクに取り組んだりする場合、Fable の方が劇的に優れています。
あまり良くない点
- Fable ではないということ。正直なところ、このレビューのほとんどがこれです。
- デザインはまだ Fable には及びません。Opus 4.8 にも及びません。
- 野心的なクリエイティブ作業には、Fable よりもはるかに多くの手間が必要で、多くの手間をかけても、Fable が一発でできることに到達できません。以前のモデルよりは少ないですが、その差は確かに存在します。
- トリガーハッピーになることがあります。ある時、仕様書を書くように頼んだところ、私のマシン上で漠然と関連するファイルを見つけて編集を始め、迷惑でした。
- 作業が単純なエンジニアリングタスクの場合、アップグレードを感じにくいかもしれません。前世代はすでにそのほとんどに十分対応できていました。より難しいタスクをモデルに課したり、一度により多くのことを要求したりすると、アップグレードの効果をより感じることができるでしょう。
これは私が書いた中で最も奇妙なレビューです。なぜなら、テストの途中でこのモデルに対する私の意見が完全に変わったからであり、それはモデル自身とは無関係でした。
私は 5 月 27 日に GPT-5.6 へのアクセスを取得しました。約 2 週間、私は完全に圧倒されていました。朝も昼も夜も使い続けました。ある時点で、並行して実行しているゴールモードの実行が多すぎて、OpenAI の最高ユーザーの月間トークンの 3 倍を 17 日間で 1 台のマシンで使用していました。モデルが構築できるとは思っていなかったものを構築しており、ほとんどタイピングもしていませんでした。
その後、Fable が登場し、アクセスを取得して、すぐに GPT-5.6 を使うのをやめました。
ここで、私の立場を理解しておいてください。これまでの私のレビューを読んだことがあれば、私が通常 GPT 派であることをご存知でしょう。私はフロントエンドや UX の作業はあまりしません。主にバックエンド、システム、エージェント作業を行っており、GPT モデルはこれまでそちらでより優れていました。彼らは私が依頼した変更を正確に実行し、それ以外はしません。ですから、Claude モデルが私に愛用していた GPT モデルを捨てさせたと言うとき、それは私の傾向に反していることを理解してください。
両方の側面を説明しましょう。なぜ GPT-5.6 に圧倒されたのか、そしてなぜ今はほとんど使っていないのか。
ゴールモードはまさに魔法
ゴールモードは説明するのは簡単です。Codex CLI またはアプリで /goal と入力し、明確な完了基準を備えた目標を設定すると、モデルは目標が達成されるまで停止しません。実行が終了すると、ゴールモードは目標が実際に達成されたかどうかを確認します。達成されていなければ、新しい実行を開始して続行します。それを繰り返します。必要なら何日も。
私のFable プロンプトガイドを読んだなら、そのすべてがここに直接当てはまります。なぜなら、私はそれらのテクニックの多くを最初に GPT-5.6 で開発したからです。「完了」を形容詞ではなくテストにしてください。決して終わらせないでください。ビルダーとジャッジを別々のエージェントにしてください。スマートフォンから確認できる進捗ページを保持させてください。GPT-5.6 はそのすべてに応答します。
ゴールモード固有の 2 つのテクニック:
- ゴールは 4,000 文字に制限されています。制限と戦って詰め込もうとしないでください。代わりに、実際の目標をマークダウンファイルとして書き、ゴール自体を 1 行にします。「goal.md の目標と完了基準を達成すること。このファイルを実行全体を通して永続的な情報源として扱うこと。」ボーナスとして、実行中にファイルを編集できます。
- そのゴールファイルに多くの時間を費やしてください。モデルを使って書くのを手伝ってもらいましょう。ゴールファイルは、通常マネージャーが行う仕事を引き受けており、あなたが残したあいまいさはすべて、モデルがあなた抜きで決定するものです。
マンハッタンを構築した
これがどのようなものかを示す最良の方法は、それが構築したものです。
私は本質的に次のようなゴールファイルを与えました。実際のニューヨーク市地下鉄システムを含め、実際の街のように見え、聞こえ、動作する、探索可能な 3D ボクセル再現のマンハッタンを構築すること。私がゴールに書き込んだ基準は単純でした。ニューヨークを知っている人が自分がどこにいるかわかること。
数日後、私はこれを手に入れました。
GPT-5.6 が構築したマンハッタンの航空写真
それが実際の島です。スカイラインは一致しています。建物の形状は一致しています。地理と地形は一致しています。実際の都市データを取得して行ったため、エンパイアステートビルディングは本来あるべき 40.7485° N, 73.9868° W にあります。
正確なエンパイアステートビルディング
そして、地下鉄は動作します。「地下鉄のテクスチャがある」だけではありません。実際の通りを歩き、実際の場所にある駅の入り口を見つけ、地下に行き、正しい路線の電車に乗り、トンネルを乗り継ぎ、実際に乗り換える場所で乗り換え、街の別の場所にある実際の出口から出ます。実際のマンハッタンの実際の地下鉄の時刻表に合わせる方法さえ見つけたため、デジタル列車は実際のものと同期していました。
グランドセントラル-42丁目で乗車
私が取り組ませた破壊ゲームも同じ話でした。目標は、実際のボクセルと実際の構造物理を備えた、Teardown に匹敵する一人称視点のボクセル破壊ゲーム。建物の基部を吹き飛ばすと、その上のすべてが自重で崩壊します。その実行は 5 日間と 70 回以上の反復に及びました。
Redline Demolition、GPT-5.6 が構築したボクセル破壊ゲーム
これらの実行から 2 つのことが心に残りました。まず、それは自分自身を正直に評価しました。マンハッタン実行の初期段階で、自身の進捗ジャーナルは草案を進捗としてカウントすることを拒否しました。「明らかにマンハッタンではなく、都市のマイルストーンとして受け入れられない」。ゴールファイルがそれを許さなかったため、何日も勝利を宣言しませんでした。第二に、私が決して頼んでいない方法で、審査を真剣に受け止めました。何百もの敵対的レビュー担当サブエージェントを立ち上げ、修正すべき小さな問題を大量に見つけました。
ある実行では、目標の途中で Mac のディスクをいっぱいにし、安全に削除できると確認できたキャッシュをクリアし、クラウドサンドボックス CLI をインストールして、そこに移動して作業を続けました。同じ動きで印象的であり、やや警戒させるものでもあり、これはこのモデルの公正な要約です。
そう、2 週間は、これが未来だと思っていました。
そして Fable が登場した
その後、私は Fable を入手し、比較は接戦ではありませんでした。
公平を期すために、私は GPT-5.6 のプロジェクトのいくつかに戻って再実行しました。最も明確なテストは、プログラムによる 3D とビデオの作業であり、私が[a]投稿してきた世界の背後にあるのと同じ種類のものです。GPT-5.6 の出力は、これまでのどの GPT モデルよりも優れていました。しかし、Fable には遠く及びませんでした。結果は単に劇的に見劣りし、どれだけ反復しても差は埋まりませんでした。
ちなみに、これが私のモデルの新しいベンチマークになりました。物理的に正確なボクセルエンジンをゼロから構築させ、どこまで到達できるか見てみることです。これは残酷なテストです。なぜなら、頼れるライブラリがなく、偽装する方法もないからです。GPT-5.6 のエンジンは、Fable の基準をはるかに下回っていました。
より深い違いは、手間のかけ方です。Fable では、欲しいものを言うとそれが実現します。GPT-5.6 では、多くが実現しますが、野心的なものには導きが必要です。軌道修正、基準の再説明、より保守的でなくなるように促すこと。これは、前世代のモデルが必要としたほどの手間ではありません。Fable が必要とする手間（ほぼゼロ）よりははるかに多いです。
信頼性もその半分です。適切なガードレールと設定があれば、私はもう Fable のコードをチェックしません。信頼できるとわかっています。私はまだ 5.6 のコードをかなり頻繁にチェックします。
GPT-5.6 で構築したものの中には、再テストする気にもならなかったものもあります。なぜなら、Fable を数週間使った後では、それらは水準以下に感じられたからです。
ビッグモデルの香り
これが私の正直な理由です。
Fable にはビッグモデルの香りがあります。巨大なものと話していることがわかります。一般化します。奇妙な場所に押しやっても、そこでもまだ賢いです。
GPT-5.6 はより小型のモデルのように感じます。まだ大きいですが、より小さく、その上に信じられないほどの量の強化学習が施されています。そして RL は、まさに期待通りの結果をもたらします。モデルは訓練された作業の形状に非常に優れており、ベンチマークは最も訓練された形状のすべてです。そのため、スコアは近く見えます。そして、舗装された道から一歩外れて、ゼロからのボクセルエンジンや 3D レンダリングに踏み入れると、その差はすぐに現れます。
そのため、GPT-5.6 はベンチマークが示すよりも、よりターゲットを絞ったツールになります。
私は OpenAI が真に大きなモデルを訓練することを心から望んでいます。なぜなら、Fable サイズのものの上に彼らの RL を適用したら、絶対に信じられないものになるからです。そのモデルはまだ存在しません（知る限りでは…おそらくすぐに登場するでしょう）。
GPT-5.6 がまだ勝っている点
すべてが一方向というわけではなく、例外は重要です。
セキュリティ。 GPT-5.6 は Fable よりもサイバーセキュリティ作業に積極的で、Fable は危険にパターンマッチするタスクを拒否することがあります。そして、それは本当に優れています。私の現在の実際のワークフローは、Fable がコードを書き、GPT-5.6 がそれを監査するというものです。Codex exec はヘッドレスで実行されるため、すべてのコミットを監査するフックや、すべての Fable 実行が終了した後に起動するフックにこれを配線できます。
制限。 OpenAI の制限は Anthropic のものよりもはるかに寛大です。これは常に真実であり、今も真実です。Fable トークンを節約している場合、GPT-5.6 は優れた第二の選択肢です（または、Fable が計画を立てている間に実行に使用することもできます）。
インターフェース。 Codex アプリは、特にスマートフォンからエージェントを実行および導くための最良の方法です。一度ペアリングすれば、どこからでも作業をディスパッチし、差分を確認し、ゴール実行を継続できます。以前ほどは使わなくなりました。なぜなら、Fable でこれを行う独自の方法を見つけたからです。それは、workbench.md 上のドキュメントで作業させ、スマートフォンのドキュメント内のチャットコンポーネントから更新を読んで導くというものです。しかし、製品として、OpenAI のチームは依然として先を行っており、その差は大きいです。
いつ何を使うべきか
- Fable を使用できる場合: ほとんどすべてに Fable。セキュリティ監査、重要な変更の第二の目として、そしてコストを節約したいときに Fable の計画を実行する実行者として GPT-5.6 を使用。
- できない場合: 迷わず GPT-5.6。他の誰もが作る最高のモデルであり、ゴールモードで実行することは現在手に入れられる最高のエージェント設定であり、このレビューで生ぬるく聞こえる部分はすべて、Fable と比較してのみ生ぬるいのです。
最後に
もし Fable が存在しなければ、これは私が書いた中で最も輝かしいレビューになっていたでしょう。ゴールファイルに対して何日も実行し、自身の作業を敵対的に評価し、動作するボクセルベースのマンハッタンを出荷できるモデルは、小さなことではありません。6 か月前なら、それは SF だったでしょう。
しかし、Fable は存在します。そして、GPT-5.6 の正直な要約は、2 位がこれほど優れたことはなく、これほど重要でなかったこともないということです。フロンティアは、銀メダルに価値があるリーダーボードではありません。あるモデルが他のモデルにできないことができるなら、そのモデルを使います。そして、現在の差は、数日以内にワークフロー全体をそれに合わせて再編成したほど大きいです。
GPT-5.6 は素晴らしいモデルです。OpenAI の次のモデルで、私が乗り換えることを願っています。彼らは以前にも私にそうさせました。
これが役に立ったなら、X で私をフォロー して、AI モデルとその最大限の活用方法についての私の考えをもっとご覧ください。
元のレビューはこちらでお読みください: https://shumer.dev/gpt56review.html
