今日リリースされたSakana AIのFugu Ultraを、実務のコーディングで使ってみたよ。
AIみたいに結論だけ先に書くと
「Fugu Ultraは、GPT-5.5やOpus 4.8単体より明確に賢いが、現状は基本的に人へ勧めない。」
体感では10点満点でこんな感じ。
- Fugu Ultra：9.3点
- GPT-5.5：7.6点
- Opus 4.8：7.5点
ちなみにFable 5は12点ね。
Fugu Ultraにやらせてみたタスクは以下。
「同一リポジトリ上で、2つのブランチに分かれて別々の機能を実装。その後、大規模かつ破壊的な最適化とリファクタリングを行い、双方の実装意図を維持したまま、デグレなくコンフリクトを解消させる。」
これはGPT-5.5やOpus 4.8単体ではかなり難しかったタスクで、途中で判断を誤ったり、同じ修正を繰り返す無限ループのような状態になることもあり、人間が何度も介入する必要があった。
一方、Fugu Ultraでは、両ブランチの実装意図・暗黙の仕様・リファクタ後の構造・既存機能への影響をかなり正確に把握し、意図通りに統合していた。
この種の複数の変更履歴をまたいで全体整合性を取るタスクでは、単体モデルより明確に強いと思う。 正直Fableを味わってなければ、結構高く評価していたと思う。
でもFable級かと言われるとそれは明確に違うと言える。
それくらいFableは圧倒的だった。
推論から適切な大きさにタスクを分割し、サブエージェントに渡し、その結果をアグリゲーションして最終成果物にまとめる。
このオーケストレーションを、とにかく軽やかにやってのけた。
Fugu Ultraも介入回数自体はFableと大きく変わらないが、完了までの速度は体感で約3倍くらい遅い。
Fableも凄まじい速度でトークンを消費していたが、その分だけ処理が速く、アウトプットの品質にも不満はなかった。
一方、Fugu Ultraはトークン消費が速いのに処理は遅い。
待たされるストレスと、利用枠が減っていくストレスが同時に来るのが非常に辛かった。
Sakana AI自身は、Fugu Ultraは応答速度を犠牲にして複雑な多段階タスクの品質を優先するモデルだと説明しているが、大規模タスクを含む実務的な開発を約2時間回したところ、5時間単位のリミットに引っかかってしまった。
私が使っていたのは月額220ドルのMaxプランですがこれはFugu Ultraの用途と、利用枠の設計が噛み合っていないように感じた。
Fugu Ultraの賢さを生かすには、大きく複雑なタスクを渡したいんだけど、大きなタスクは遅いうえに大量の利用枠を消費し、肝心なところで止まってしまうジレンマが発生している。
逆に小さなタスクへ使うには、遅くて高すぎる。
つまり現状は、非常に中途半端なモデルになってしまっている。
これならGPT-5.5やOpusへ細かく指示を出し、できる人間が開発工程を分割した方が、最終的なストレスは少ないだろう。
現状のままなら継続契約はしないし、基本的には人に勧めない。
月額が半額程度になり、利用枠が5倍ほどに増えれば、再び使うか悩むラインかな。
でも、Fableや次世代GPT級のモデルが利用可能になり、Fuguのオーケストレーションに組み込まれたとき、どこまで伸びるのかは非常に楽しみではあるね。
Fugu Ultraが悪いわけではない。
Fableが、AIコーディングを変えてしまったんだ。
