J'ai essayé Sakana AI's Fugu Ultra, sorti aujourd'hui, pour du travail de codage pratique.
Pour écrire la conclusion en premier, comme une IA :
"Fugu Ultra est clairement plus intelligent que GPT-5.5 ou Opus 4.8 seul, mais actuellement, je ne le recommande fondamentalement pas aux autres."
Sur une échelle de 10, ça donne ceci :
- Fugu Ultra : 9,3 points
- GPT-5.5 : 7,6 points
- Opus 4.8 : 7,5 points
Au fait, Fable 5 obtient 12 points.
La tâche que j'ai donnée à Fugu Ultra était la suivante :
"Implémenter des fonctionnalités séparées dans deux branches différentes sur le même dépôt. Ensuite, effectuer une optimisation et un refactoring à grande échelle et destructeurs, et résoudre les conflits sans régression tout en maintenant l'intention d'implémentation des deux côtés."
C'était une tâche assez difficile pour GPT-5.5 ou Opus 4.8 seuls ; ils faisaient des jugements erronés en cours de route ou tombaient dans des boucles infinies de répétition des mêmes corrections, nécessitant une intervention humaine fréquente.
En revanche, Fugu Ultra a saisi avec précision l'intention d'implémentation, les spécifications implicites, la structure post-refactoring et l'impact sur les fonctionnalités existantes des deux branches, et les a intégrées comme prévu.
Dans des tâches comme celle-ci qui maintiennent une cohérence globale à travers plusieurs historiques de modifications, je pense qu'il est clairement plus fort que les modèles autonomes. Honnêtement, si je n'avais pas expérimenté Fable, je l'aurais noté assez haut.
Mais si vous me demandez s'il est de la classe de Fable, je peux clairement dire que c'est différent. C'est à quel point Fable était écrasant.
Il divise les tâches en tailles appropriées à partir du raisonnement, les transmet à des sous-agents, agrège les résultats et les compile dans le produit final. Il a effectué cette orchestration très légèrement.
Le nombre d'interventions de Fugu Ultra n'est pas très différent de celui de Fable, mais la vitesse perçue jusqu'à l'achèvement est environ 3 fois plus lente.
Fable consommait également des tokens à une vitesse fulgurante, mais le traitement était suffisamment rapide pour correspondre, et je n'avais aucune plainte concernant la qualité de la sortie.
En revanche, Fugu Ultra consomme des tokens rapidement, mais le traitement est lent. Le stress d'être obligé d'attendre et le stress de voir le quota d'utilisation diminuer en même temps étaient très pénibles.
Sakana AI explique que Fugu Ultra est un modèle qui privilégie la qualité des tâches complexes en plusieurs étapes au détriment de la vitesse de réponse, mais après avoir exécuté un développement pratique incluant des tâches à grande échelle pendant environ 2 heures, j'ai atteint la limite pour une unité de 5 heures.
J'utilisais le forfait Max à 220 $/mois, mais j'ai senti que l'objectif de Fugu Ultra et la conception du quota d'utilisation n'étaient pas alignés.
Pour tirer parti de l'intelligence de Fugu Ultra, vous voulez lui confier des tâches volumineuses et complexes, mais les tâches volumineuses sont lentes et consomment une quantité massive du quota d'utilisation, créant un dilemme où il s'arrête aux moments critiques.
Inversement, pour les petites tâches, il est trop lent et trop cher. En d'autres termes, il est actuellement devenu un modèle très mitigé.
À ce rythme, il serait moins stressant pour un humain compétent de donner des instructions détaillées à GPT-5.5 ou Opus et de diviser lui-même le processus de développement.
Si ça reste comme ça, je ne renouvellerai pas mon abonnement, et je ne le recommanderai fondamentalement pas aux autres.
Si le tarif mensuel était environ deux fois moins élevé et le quota d'utilisation environ cinq fois plus important, je pourrais envisager de l'utiliser à nouveau.
Cependant, j'attends avec impatience de voir jusqu'où il peut aller lorsque des modèles de classe Fable ou de prochaine génération GPT seront disponibles et intégrés à l'orchestration de Fugu.
Ce n'est pas que Fugu Ultra soit mauvais.
Fable a changé le codage par IA.
