Ho provato Fugu Ultra di Sakana AI, rilasciato oggi, per lavoro di codifica pratico.
Per scrivere subito la conclusione, come un'IA:
"Fugu Ultra è chiaramente più intelligente di GPT-5.5 o Opus 4.8 da soli, ma al momento, sostanzialmente non lo consiglio ad altri."
Su una scala da 1 a 10, la sensazione è questa:
- Fugu Ultra: 9.3 punti
- GPT-5.5: 7.6 punti
- Opus 4.8: 7.5 punti
Tra l'altro, Fable 5 è a 12 punti.
Il compito che ho assegnato a Fugu Ultra era il seguente:
"Implementa funzionalità separate in due rami diversi sullo stesso repository. Quindi, esegui un'ottimizzazione e un refactoring su larga scala e distruttivi, e risolvi i conflitti senza regressioni, mantenendo l'intento implementativo di entrambe le parti."
Era un compito piuttosto difficile per GPT-5.5 o Opus 4.8 da soli; facevano valutazioni errate a metà strada o cadevano in cicli infiniti ripetendo le stesse correzioni, richiedendo frequenti interventi umani.
D'altra parte, Fugu Ultra ha colto accuratamente l'intento implementativo, le specifiche implicite, la struttura post-refactoring e l'impatto sulle funzionalità esistenti di entrambi i rami, e li ha integrati come previsto.
In compiti come questo, che mantengono la coerenza complessiva attraverso più cronologie di modifiche, penso sia chiaramente più forte dei modelli autonomi. Onestamente, se non avessi provato Fable, lo avrei valutato piuttosto positivamente.
Ma se mi chiedete se è di livello Fable, posso dire chiaramente che è diverso. Ecco quanto era travolgente Fable.
Divide i compiti in dimensioni appropriate a partire dal ragionamento, li passa a sotto-agenti, aggrega i risultati e li compila nel prodotto finale. Ha eseguito questa orchestrazione in modo molto leggero.
Il numero di interventi di Fugu Ultra non è molto diverso da quello di Fable, ma la velocità percepita fino al completamento è circa 3 volte più lenta.
Anche Fable consumava token a una velocità tremenda, ma l'elaborazione era abbastanza veloce da starci al passo, e non avevo lamentele sulla qualità dell'output.
D'altra parte, Fugu Ultra consuma token rapidamente, eppure l'elaborazione è lenta. Lo stress di dover aspettare e lo stress della quota di utilizzo che diminuisce allo stesso tempo è stato molto doloroso.
Sakana AI spiega che Fugu Ultra è un modello che privilegia la qualità di compiti complessi a più passaggi a scapito della velocità di risposta, ma dopo aver eseguito sviluppo pratico inclusi compiti su larga scala per circa 2 ore, ho raggiunto il limite per un'unità di 5 ore.
Stavo usando il piano Max da $220/mese, ma ho sentito che lo scopo di Fugu Ultra e la progettazione della quota di utilizzo non erano allineati.
Per sfruttare l'intelligenza di Fugu Ultra, si vogliono assegnare compiti grandi e complessi, ma i compiti grandi sono lenti e consumano una quantità massiccia della quota di utilizzo, creando un dilemma per cui si ferma nei momenti critici.
Al contrario, per compiti piccoli, è troppo lento e troppo costoso. In altre parole, al momento è diventato un modello molto a metà strada.
A questo punto, sarebbe meno stressante per un umano capace dare istruzioni dettagliate a GPT-5.5 o Opus e suddividere da sé il processo di sviluppo.
Se rimane così, non rinnoverò il mio abbonamento e sostanzialmente non lo consiglierò ad altri.
Se la tariffa mensile fosse circa la metà e la quota di utilizzo aumentasse di circa cinque volte, potrei prendere in considerazione di usarlo di nuovo.
Tuttavia, non vedo l'ora di vedere fino a che punto può arrivare quando modelli di livello Fable o di prossima generazione GPT saranno disponibili e saranno integrati nell'orchestrazione di Fugu.
Non è che Fugu Ultra sia scarso.
Fable ha cambiato la codifica con l'IA.
