Probé Fugu Ultra de Sakana AI, lanzado hoy, para trabajo práctico de codificación.
Para escribir la conclusión primero, como una IA:
"Fugu Ultra es claramente más inteligente que GPT-5.5 o Opus 4.8 por sí solos, pero actualmente, básicamente no lo recomiendo a otros."
En una escala del 10, se siente así:
- Fugu Ultra: 9.3 puntos
- GPT-5.5: 7.6 puntos
- Opus 4.8: 7.5 puntos
Por cierto, Fable 5 tiene 12 puntos.
La tarea que le di a Fugu Ultra fue la siguiente:
"Implementa funciones separadas en dos ramas diferentes en el mismo repositorio. Luego, realiza una optimización y refactorización a gran escala y destructiva, y resuelve los conflictos sin regresión, manteniendo la intención de implementación de ambos lados."
Esta era una tarea bastante difícil para GPT-5.5 u Opus 4.8 por sí solos; tomaban decisiones incorrectas a mitad de camino o caían en bucles infinitos repitiendo las mismas correcciones, requiriendo intervención humana frecuente.
Por otro lado, Fugu Ultra captó con precisión la intención de implementación, las especificaciones implícitas, la estructura posterior a la refactorización y el impacto en las funciones existentes de ambas ramas, y las integró según lo previsto.
En tareas como esta que mantienen la coherencia general en múltiples historiales de cambios, creo que es claramente más fuerte que los modelos independientes. Honestamente, si no hubiera experimentado Fable, lo habría calificado bastante alto.
Pero si preguntas si es de clase Fable, puedo decir claramente que es diferente. Así de abrumador era Fable.
Divide las tareas en tamaños apropiados a partir del razonamiento, las pasa a subagentes, agrega los resultados y los compila en el producto final. Realizó esta orquestación de manera muy ligera.
El número de intervenciones de Fugu Ultra no es muy diferente al de Fable, pero la velocidad percibida hasta la finalización es aproximadamente 3 veces más lenta.
Fable también consumía tokens a una velocidad tremenda, pero el procesamiento era lo suficientemente rápido para igualarlo, y no tenía quejas sobre la calidad de la salida.
Por otro lado, Fugu Ultra consume tokens rápidamente, pero el procesamiento es lento. El estrés de tener que esperar y el estrés de que la cuota de uso disminuyera al mismo tiempo fue muy doloroso.
Sakana AI explica que Fugu Ultra es un modelo que prioriza la calidad de tareas complejas de múltiples pasos a costa de la velocidad de respuesta, pero después de ejecutar desarrollo práctico que incluye tareas a gran escala durante aproximadamente 2 horas, alcancé el límite para una unidad de 5 horas.
Estaba usando el plan Max de $220/mes, pero sentí que el propósito de Fugu Ultra y el diseño de la cuota de uso no estaban alineados.
Para aprovechar la inteligencia de Fugu Ultra, quieres darle tareas grandes y complejas, pero las tareas grandes son lentas y consumen una cantidad masiva de la cuota de uso, creando un dilema donde se detiene en momentos críticos.
Por el contrario, para tareas pequeñas, es demasiado lento y demasiado caro. En otras palabras, actualmente se ha convertido en un modelo muy a medias.
A este ritmo, sería menos estresante para un humano capaz dar instrucciones detalladas a GPT-5.5 u Opus y dividir el proceso de desarrollo ellos mismos.
Si se queda como está, no renovaré mi suscripción y básicamente no lo recomendaré a otros.
Si la tarifa mensual fuera aproximadamente la mitad y la cuota de uso aumentara aproximadamente cinco veces, podría considerar usarlo de nuevo.
Sin embargo, espero con ansias ver hasta dónde puede llegar cuando Fable o los modelos de próxima generación tipo GPT estén disponibles y se integren en la orquestación de Fugu.
No es que Fugu Ultra sea malo.
Fable ha cambiado la codificación con IA.
