Bugün piyasaya sürülen Sakana AI'nın Fugu Ultra'sını pratik kodlama çalışmaları için denedim.
Sonucu bir yapay zeka gibi önceden söylemek gerekirse:
"Fugu Ultra, tek başına GPT-5.5 veya Opus 4.8'den açıkça daha zeki, ancak şu an için başkalarına kesinlikle tavsiye etmiyorum."
10 üzerinden bir değerlendirme yapacak olursak:
- Fugu Ultra: 9,3 puan
- GPT-5.5: 7,6 puan
- Opus 4.8: 7,5 puan
Bu arada, Fable 5 ise 12 puan.
Fugu Ultra'ya verdiğim görev şuydu:
"Aynı depoda iki farklı dalda ayrı özellikler uygulayın. Ardından, büyük ölçekli ve yıkıcı optimizasyon ve yeniden düzenleme yapın ve her iki tarafın uygulama amacını koruyarak, gerileme olmaksızın çakışmaları çözün."
Bu, GPT-5.5 veya Opus 4.8'in tek başına oldukça zorlandığı bir görevdi; yolda yanlış kararlar veriyor veya aynı düzeltmeleri tekrarlayarak sonsuz döngülere giriyor ve sık sık insan müdahalesi gerektiriyorlardı.
Öte yandan Fugu Ultra, her iki dalın uygulama amacını, örtük özelliklerini, yeniden düzenleme sonrası yapısını ve mevcut özellikler üzerindeki etkisini doğru bir şekilde kavradı ve bunları amaçlandığı gibi entegre etti.
Birden çok değişiklik geçmişi arasında genel tutarlılığı koruyan bu tür görevlerde, bağımsız modellerden açıkça daha güçlü olduğunu düşünüyorum. Açıkçası, Fable'ı deneyimlememiş olsaydım, onu oldukça yüksek puanlardım.
Ama Fable sınıfında mı diye sorarsanız, açıkça farklı olduğunu söyleyebilirim. Fable işte bu kadar eziciydi.
Görevleri akıl yürütmeden uygun boyutlara böler, alt ajanlara iletir, sonuçları bir araya getirir ve nihai üründe derler. Bu orkestrasyonu çok hafif bir şekilde gerçekleştirdi.
Fugu Ultra'nın müdahale sayısı Fable'dan çok farklı değil, ancak tamamlanana kadar geçen algılanan süre yaklaşık 3 kat daha yavaş.
Fable da muazzam bir hızda token tüketiyordu, ancak işlem buna yetecek kadar hızlıydı ve çıktı kalitesiyle ilgili hiçbir şikayetim yoktu.
Öte yandan Fugu Ultra, tokenları hızlı tüketiyor ancak işlem yavaş. Bekletilmenin verdiği stres ve aynı anda kullanım kotasının azalmasının verdiği stres çok can sıkıcıydı.
Sakana AI, Fugu Ultra'nın yanıt hızından ödün vererek karmaşık çok adımlı görevlerin kalitesine öncelik veren bir model olduğunu açıklıyor, ancak büyük ölçekli görevler de dahil olmak üzere pratik geliştirmeyi yaklaşık 2 saat çalıştırdıktan sonra 5 saatlik birim için sınıra ulaştım.
Ayda 220 dolarlık Max planını kullanıyordum, ancak Fugu Ultra'nın amacı ile kullanım kotasının tasarımının uyumlu olmadığını hissettim.
Fugu Ultra'nın zekasından yararlanmak için ona büyük ve karmaşık görevler vermek istersiniz, ancak büyük görevler yavaştır ve kullanım kotasının büyük bir kısmını tüketir, bu da kritik anlarda durmasına neden olan bir ikilem yaratır.
Tersine, küçük görevler için çok yavaş ve çok pahalıdır. Başka bir deyişle, şu anda çok yarım yamalak bir model haline geldi.
Bu gidişle, yetenekli bir insanın GPT-5.5 veya Opus'a ayrıntılı talimatlar vermesi ve geliştirme sürecini kendisinin bölmesi daha az stresli olacaktır.
Bu haliyle kalırsa, aboneliğimi yenilemeyeceğim ve başkalarına da kesinlikle tavsiye etmeyeceğim.
Aylık ücret yaklaşık yarı yarıya düşer ve kullanım kotası yaklaşık beş kat artarsa, tekrar kullanmayı düşünebilirim.
Ancak, Fable veya yeni nesil GPT sınıfı modeller kullanıma sunulduğunda ve Fugu'nun orkestrasyonuna entegre edildiğinde ne kadar ileri gidebileceğini görmek için sabırsızlanıyorum.
Fugu Ultra kötü değil.
Fable, AI kodlamasını değiştirdi.
