मैंने आज जारी Sakana AI के Fugu Ultra को व्यावहारिक कोडिंग कार्यों के लिए आज़माया।
निष्कर्ष पहले लिखूं, एक AI की तरह:
"Fugu Ultra स्पष्ट रूप से अकेले GPT-5.5 या Opus 4.8 से अधिक स्मार्ट है, लेकिन वर्तमान में, मैं मूल रूप से इसे दूसरों को अनुशंसित नहीं करता।"
10 के पैमाने पर, यह ऐसा लगता है:
- Fugu Ultra: 9.3 अंक
- GPT-5.5: 7.6 अंक
- Opus 4.8: 7.5 अंक
वैसे, Fable 5, 12 अंक है।
मैंने Fugu Ultra को जो कार्य दिया वह इस प्रकार था:
"एक ही रिपॉजिटरी पर दो अलग-अलग ब्रांचों में अलग-अलग सुविधाओं को लागू करें। फिर, बड़े पैमाने पर और विनाशकारी अनुकूलन और रीफैक्टरिंग करें, और दोनों पक्षों के कार्यान्वयन के इरादे को बनाए रखते हुए बिना प्रतिगमन के विरोधों को हल करें।"
यह एक ऐसा कार्य था जो अकेले GPT-5.5 या Opus 4.8 के लिए काफी कठिन था; वे बीच में गलत निर्णय लेते थे या समान सुधारों को दोहराने के अनंत लूप में फंस जाते थे, जिसके लिए बार-बार मानवीय हस्तक्षेप की आवश्यकता होती थी।
दूसरी ओर, Fugu Ultra ने दोनों ब्रांचों के कार्यान्वयन के इरादे, अंतर्निहित विशिष्टताओं, रीफैक्टरिंग के बाद की संरचना और मौजूदा सुविधाओं पर प्रभाव को सटीक रूप से समझा, और उन्हें इच्छित रूप में एकीकृत किया।
कई परिवर्तन इतिहासों में समग्र स्थिरता बनाए रखने वाले इस तरह के कार्यों में, मुझे लगता है कि यह स्टैंडअलोन मॉडल की तुलना में स्पष्ट रूप से अधिक मजबूत है। सच कहूं तो, अगर मैंने Fable का अनुभव नहीं किया होता, तो मैंने इसे काफी उच्च दर्जा दिया होता।
लेकिन अगर आप पूछते हैं कि क्या यह Fable-स्तरीय है, तो मैं स्पष्ट रूप से कह सकता हूं कि यह अलग है। Fable कितना जबरदस्त था।
यह तर्क से कार्यों को उपयुक्त आकारों में विभाजित करता है, उन्हें उप-एजेंटों को सौंपता है, परिणामों को एकत्रित करता है, और उन्हें अंतिम उत्पाद में संकलित करता है। इसने इस ऑर्केस्ट्रेशन को बहुत हल्के ढंग से किया।
Fugu Ultra में हस्तक्षेपों की संख्या Fable से बहुत अलग नहीं है, लेकिन पूरा होने तक की अनुभूत गति लगभग 3 गुना धीमी है।
Fable ने भी जबरदस्त गति से टोकन खपत की, लेकिन प्रसंस्करण उससे मेल खाने के लिए पर्याप्त तेज़ था, और मुझे आउटपुट गुणवत्ता के बारे में कोई शिकायत नहीं थी।
दूसरी ओर, Fugu Ultra तेज़ी से टोकन खपत करता है, फिर भी प्रसंस्करण धीमा है। प्रतीक्षा करने का तनाव और एक साथ उपयोग कोटा घटने का तनाव बहुत कष्टदायक था।
Sakana AI बताता है कि Fugu Ultra एक ऐसा मॉडल है जो प्रतिक्रिया गति की कीमत पर जटिल बहु-चरणीय कार्यों की गुणवत्ता को प्राथमिकता देता है, लेकिन बड़े पैमाने के कार्यों सहित लगभग 2 घंटे तक व्यावहारिक विकास चलाने के बाद, मैं 5 घंटे की इकाई की सीमा तक पहुंच गया।
मैं $220/माह के Max प्लान का उपयोग कर रहा था, लेकिन मुझे लगा कि Fugu Ultra का उद्देश्य और उपयोग कोटा का डिज़ाइन संरेखित नहीं था।
Fugu Ultra की बुद्धिमत्ता का लाभ उठाने के लिए, आप इसे बड़े और जटिल कार्य देना चाहते हैं, लेकिन बड़े कार्य धीमे होते हैं और उपयोग कोटा का भारी मात्रा में उपभोग करते हैं, जिससे एक दुविधा पैदा होती है जहां यह महत्वपूर्ण क्षणों में रुक जाता है।
इसके विपरीत, छोटे कार्यों के लिए, यह बहुत धीमा और बहुत महंगा है। दूसरे शब्दों में, यह वर्तमान में एक बहुत ही अधूरा मॉडल बन गया है।
इस दर पर, एक सक्षम मानव के लिए GPT-5.5 या Opus को विस्तृत निर्देश देना और स्वयं विकास प्रक्रिया को विभाजित करना कम तनावपूर्ण होगा।
अगर यह ऐसे ही रहा, तो मैं अपनी सदस्यता का नवीनीकरण नहीं करूंगा, और मैं मूल रूप से इसे दूसरों को अनुशंसित नहीं करूंगा।
अगर मासिक शुल्क लगभग आधा होता और उपयोग कोटा लगभग पांच गुना बढ़ जाता, तो मैं इसे फिर से उपयोग करने पर विचार कर सकता था।
हालांकि, मैं यह देखने के लिए बहुत उत्सुक हूं कि जब Fable या अगली पीढ़ी के GPT-स्तरीय मॉडल उपलब्ध हो जाते हैं और Fugu के ऑर्केस्ट्रेशन में एकीकृत हो जाते हैं तो यह कितनी दूर तक जा सकता है।
ऐसा नहीं है कि Fugu Ultra खराब है।
Fable ने AI कोडिंग को बदल दिया है।
