Sakana AI: ความประทับใจที่มีต่อ Fugu Ultra

ฉันได้ลองใช้ Fugu Ultra ของ Sakana AI ที่ปล่อยออกมาในวันนี้ สำหรับงานเขียนโค้ดเชิงปฏิบัติ

ถ้าจะสรุปก่อนเลย เหมือน AI:

"Fugu Ultra ฉลาดกว่า GPT-5.5 หรือ Opus 4.8 เพียงอย่างเดียวอย่างชัดเจน แต่ในตอนนี้ โดยพื้นฐานแล้วฉันไม่แนะนำให้คนอื่นใช้"

ในระดับคะแนน 10 มันให้ความรู้สึกแบบนี้:

• Fugu Ultra: 9.3 คะแนน
• GPT-5.5: 7.6 คะแนน
• Opus 4.8: 7.5 คะแนน

อีกอย่าง Fable 5 ได้ 12 คะแนน

งานที่ฉันมอบหมายให้ Fugu Ultra มีดังนี้:

"ใช้ฟีเจอร์แยกกันในสอง branch ที่แตกต่างกันบน repository เดียวกัน จากนั้นทำการปรับแต่งและ refactoring ขนาดใหญ่และรุนแรง และแก้ไข conflicts โดยไม่ทำให้เกิด regression ในขณะที่คงเจตนาการ implement ของทั้งสองฝั่งไว้"

นี่เป็นงานที่ค่อนข้างยากสำหรับ GPT-5.5 หรือ Opus 4.8 เพียงอย่างเดียว พวกมันจะตัดสินใจผิดพลาดระหว่างทาง หรือตกอยู่ในลูปไม่รู้จบในการแก้ไขซ้ำๆ ต้องให้มนุษย์เข้ามาแทรกแซงบ่อยครั้ง

ในทางกลับกัน Fugu Ultra เข้าใจเจตนาการ implement ข้อกำหนดโดยนัย โครงสร้างหลัง refactoring และผลกระทบต่อฟีเจอร์ที่มีอยู่ของทั้งสอง branch ได้อย่างแม่นยำ และรวมเข้าด้วยกันตามที่ตั้งใจไว้

ในงานแบบนี้ที่ต้องรักษาความสอดคล้องโดยรวมในประวัติการเปลี่ยนแปลงหลายรายการ ฉันคิดว่ามันแข็งแกร่งกว่าโมเดลเดี่ยวๆ อย่างชัดเจน พูดตามตรง ถ้าฉันไม่เคยสัมผัส Fable มาก่อน ฉันคงให้คะแนนมันค่อนข้างสูง

แต่ถ้าถามว่ามันอยู่ในระดับเดียวกับ Fable หรือไม่ ฉันบอกได้เลยว่ามันต่างกัน นั่นคือความเหนือชั้นของ Fable

มันแบ่งงานออกเป็นขนาดที่เหมาะสมจากการใช้เหตุผล ส่งต่อไปยัง sub-agents รวบรวมผลลัพธ์ และเรียบเรียงเป็นผลลัพธ์สุดท้าย มันทำงาน orchestration นี้ได้อย่างเบามือมาก

จำนวนครั้งที่ต้องแทรกแซงของ Fugu Ultra ไม่ต่างจาก Fable มากนัก แต่ความเร็วที่รับรู้ได้จนกระทั่งเสร็จสิ้นนั้นช้ากว่าประมาณ 3 เท่า

Fable ก็กิน tokens ในอัตราที่มหาศาลเช่นกัน แต่การประมวลผลก็เร็วพอที่จะสู้กันได้ และฉันไม่มีข้อตำหนิเกี่ยวกับคุณภาพของผลลัพธ์

ในทางกลับกัน Fugu Ultra กิน tokens เร็ว แต่การประมวลผลช้า ความเครียดจากการถูกบังคับให้รอ และความเครียดจากโควต้าการใช้งานที่ลดลงในเวลาเดียวกันนั้นเจ็บปวดมาก

Sakana AI อธิบายว่า Fugu Ultra เป็นโมเดลที่ให้ความสำคัญกับคุณภาพของงานหลายขั้นตอนที่ซับซ้อน โดยแลกกับความเร็วในการตอบสนอง แต่หลังจากรันงานพัฒนาจริงรวมถึงงานขนาดใหญ่ประมาณ 2 ชั่วโมง ฉันก็ถึงขีดจำกัดสำหรับหน่วย 5 ชั่วโมง

ฉันใช้แผน Max ราคา $220/เดือน แต่ฉันรู้สึกว่าจุดประสงค์ของ Fugu Ultra และการออกแบบโควต้าการใช้งานไม่สอดคล้องกัน

เพื่อใช้ประโยชน์จากความฉลาดของ Fugu Ultra คุณต้องการมอบหมายงานที่ใหญ่และซับซ้อนให้มัน แต่งานใหญ่ก็ช้าและกินโควต้าการใช้งานมหาศาล ทำให้เกิดภาวะกลืนไม่เข้าคายไม่ออกที่มันจะหยุดในช่วงเวลาสำคัญ

ในทางกลับกัน สำหรับงานเล็ก มันช้าเกินไปและแพงเกินไป กล่าวอีกนัยหนึ่ง ตอนนี้มันกลายเป็นโมเดลที่ก้ำกึ่งมาก

ถ้าเป็นแบบนี้ การที่มนุษย์ที่มีความสามารถคอยให้คำแนะนำโดยละเอียดกับ GPT-5.5 หรือ Opus และแบ่งกระบวนการพัฒนาด้วยตัวเองจะเครียดน้อยกว่า

ถ้ามันยังคงเป็นแบบนี้ ฉันจะไม่ต่ออายุสมาชิก และโดยพื้นฐานแล้วจะไม่แนะนำให้คนอื่นใช้

ถ้าค่าใช้จ่ายรายเดือนประมาณครึ่งหนึ่ง และโควต้าการใช้งานเพิ่มขึ้นประมาณห้าเท่า ฉันอาจจะพิจารณาใช้มันอีกครั้ง

อย่างไรก็ตาม ฉันรอคอยอย่างมากที่จะได้เห็นว่ามันจะไปได้ไกลแค่ไหนเมื่อ Fable หรือโมเดลระดับ GPT รุ่นต่อไปพร้อมใช้งาน และถูกผสานรวมเข้ากับ orchestration ของ Fugu

ไม่ใช่ว่า Fugu Ultra แย่

Fable ได้เปลี่ยนการเขียนโค้ดด้วย AI ไปแล้ว