Tôi đã thử nghiệm Fugu Ultra của Sakana AI, vừa được phát hành hôm nay, cho công việc lập trình thực tế.
Để viết kết luận trước, như một AI:
"Fugu Ultra rõ ràng thông minh hơn GPT-5.5 hoặc Opus 4.8 riêng lẻ, nhưng hiện tại, về cơ bản tôi không khuyên người khác dùng nó."
Trên thang điểm 10, cảm giác như thế này:
- Fugu Ultra: 9.3 điểm
- GPT-5.5: 7.6 điểm
- Opus 4.8: 7.5 điểm
Nhân tiện, Fable 5 đạt 12 điểm.
Nhiệm vụ tôi giao cho Fugu Ultra như sau:
"Triển khai các tính năng riêng biệt trong hai nhánh khác nhau trên cùng một kho lưu trữ. Sau đó, thực hiện tối ưu hóa và tái cấu trúc quy mô lớn và mang tính phá hủy, đồng thời giải quyết xung đột mà không gây hồi quy trong khi vẫn duy trì ý định triển khai của cả hai bên."
Đây là một nhiệm vụ khá khó khăn đối với GPT-5.5 hoặc Opus 4.8 riêng lẻ; chúng thường đưa ra những đánh giá sai lầm giữa chừng hoặc rơi vào vòng lặp vô hạn khi lặp lại các bản sửa lỗi giống nhau, đòi hỏi sự can thiệp thường xuyên của con người.
Mặt khác, Fugu Ultra đã nắm bắt chính xác ý định triển khai, thông số kỹ thuật ngầm, cấu trúc sau tái cấu trúc và tác động đến các tính năng hiện có của cả hai nhánh, đồng thời tích hợp chúng theo đúng ý định.
Trong những nhiệm vụ như thế này, duy trì tính nhất quán tổng thể trên nhiều lịch sử thay đổi, tôi nghĩ nó mạnh hơn rõ rệt so với các mô hình độc lập. Thành thật mà nói, nếu tôi chưa từng trải nghiệm Fable, tôi đã đánh giá nó khá cao.
Nhưng nếu bạn hỏi liệu nó có đẳng cấp Fable không, tôi có thể nói rõ ràng là khác. Đó là mức độ áp đảo của Fable.
Nó chia nhỏ các nhiệm vụ thành kích thước phù hợp từ suy luận, chuyển chúng cho các tác nhân phụ, tổng hợp kết quả và biên soạn chúng thành sản phẩm cuối cùng. Nó thực hiện việc điều phối này rất nhẹ nhàng.
Số lần can thiệp của Fugu Ultra không khác nhiều so với Fable, nhưng tốc độ cảm nhận cho đến khi hoàn thành chậm hơn khoảng 3 lần.
Fable cũng tiêu thụ token với tốc độ cực nhanh, nhưng xử lý đủ nhanh để theo kịp, và tôi không có phàn nàn gì về chất lượng đầu ra.
Mặt khác, Fugu Ultra tiêu thụ token nhanh, nhưng xử lý lại chậm. Sự căng thẳng khi phải chờ đợi và sự căng thẳng khi hạn mức sử dụng giảm cùng lúc thực sự rất khó chịu.
Sakana AI giải thích rằng Fugu Ultra là mô hình ưu tiên chất lượng của các tác vụ đa bước phức tạp, đánh đổi tốc độ phản hồi, nhưng sau khi chạy phát triển thực tế bao gồm các tác vụ quy mô lớn trong khoảng 2 giờ, tôi đã chạm đến giới hạn cho một đơn vị 5 giờ.
Tôi đang sử dụng gói Max 220 đô la/tháng, nhưng tôi cảm thấy mục đích của Fugu Ultra và thiết kế hạn mức sử dụng không phù hợp với nhau.
Để tận dụng trí thông minh của Fugu Ultra, bạn muốn giao cho nó những tác vụ lớn và phức tạp, nhưng tác vụ lớn thì chậm và tiêu tốn một lượng lớn hạn mức sử dụng, tạo ra tình thế tiến thoái lưỡng nan khi nó dừng lại vào những thời điểm quan trọng.
Ngược lại, đối với các tác vụ nhỏ, nó quá chậm và quá đắt. Nói cách khác, hiện tại nó đã trở thành một mô hình rất nửa vời.
Với tốc độ này, sẽ ít căng thẳng hơn nếu một người có năng lực đưa ra hướng dẫn chi tiết cho GPT-5.5 hoặc Opus và tự mình chia nhỏ quy trình phát triển.
Nếu nó cứ như vậy, tôi sẽ không gia hạn đăng ký, và về cơ bản tôi sẽ không khuyên người khác dùng nó.
Nếu phí hàng tháng giảm khoảng một nửa và hạn mức sử dụng tăng gấp năm lần, tôi có thể cân nhắc sử dụng lại.
Tuy nhiên, tôi rất mong chờ xem nó có thể đi được bao xa khi Fable hoặc các mô hình thế hệ GPT tiếp theo có sẵn và được tích hợp vào hệ thống điều phối của Fugu.
Không phải Fugu Ultra tệ.
Fable đã thay đổi việc lập trình AI.
