오늘 출시된 Sakana AI의 Fugu Ultra를 실용적인 코딩 작업에 사용해봤습니다.
결론부터 말하자면, 마치 AI처럼:
"Fugu Ultra는 분명 GPT-5.5나 Opus 4.8 단독보다 똑똑하지만, 현재로서는 다른 사람에게 추천하지 않습니다."
10점 만점에 이렇게 느껴집니다:
- Fugu Ultra: 9.3점
- GPT-5.5: 7.6점
- Opus 4.8: 7.5점
참고로 Fable 5는 12점입니다.
제가 Fugu Ultra에 준 작업은 다음과 같았습니다:
"동일한 저장소의 두 개별 브랜치에서 각각 다른 기능을 구현하세요. 그런 다음, 대규모이면서 파괴적인 최적화와 리팩토링을 수행하고, 양쪽의 구현 의도를 유지하면서 회귀 없이 충돌을 해결하세요."
이는 GPT-5.5나 Opus 4.8 단독으로는 상당히 어려운 작업이었습니다. 중간에 잘못된 판단을 내리거나 동일한 수정을 반복하는 무한 루프에 빠져 잦은 인간의 개입이 필요했습니다.
반면, Fugu Ultra는 두 브랜치의 구현 의도, 암묵적인 사양, 리팩토링 후 구조, 기존 기능에 미치는 영향을 정확히 파악하고 의도한 대로 통합했습니다.
이처럼 여러 변경 이력 전반에 걸쳐 일관성을 유지해야 하는 작업에서는 단독 모델보다 확실히 강력하다고 생각합니다. 솔직히 Fable을 경험하지 않았다면 상당히 높게 평가했을 것입니다.
하지만 Fable급인지 묻는다면, 분명히 다르다고 말할 수 있습니다. 그만큼 Fable은 압도적이었습니다.
추론부터 작업을 적절한 크기로 분할하고, 하위 에이전트에 전달하며, 결과를 집계하여 최종 결과물로 컴파일합니다. 이러한 오케스트레이션을 매우 가볍게 수행했습니다.
Fugu Ultra의 개입 횟수는 Fable과 크게 다르지 않지만, 완료까지 체감 속도는 약 3배 느립니다.
Fable도 엄청난 속도로 토큰을 소모했지만, 그에 맞춰 처리 속도도 빨랐고 출력 품질에 대한 불만도 없었습니다.
반면, Fugu Ultra는 토큰을 빠르게 소모하면서도 처리는 느립니다. 기다리게 하는 스트레스와 사용 할당량이 동시에 줄어드는 스트레스가 매우 컸습니다.
Sakana AI는 Fugu Ultra가 응답 속도를 희생하더라도 복잡한 다단계 작업의 품질을 우선시하는 모델이라고 설명하지만, 대규모 작업을 포함한 실용적인 개발을 약 2시간 정도 실행한 후 5시간 단위의 한도에 도달했습니다.
저는 월 $220의 Max 요금제를 사용 중이었지만, Fugu Ultra의 목적과 사용 할당량 설계가 일치하지 않는다고 느꼈습니다.
Fugu Ultra의 지능을 활용하려면 크고 복잡한 작업을 맡기고 싶지만, 큰 작업은 느리고 엄청난 양의 사용 할당량을 소모하여 중요한 순간에 중단되는 딜레마가 발생합니다.
반대로, 작은 작업에는 너무 느리고 비쌉니다. 즉, 현재로서는 매우 애매한 모델이 되었습니다.
이런 상태라면, 유능한 인간이 GPT-5.5나 Opus에 세부 지침을 제공하고 개발 프로세스를 직접 분할하는 것이 덜 스트레스받을 것입니다.
현 상태가 유지된다면 구독을 갱신하지 않을 것이며, 기본적으로 다른 사람에게 추천하지 않을 것입니다.
월 요금이 절반 정도이고 사용 할당량이 약 5배 증가한다면 다시 사용을 고려할 수도 있습니다.
하지만 Fable이나 차세대 GPT급 모델이 등장하여 Fugu의 오케스트레이션에 통합될 때 얼마나 발전할 수 있을지 매우 기대됩니다.
Fugu Ultra가 나쁘다는 것은 아닙니다.
Fable이 AI 코딩을 바꿨습니다.
