요약
- 저는 5월 27일부터 GPT-5.6 을 테스트해왔습니다. 처음 2주 동안은 제가 사용해본 모델 중 가장 인상적이었습니다. Goal 모드와 이 모델의 조합은 순수한 마법이었습니다. 실제 지하철이 작동하는 복셀 기반 맨해튼 시뮬레이션과 Teardown 스타일의 파괴 게임을, 거의 스스로, 며칠에 걸쳐 만들어냈습니다.
- 그런데 Claude Fable 이 출시되었고, 저는 거의 하룻밤 사이에 GPT-5.6 사용을 중단했습니다. Fable 이 제 작업에 훨씬 더 뛰어나기 때문입니다.
- 벤치마크 점수는 두 모델이 비슷해 보입니다. 실제 세계에서는 전혀 그렇지 않습니다. Fable 에서는 큰 모델의 느낌이 납니다. GPT-5.6 은 RL 이 엄청나게 잘 적용된 작은 모델처럼 느껴지며, 그 차이는 일반적인 코딩 작업을 벗어나는 순간 바로 드러납니다. 신뢰도에서도 차이가 납니다. 적절한 가드레일과 설정이 있다면 Fable 의 코드를 확인할 필요가 없습니다. 하지만 5.6 의 코드는 여전히 확인해야 합니다.
- GPT-5.6 으로 야심 찬 작업을 하려면 여전히 방향을 제시해야 하지만, Fable 은 최종 목적지를 한 번만 설명하면 대개 자율적으로 도달합니다.
- GPT-5.6 은 여전히 몇 가지 중요한 부분에서 Fable 을 능가합니다: 한도, 인터페이스, 그리고 보안 작업 수행 의지입니다. 이제 5.6 은 제 보안 감사관이자 제 2의 눈이며, 메인 모델은 아닙니다.
- Fable 을 제외하면, GPT-5.6 은 사용 가능한 최고의 모델입니다. 그리고 Goal 모드에서 실행하는 것이 OpenAI 가 지금까지 출시한 최고의 에이전트 설정입니다.
장점
- Goal 모드. /goal 을 입력하면 목표가 실제로 완료될 때까지 모델이 멈추지 않습니다. 이것은 OpenAI 가 제가 실제로 작업하고 싶은 방식에 가장 가깝게 접근한 것입니다.
- 집요하며, 작업을 완료하기 위해 며칠 동안 실행될 수 있습니다. 제 가장 긴 Goal 실행은 단일 목표를 위해 거의 일주일 동안, 대부분 감독 없이 진행되었습니다.
- 이전의 어떤 GPT 모델보다 훨씬 덜 감독이 필요합니다. 모호한 상황에서 합리적인 판단을 내리고 계속 진행합니다. 5.6 을 사용해본 후 GPT-5.5 로 돌아가면 이 점에서 큰 퇴보를 느꼈습니다.
- 보안 작업은 진정으로 강력하며, Fable 보다 훨씬 더 기꺼이 수행합니다.
- 디자인은 이전 GPT 모델보다 훨씬 뛰어납니다.
- 한도는 언제나 그렇듯 Anthropic 보다 훨씬 넉넉합니다.
- Codex 앱은 여전히 에이전트를 실행하기 위한 최고의 인터페이스이며, 특히 휴대폰에서 그렇습니다.
- 이전 모델을 코딩할 때 사용했던 방식 그대로 5.6 을 사용한다면, 이 모델이 마음에 들 것입니다. Fable 은 같은 작업에 더 비싸고 느립니다. 하지만 더 야심 차게 프롬프트를 작성하거나, 한 번에 a 부터 z 까지 모두 처리하려고 하거나, 더 분포 외적인 작업을 한다면 Fable 이 훨씬 더 뛰어납니다.
단점
- Fable 이 아닙니다. 이 리뷰의 대부분이 사실 이 내용입니다.
- 디자인은 여전히 Fable 에 비할 바가 못 됩니다. Opus 4.8 에도 미치지 못합니다.
- 야심 찬 창의적인 작업은 Fable 보다 훨씬 더 많은 감독이 필요하며, 많은 감독을 하더라도 Fable 이 한 번에 할 수 있는 수준에 도달하지 못합니다. 이전 모델보다는 덜하지만, 그 격차는 분명히 존재합니다.
- 너무 민감하게 반응할 수 있습니다. 한 번은 사양서를 작성해 달라고 했더니 제 컴퓨터에서 관련성 없는 파일들을 찾아내서 편집하기 시작했는데, 매우 짜증났습니다.
- 작업이 단순한 엔지니어링 업무라면, 업그레이드된 체감을 느끼지 못할 수도 있습니다. 이전 세대도 대부분의 작업에 충분히 훌륭했습니다. 더 어려운 작업을 요구하거나 한 번에 더 많은 것을 요청할수록 업그레이드된 효과를 더 체감하게 될 것입니다.
이것은 제가 작성한 리뷰 중 가장 이상합니다. 테스트 도중에 이 모델에 대한 제 의견이 완전히 바뀌었고, 그 원인은 모델 자체와는 전혀 관련이 없기 때문입니다.
저는 5월 27일에 GPT-5.6 에 접근 권한을 받았습니다. 약 2주 동안 저는 완전히 감탄했습니다. 아침, 점심, 저녁으로 실행했습니다. 한때는 너무 많은 Goal 모드 실행을 병렬로 돌려서 17일 만에 OpenAI 최고 사용자의 월간 토큰의 3배를 한 대의 기기에서 사용했습니다. 모델이 만들 수 있다고 생각하지 못했던 것들을 만들고 있었고, 거의 키보드를 두드리지 않았습니다.
그런데 Fable 이 출시되었고, 저는 접근 권한을 받은 후 거의 즉시 GPT-5.6 사용을 중단했습니다.
제 입장을 이해하셔야 합니다. 제 이전 리뷰를 읽어보셨다면, 제가 보통 GPT 쪽이라는 것을 아실 겁니다. 저는 프론트엔드나 UX 작업을 많이 하지 않습니다. 주로 백엔드, 시스템, 그리고 에이전트 작업을 하며, GPT 모델은 역사적으로 그쪽에서 더 나은 성능을 보였습니다. 요청한 변경 사항만 정확히 수행하고 다른 일은 하지 않는 경향이 있습니다. 따라서 제가 사랑하던 GPT 모델을 포기하게 만든 Claude 모델이 있다고 말씀드리면, 이는 제 성향과는 반대되는 일임을 이해해 주시기 바랍니다.
두 가지 측면을 설명하겠습니다: GPT-5.6 이 왜 저를 감탄하게 했는지, 그리고 왜 지금은 거의 사용하지 않는지.
Goal 모드는 순수한 마법입니다
Goal 모드는 설명하기 간단합니다. Codex CLI 또는 앱에서 /goal 을 입력하고 명확한 완료 기준과 함께 목표를 제시하면, 목표가 완료될 때까지 모델이 멈추지 않습니다. 실행이 끝나면 Goal 모드는 목표가 실제로 달성되었는지 확인합니다. 달성되지 않았다면 새 실행을 시작하고 계속합니다. 필요한 경우 며칠 동안 반복합니다.
제 Fable 프롬프팅 가이드를 읽으셨다면, 그 안의 모든 내용이 여기에 직접 적용됩니다. 왜냐하면 저는 그 기술들 중 상당수를 먼저 GPT-5.6 에서 개발했기 때문입니다. "완료"를 형용사가 아닌 테스트로 만드세요. 절대 끝내지 마세요. 빌더와 평가자를 별도의 에이전트로 만드세요. 휴대폰에서 확인할 수 있는 진행 상황 페이지를 유지하세요. GPT-5.6 은 이 모든 것에 반응합니다.
Goal 모드에만 해당되는 두 가지 팁:
- Goal 은 4,000 자로 제한됩니다. 제한과 싸우지 말고 내용을 억지로 채우지 마세요... 대신 실제 목표를 마크다운 파일로 작성하고 Goal 자체는 한 줄로 만드세요: "goal.md 의 목표와 완료 기준을 완료하십시오. 이 파일을 실행 전체에 걸쳐 지속적인 진실의 원천으로 취급하십시오." 추가로, 실행이 진행되는 동안 파일을 편집할 수 있습니다.
- 그 목표 파일을 작성하는 데 많은 시간을 투자하세요. 모델의 도움을 받아 작성하세요. 목표 파일은 일반적으로 관리자가 수행하는 역할을 하고 있으며, 파일에 남겨진 모든 모호함은 모델이 당신 없이 결정을 내리게 됩니다.
맨해튼을 만들었습니다
이것이 어떤 모습인지 보여주는 가장 좋은 방법은 그것이 만든 결과물입니다.
저는 본질적으로 다음과 같은 목표 파일을 제공했습니다: 실제 뉴욕시 지하철 시스템을 포함하여, 실제 도시처럼 보이고, 소리나고, 작동하는 탐험 가능한 3D 복셀 재현 맨해튼을 만드세요. 제가 목표에 명시한 기준은 간단했습니다: 뉴욕을 아는 사람이 자신이 어디에 있는지 알 수 있어야 합니다.
며칠 후, 저는 이 결과물을 얻었습니다.
GPT-5.6 이 만든 맨해튼 항공 뷰
이것이 실제 섬입니다. 스카이라인이 일치합니다. 건물 모양이 일치합니다. 지리와 지형이 일치합니다. 실제 도시 데이터를 가져와서 만들었기 때문에 엠파이어 스테이트 빌딩은 실제 위치인 북위 40.7485°, 서경 73.9868° 에 있습니다.
정확한 엠파이어 스테이트 빌딩
그리고 지하철도 작동합니다. "지하철 텍스처가 있다"는 수준이 아닙니다. 실제 거리를 걸어 내려가 실제 위치에 있는 역 입구를 찾고, 지하로 내려가 올바른 노선의 열차에 탑승하고, 터널을 통과해 이동하고, 실제로 환승하는 곳에서 환승한 후, 도시의 다른 곳에 있는 실제 출구로 나옵니다. 실제 맨해튼의 실제 지하철 시간표까지 일치시키는 방법을 찾아내서, 디지털 열차가 실제 열차와 동기화되었습니다.
그랜드 센트럴-42번가에서 탑승
제가 시킨 파괴 게임도 마찬가지였습니다. 목표: 실제 복셀과 실제 구조 물리학을 갖춘, Teardown 에 버금가는 1인칭 복셀 파괴 게임. 건물 기초를 날려버리면 그 위의 모든 것이 자체 무게로 무너집니다. 그 실행은 5일 동안, 70회 이상의 반복을 거쳤습니다.
Redline Demolition, GPT-5.6 이 만든 복셀 파괴 게임
그 실행들에서 제게 남은 두 가지가 있습니다. 첫째, 스스로를 정직하게 평가했습니다. 맨해튼 실행 초기에, 자체 진행 일지는 초안을 진행으로 인정하기를 거부했습니다: "눈에 띄게 맨해튼이 아니며 도시 이정표로 인정되지 않습니다." 목표 파일이 허용하지 않았기 때문에 며칠 동안 승리를 선언하지 않았습니다. 둘째, 제가 요청한 적이 없는 방식으로 평가를 진지하게 받아들였습니다. 수백 개의 적대적 리뷰어 하위 에이전트를 생성하여 해결해야 할 수많은 작은 문제들을 찾아냈습니다.
한 실행은 심지어 목표 도중에 제 Mac 의 디스크를 가득 채우고, 안전하게 삭제할 수 있는 캐시를 정리한 다음, 클라우드 샌드박스 CLI 를 설치하고 그곳으로 이동하여 계속 작업했습니다. 동시에 인상적이면서도 약간 놀라운 일이었는데, 이것이 이 모델에 대한 공정한 요약입니다.
네, 맞습니다: 2주 동안 저는 이것이 미래라고 생각했습니다.
그런데 Fable 이 출시되었습니다
그런 다음 Fable 을 사용하게 되었고, 비교는 가까울 수 없었습니다.
공정하게 평가하기 위해 다시 돌아가서 GPT-5.6 프로젝트 중 일부를 다시 실행해 보았습니다. 가장 명확한 테스트는 프로그래밍 방식의 3D 및 비디오 작업이었는데, 이는 제가 게시해 온 세계들의 기반이 되는 것과 동일한 유형의 작업이었습니다. GPT-5.6 의 출력은 이전의 어떤 GPT 모델보다 뛰어났습니다. 하지만 Fable 에는 훨씬 못 미쳤습니다. 결과물은 눈에 띄게 더 나빠 보였고, 아무리 반복해도 격차가 좁혀지지 않았습니다.
이것이 제 모델 평가의 새로운 기준이 되었습니다. 물리적으로 정확한 복셀 엔진을 처음부터 만들게 하고 얼마나 멀리 갈 수 있는지 확인하는 것입니다. 의존할 라이브러리도 없고 속일 방법도 없기 때문에 매우 가혹한 테스트입니다. GPT-5.6 의 엔진은 Fable 의 기준에 훨씬 못 미쳤습니다.
더 큰 차이점은 감독의 필요성입니다. Fable 을 사용하면 원하는 것을 말하면 완료됩니다. GPT-5.6 을 사용하면 많은 것이 완료되지만, 야심 찬 작업은 방향 제시가 필요합니다. 경로를 수정하고, 기준을 다시 설명하고, 덜 보수적으로 행동하도록 밀어붙여야 합니다. 이것은 지난 세대 모델에 필요했던 것보다 훨씬 적은 감독입니다. 하지만 Fable 에 필요한 것보다는 훨씬 많습니다. Fable 은 거의 필요하지 않습니다.
신뢰는 또 다른 측면입니다. 적절한 가드레일과 설정이 있다면 저는 더 이상 Fable 의 코드를 확인하지 않습니다. 신뢰할 수 있다는 것을 알고 있습니다. 저는 여전히 5.6 의 코드를 꽤 자주 확인합니다.
GPT-5.6 으로 만든 것들 중 일부는 다시 테스트해 볼 생각조차 하지 않았습니다. Fable 을 몇 주 사용하고 나니 기준 이하로 느껴졌기 때문입니다.
큰 모델의 느낌
제가 보기에는 그 이유가 이렇습니다.
Fable 에서는 큰 모델의 느낌이 납니다. 당신이 거대한 무언가와 대화하고 있다는 것을 알 수 있습니다. 일반화를 잘합니다. 이상한 곳으로 밀어 넣어도 그곳에서 여전히 똑똑합니다.
GPT-5.6 은 더 작은 모델처럼 느껴집니다. 여전히 크지만, 더 작으며, 그 위에 엄청난 양의 강화 학습이 적용되어 있습니다. 그리고 RL 은 정확히 예상되는 결과를 제공합니다: 모델은 훈련된 작업 형태에 매우 뛰어나며, 벤치마크는 가장 많이 훈련된 형태입니다. 그래서 점수가 비슷해 보이는 것입니다. 그런 다음 포장된 길에서 한 걸음 벗어나 처음부터 복셀 엔진이나 3D 렌더를 만들면 차이가 즉시 나타납니다.
이것은 GPT-5.6 을 벤치마크가 암시하는 것보다 더 표적화된 도구로 만듭니다.
저는 진심으로 OpenAI 가 진정으로 큰 모델을 훈련시키길 바랍니다. Fable 크기의 모델에 그들의 RL 을 적용하면 절대적으로 놀라울 것이기 때문입니다. 그런 모델은 아직 존재하지 않습니다 (우리가 아는 한... 곧 출시될 가능성이 높습니다).
GPT-5.6 이 여전히 승리하는 부분
모든 것이 한 방향으로만 흐르는 것은 아니며, 예외는 중요하게 기록할 가치가 있습니다.
보안. GPT-5.6 은 Fable 보다 사이버 보안 작업을 더 기꺼이 수행합니다. Fable 은 위험한 패턴과 일치하는 작업을 거부할 수 있습니다. 그리고 실제로 이 작업에 뛰어납니다. 제 실제 워크플로우는 이렇습니다: Fable 이 코드를 작성하고, GPT-5.6 이 감사합니다. Codex exec 가 헤드리스로 실행되므로, 모든 커밋을 감사하거나 모든 Fable 실행이 끝난 후에 실행되는 훅에 연결할 수 있습니다.
한도. OpenAI 의 한도는 Anthropic 보다 훨씬 넉넉합니다. 이것은 항상 사실이었고 여전히 사실입니다. Fable 토큰을 아껴야 한다면, GPT-5.6 은 훌륭한 두 번째 옵션입니다 (또는 Fable 이 계획을 세우는 동안 실행에 사용할 수 있습니다).
인터페이스. Codex 앱은 여전히 에이전트를 실행하고 방향을 제시하는 최고의 방법이며, 특히 휴대폰에서 그렇습니다. 한 번 페어링하면 어디서든 작업을 보내고, diff 를 검토하고, Goal 실행을 계속할 수 있습니다. 예전만큼 자주 사용하지는 않습니다. Fable 로 이 작업을 수행하는 제 자신만의 방법을 찾았기 때문입니다: workbench.md 의 문서에서 작업하게 하고, 휴대폰의 문서에 있는 채팅 컴포넌트에서 업데이트를 읽고 방향을 제시합니다. 하지만 제품으로서 OpenAI 의 팀은 여전히 앞서 있으며, 격차는 가깝지 않습니다.
언제 무엇을 사용할지
- Fable 을 사용할 수 있다면: 거의 모든 것에 Fable 을 사용하세요. 보안 감사, 중요한 변경 사항에 대한 제2의 의견, 비용을 절약하고 싶을 때 Fable 의 계획을 실행하는 구현자로서 GPT-5.6 을 사용하세요.
- 사용할 수 없다면: 망설임 없이 GPT-5.6 을 사용하세요. 다른 어떤 회사에서 만든 최고의 모델이며, Goal 모드에서 실행하는 것이 오늘날 가질 수 있는 최고의 에이전트 설정이고, 이 리뷰에서 미지근하게 들리는 모든 것은 Fable 과 비교해서만 미지근한 것입니다.
최종 생각
Fable 이 존재하지 않았다면, 이것은 제가 쓴 가장 찬사에 가까운 리뷰였을 것입니다. 목표 파일에 맞춰 며칠 동안 실행되고, 자신의 작업을 적대적으로 평가하며, 작동하는 복셀 기반 맨해튼을 배송하는 모델은 작은 일이 아닙니다. 6개월 전만 해도 공상 과학이었을 것입니다.
하지만 Fable 은 존재합니다. 그리고 GPT-5.6 에 대한 정직한 요약은, 2위가 이렇게 훌륭했던 적은 없었지만, 이것이 이렇게 중요하지 않았던 적도 없었다는 것입니다. 최전선은 은메달에 가치가 있는 순위표가 아닙니다. 한 모델이 다른 모델이 할 수 없는 것을 할 수 있다면, 그 모델을 사용합니다. 그리고 현재 격차는 제가 며칠 만에 전체 워크플로우를 재구성할 정도로 넓습니다.
GPT-5.6 은 놀라운 모델입니다. OpenAI 의 다음 모델이 제가 다시 돌아가게 만들기를 바랍니다. 그들은 전에도 그렇게 한 적이 있습니다.
이 글이 유용했다면, AI 모델에 대한 제 생각과 이를 최대한 활용하는 방법에 대한 더 많은 내용을 X 에서 저를 팔로우 해주세요.
원본 리뷰는 여기에서 읽으실 수 있습니다: https://shumer.dev/gpt56review.html
