GPT-5.6 Sol을 [Design Arena의 웹 디자인 (비에이전시) 아레나](https://www.designarena.ai/leaderboard/code)에서 벤치마킹한 결과, 전체 1위를 차지한 사실에 놀랐습니다. 이는 이전 모델인 GPT-5.5보다 18계단 높은 순위이며, OpenAI 모델이 이 리더보드에서 처음으로 1위를 차지한 사례입니다.
더 자세히 분석하여 GPT-5.6 Sol의 배포를 세분화하고, 이 모델이 어떤 프론트엔드 코딩 작업에서 뛰어난 성능을 보이는지 추적했습니다.
- GPT-5.6 Sol은 일반적인 AI 디자인 안티패턴을 인식하고 적극적으로 억제하는 것으로 보입니다. UMAP을 사용하여 GPT-5.6이 생성한 1,000개의 웹사이트에 대한 CLIP 임베딩을 투영하여 모델의 디자인 다양성을 시각화했습니다. 놀랍게도, GPT-5.5가 보라색 그라데이션, 벤토 박스 레이아웃, 과도하게 큰 히어로 텍스트, 오프셋 구성을 생성하는 곳에 GPT-5.6의 디자인 공간에는 명확한 공백이 존재했습니다. 이는 GPT-5.6이 이러한 AI 안티패턴을 학습했지만, 선택적으로 생성을 회피함을 시사합니다.
- 강력한 템플릿과 비정상적으로 높은 개인화를 결합합니다. GPT-5.6 Sol은 검증된 디자인 구조에서 시작하지만 각 프롬프트에 맞게 이를 상당히 조정하여, 템플릿에 크게 의존하거나 완전히 제약이 없는 모델보다 일관성과 다양성 사이에서 더 나은 균형을 유지합니다.
GPT 5.6 Sol은 선호도 대 속도, 선호도 대 가격 모두에서 두 개의 새로운 파레토 최적 경계선을 구축합니다. 이전 1위였던 GLM 5.2보다 2.44배 이상 빠르며, Claude Fable 5보다 36% 빠릅니다. 또한 가격은 토큰 100만 개당 $5/$30으로, Claude Fable 5의 토큰 100만 개당 $10/$50과 비교됩니다.
그렇다면 GPT-5.6 Sol의 웹사이트 출력물에서 무엇이 바뀌었을까요?
GPT-5.6 Sol의 디자인 감각은 획일적인 미학으로 이어지는 AI 안티패턴을 피하도록 세심하게 큐레이팅되었음을 발견했습니다. 이러한 디자인 특화와 템플릿에 대한 독특한 접근 방식 덕분에 GPT-5.6 Sol은 당사의 단일 턴 리더보드에서 1위를 차지했습니다.
모델 행동 #1: AI 안티패턴의 명시적 회피
3개월 전 GPT-5.5 리뷰에서 우리는 GPT-5.5가 일관되게 생성하는 "디자인 냄새" 세트를 식별했습니다. 이러한 디자인 냄새에는 히어로 이미지 대신 큰 활자체, 비정상적인 레이아웃 결정, 과도하게 사용된 보라색 그라데이션이 포함됩니다. 이러한 디자인 냄새의 대부분이 GPT-5.6 Sol에서 완전히 사라졌다는 점을 기쁘게 알려드립니다.
패자를 나타내는 고전적인 AI 디자인 "냄새" #1: 보라색 및 파란색 그라데이션
패자를 나타내는 고전적인 AI 디자인 "냄새" #2: 격자 배경
GPT-5.6 Sol이 안티패턴 문제를 해결한 유일한 모델은 아니지만, 주목할 만한 독특한 접근 방식을 취합니다. UMAP을 사용하여 GPT-5.6이 생성한 1,000개의 웹사이트에 대한 CLIP 임베딩을 투영하여 모델의 디자인 다양성을 시각화했습니다. 즉, 더 큰 CLIP 임베딩 공간 중 모델 생성물이 차지하는 영역입니다. 그 시각화 결과는 아래와 같습니다.
결과 부분 공간에서 이상한 구멍들을 발견하고 충격을 받았습니다.
이러한 구멍은 아래 GPT-5.5 시각화에서와 같이 다른 모델에서는 존재하지 않습니다. 대부분의 모델은 이전에 생성된 다른 디자인과 유사한 웹 디자인을 생성하며, 차이는 오직 프롬프트 자체에서 비롯되기 때문입니다. UMAP 투영은 이론상 (적절한 투영 매개변수를 가정할 때) 다양체의 구멍을 보존하므로, 한 모델의 디자인 공간에서는 구멍이 발견되지만 다른 모델의 공간에서는 발견되지 않는다는 것은 GPT-5.6 Sol이 해당 구멍 내에 생성하지 않는 디자인 클러스터를 가지고 있을 수 있음을 나타냅니다.
이 구멍 안에 어떤 디자인이 있는지 알아내기 위해, 동일한 임베딩 공간 내에서 GPT-5.6 Sol과 GPT-5.5의 웹사이트를 겹쳐 놓고 이전과 동일한 UMAP 투영을 수행했습니다. 그런 다음 모든 GPT-5.6 Sol 생성물을 주황색으로 채색하고, 이를 GPT-5.5 생성물 위에 쌓았습니다. 주황색이 없는 영역은 GPT-5.5에 특화된 패턴이고, 주황색이 있는 영역은 GPT-5.6 Sol에 특화된 패턴입니다.
스크린샷을 제거하고 GPT-5.5 및 GPT-5.6 Sol 특정 생성물을 각각 파란색과 주황색 점으로 대체하면 더욱 명확해집니다. 아래 시각화에서 GPT-5.5와 GPT-5.6 Sol이 대부분 유사한 웹사이트를 생성하지만, GPT-5.6 Sol이 GPT-5.5보다 약간 더 큰 분산을 보이는 것을 확인할 수 있습니다.
그러나 GPT-5.5와 GPT-5.6 Sol이 전혀 겹치지 않는 주요 클러스터가 하나 있습니다: 바로 보라색 그라데이션이 있는 웹사이트 클러스터입니다.
GPT-5.6 Sol은 GPT-5.5와 대체로 유사한 디자인을 생성하지만, 많은 일반적인 AI 안티패턴을 피하려는 명확한 노력이 있습니다. 벤토 박스 레이아웃, 히어로 이미지의 큰 활자체, 오프셋 레이아웃과 같은 다른 안티패턴에서도 동일한 효과를 관찰할 수 있습니다.
이 접근 방식은 다른 모델과 확연히 다릅니다. 예를 들어, GLM-5.2는 큰 활자체와 같은 안티패턴을 포함하지 않는 템플릿 세트를 학습하여 이를 회피합니다. 이는 생성된 공간에 구멍을 만들지 않으면서 안티패턴을 회피합니다. GLM-5.2는 단순히 안티패턴이 있는 디자인 생성을 완전히 피하기 때문입니다.
GLM-5.2는 디자인 안티패턴 자체를 아예 학습하지 않은(따라서 생성하지 않는) 반면, GPT-5.6 Sol은 특정 디자인 안티패턴이 존재한다는 것을 학습했지만 이를 생성하기를 거부하는 것으로 보입니다.
일반적인 안티패턴을 회피함에도 불구하고, 이 접근 방식이 모든 안티패턴에 일반화되지는 않습니다. 예를 들어, GPT-5.6 Sol은 컨페티를 지속적으로 과도하게 사용하며, 이는 생성물의 26.5% 이상에서 나타납니다. 심지어 제공된 컨페티 라이브러리가 없을 때 직접 자체 컨페티 라이브러리를 구현하기까지 합니다.
또한 이 모델은 현실적인 차트 생성을 위해 chart.js를 활용하는 데 뛰어나지 않기 때문에 차트 및 데이터 시각화 생성 성능이 낮습니다.
모델 행동 #2: 맞춤형 템플릿이 일반화와 특화 사이의 균형을 유지합니다.
모델 성능을 측정하는 주요 신호 중 하나는 "템플릿화"입니다. 모델은 아레나에서 좋은 성과를 내는 고성능 템플릿 세트를 학습하여 디자인 취향을 시뮬레이션합니다. 이는 최첨단 모델에게 일반적인 현상이며, GLM 5.2에 대한 이전 분석에서 우리는 이 전략을 통해 GLM 5.2가 리더보드에서 1위를 차지할 수 있었음을 발견했습니다.
이를 거의 템플릿화가 없는 것으로 확인된 Claude Fable 5와 비교해보십시오. Claude Fable 5는 훨씬 더 다양한 디자인 공간을 가지며, 각 출력물을 사용자 요구에 맞게 개인화합니다.
GPT-5.6 Sol은 템플릿을 활용하지만 각 클러스터 내에서 변형을 만들기 위해 훨씬 더 많은 변경을 가함으로써 두 가지 디자인 접근 방식을 결합합니다. 마치 박테리아가 다양한 관련 유전자 계통으로 진화하는 것처럼, 모델은 유사한 디자인 클러스터를 가지고 있으며, 이를 사용자의 프롬프트에 맞게 더욱 개인화합니다. 이는 특히 GPT-5.6 Sol의 이미지 사용에서 두드러집니다. 모델이 다양한 맥락과 사용 사례에 동일한 이미지를 활용하는 경향이 있기 때문입니다.
이러한 개인화는 바로 GPT-5.6 Sol이 Design Arena에서 매우 좋은 성능을 보이는 이유입니다. 모든 사용자가 전문적으로 디자인된 느낌을 주는 동시에 자신의 사용 사례에 맞춤화된 웹사이트를 받기 때문입니다.
모델 선택에 미치는 영향
종합해보면, 이러한 발견은 GPT-5.6 Sol의 우위가 더 선택적이고 더 적응력이 뛰어나기 때문임을 시사합니다. (1) AI가 생성한 웹사이트를 획일적으로 보이게 만드는 시각적 패턴을 학습한 다음 이를 적극적으로 억제하는 동시에, 각 프롬프트에 맞게 사용자 정의할 수 있는 신뢰할 수 있는 디자인 구조 세트를 유지하는 것으로 보입니다. 그리고 (2) 템플릿화된 디자인과 맞춤형 출력물을 결합합니다.
이러한 요소들이 GPT-5.6 Sol이 Design Arena 리더보드에서 선두를 달리게 된 주요 지표 중 일부입니다.
앞으로도 GPT-5.6 Sol의 성능과 다른 모델과의 비교를 계속 모니터링할 예정입니다. OpenAI 팀의 출시를 축하드리며, DesignArena.ai에서 직접 GPT-5.6 Sol을 사용해보세요.
