Minha análise do GPT-5.6: O segundo lugar nunca foi tão bom

TL;DR

• Estou testando o GPT-5.6 desde 27 de maio. Nas primeiras duas semanas, foi o modelo mais impressionante que já usei. O modo Goal combinado com este modelo é pura magia. Ele construiu uma simulação voxel de Manhattan com metrô funcionando e um jogo de destruição no estilo Teardown, praticamente sozinho, em execuções que duraram dias.

• Então o Claude Fable foi lançado, e eu parei de usar o GPT-5.6 quase da noite para o dia, porque o Fable é muito melhor para as minhas tarefas.

• Nos benchmarks, os dois parecem próximos. No mundo real, não são. O Fable tem cheiro de modelo grande. O GPT-5.6 parece um modelo menor que foi extremamente bem treinado com RL, e essa diferença aparece assim que você sai do trabalho de codificação normal. Aparece também na confiança: com as proteções e configurações certas, não preciso verificar o código do Fable. Ainda preciso verificar o do 5.6.

• Com o GPT-5.6, para fazer trabalhos ambiciosos, você ainda precisa direcioná-lo, enquanto com o Fable, você descreve o destino final uma vez, e ele geralmente chega lá de forma autônoma.

• O GPT-5.6 ainda supera o Fable em alguns pontos importantes: limites, a interface e a disposição para fazer trabalho de segurança. Agora é meu auditor de segurança e meu segundo par de olhos, não meu modelo principal.

• Tirando o Fable, o GPT-5.6 é o melhor modelo que você pode usar. E executá-lo no modo Goal é a melhor configuração de agente que a OpenAI já lançou.

Os Pontos Positivos

• Modo Goal. Digite /goal e o modelo não para até que o objetivo seja realmente concluído. Esta é a coisa mais próxima que a OpenAI chegou de como eu realmente quero trabalhar.

• É obcecado e pode funcionar por dias para concluir uma tarefa. Minhas execuções de Goal mais longas duraram quase uma semana em um único objetivo, praticamente sem supervisão.

• Exige muito menos orientação do que qualquer modelo GPT anterior. Ele toma decisões razoáveis em situações ambíguas e continua avançando. Voltar para o GPT-5.5 depois de testar o 5.6 pareceu um grande retrocesso nesse aspecto.

• Trabalho de segurança é genuinamente forte, e ele está muito mais disposto a fazê-lo do que o Fable.

• Design é muito melhor do que os modelos GPT anteriores.

• Os limites são muito mais generosos que os da Anthropic, como sempre.

• O aplicativo Codex continua sendo a melhor interface para executar agentes, especialmente do celular.

• Se você usar o 5.6 da mesma forma que usava os modelos anteriores para codificação, vai gostar deste modelo. O Fable é mais caro e mais lento para o mesmo trabalho. Mas se você está fazendo prompts mais ambiciosos, tentando ir de a a z de uma vez, ou trabalhando em tarefas fora da distribuição, o Fable é dramaticamente melhor.

Os Pontos Nem Tão Positivos

• Não é o Fable. Essa é a maior parte desta análise, para ser honesto.

• O design ainda não chega aos pés do Fable. Não chega nem aos pés do Opus 4.8.

• Trabalho criativo ambicioso exige muito mais orientação do que o Fable, e mesmo com muita orientação, não consegue alcançar o que o Fable faz em uma única tentativa. Menos que os modelos antigos, mas a diferença é real.

• Pode ser exagerado. Uma vez pedi para ele escrever uma especificação, e ele foi e encontrou alguns arquivos vagamente relevantes no meu computador e começou a editá-los, o que foi irritante.

• Se o seu trabalho são tarefas simples de engenharia, talvez você sinta dificuldade em perceber a melhoria às vezes. A geração anterior já era boa o suficiente para a maior parte disso. Conforme você desafia o modelo com tarefas mais difíceis, ou pede para ele fazer mais de uma vez, você sentirá mais a melhoria.

Esta é a análise mais estranha que já escrevi, porque minha opinião sobre este modelo mudou completamente no meio do teste, e o modelo não teve nada a ver com isso.

Tive acesso ao GPT-5.6 em 27 de maio. Por cerca de duas semanas, fiquei completamente impressionado. Usei de manhã, de tarde e de noite. Em um ponto, eu tinha tantas execuções do modo Goal em paralelo que usei 3x os tokens mensais do usuário mais ativo da OpenAI em 17 dias, em uma única máquina. Estava construindo coisas que não achava que modelos conseguissem construir, e mal estava digitando.

Então o Fable foi lançado, tive acesso, e parei de usar o GPT-5.6 quase imediatamente.

Você precisa saber de onde estou falando. Se você leu minhas análises anteriores, sabe que geralmente sou uma pessoa do GPT. Não trabalho muito com frontend ou UX. Faço principalmente backend, sistemas e trabalho com agentes, e os modelos GPT historicamente foram melhores para mim nisso. Eles tendem a acertar a mudança que pedi e nada mais. Então, quando digo que um modelo Claude me fez abandonar um modelo GPT que eu amava, entenda que isso é fora do padrão.

Deixe-me explicar ambas as partes: por que o GPT-5.6 me impressionou e por que mal o uso agora.

Modo Goal É Pura Magia

O modo Goal é simples de descrever. Você digita /goal no Codex CLI ou no aplicativo, dá um objetivo com critérios de conclusão claros, e o modelo não para até que o objetivo seja concluído. Quando uma execução termina, o modo Goal verifica se o objetivo foi realmente alcançado. Se não foi, inicia uma nova execução e continua. Repetindo. Por dias, se necessário.

Se você leu meu guia de prompts do Fable, tudo o que está nele se aplica diretamente aqui, porque desenvolvi muitas dessas técnicas primeiro no GPT-5.6. Faça com que "concluído" seja um teste, não um adjetivo. Nunca deixe terminar. Faça com que construtores e avaliadores sejam agentes separados. Peça para manter uma página de progresso que você possa verificar do celular. O GPT-5.6 responde a tudo isso.

Dois truques específicos para o modo Goal:

1. Os objetivos têm limite de 4.000 caracteres. Não lute contra o limite e tente enfiar tudo... em vez disso, escreva o objetivo real como um arquivo markdown e faça com que o objetivo em si seja uma linha: "Complete o objetivo e os critérios de conclusão em goal.md. Trate este arquivo como a fonte de verdade duradoura durante toda a execução." Como bônus, você pode editar o arquivo enquanto a execução está acontecendo.

1. Passe muito tempo nesse arquivo de objetivo. Peça ajuda a um modelo para escrevê-lo. O arquivo de objetivo está fazendo o trabalho que um gerente faria normalmente, e cada ambiguidade que você deixar nele é uma decisão que o modelo tomará sem você.

Ele Construiu Manhattan

A melhor maneira de mostrar como isso funciona é o que ele construiu.

Dei a ele um arquivo de objetivo que dizia, em essência: construa uma recriação voxel 3D explorável de Manhattan que pareça, soe e funcione como a cidade real, incluindo o sistema de metrô real da cidade de Nova York. O padrão que escrevi no objetivo era simples: alguém que conhece Nova York deve ser capaz de dizer onde está.

Dias depois, eu tinha isso.

Vista aérea de Manhattan construída pelo GPT-5.6

Essa é a ilha real. O horizonte corresponde. As formas dos edifícios correspondem. A geografia e a topografia correspondem. Ele usou dados reais da cidade para fazer isso, então o Empire State Building está em 40.7485° N, 73.9868° W, onde deveria estar.

Empire State Building preciso

E o metrô funciona. Não é "há uma textura de metrô." Você anda por uma rua real, encontra uma entrada de estação em sua localização real, desce, entra em um trem na linha correta, anda pelos túneis, faz baldeação onde você realmente faria, e sai por uma saída real em algum outro lugar da cidade. Ele até encontrou uma maneira de corresponder aos horários reais do metrô de Manhattan, então os trens digitais estavam sincronizados com os reais.

Embarque na Grand Central-42 St

O jogo de destruição que pedi para ele fazer foi a mesma história. O objetivo: um jogo de destruição voxel em primeira pessoa que se compara ao Teardown, com voxels reais e física estrutural real. Exploda a base de um edifício e tudo acima desmorona sob seu próprio peso. Essa execução durou cinco dias e mais de setenta iterações.

Redline Demolition, o jogo de destruição voxel que o GPT-5.6 construiu

Assista ao gameplay

Duas coisas dessas execuções ficaram comigo. Primeiro, ele se avaliou honestamente. No início da execução de Manhattan, seu próprio diário de progresso se recusou a contar o rascunho como progresso: "visivelmente não é Manhattan e não é aceito como um marco da cidade." Ele não declarou vitória por dias, porque o arquivo de objetivo não permitia. Segundo, ele levou a avaliação a sério de maneiras que nunca pedi. Ele criou centenas de subagentes revisores adversariais e encontrou toneladas de pequenos problemas para resolver.

Uma execução até encheu o disco do meu Mac no meio do objetivo, limpou os caches que ele pôde verificar que eram seguros para excluir, depois instalou um CLI de sandbox na nuvem e se moveu para lá para continuar trabalhando. Impressionante e ligeiramente alarmante ao mesmo tempo, o que é um resumo justo deste modelo.

Então sim: por duas semanas, pensei que este era o futuro.

Então o Fable Apareceu

Então tive acesso ao Fable, e a comparação não foi nem de perto.

Voltei e reexecutei alguns dos meus projetos do GPT-5.6 para ser justo. O teste mais claro foi o trabalho programático em 3D e vídeo, o mesmo tipo de coisa por trás dos mundos que venho postando. A saída do GPT-5.6 foi melhor do que qualquer modelo GPT anterior. Também não chegou nem perto do Fable. Os resultados simplesmente pareciam dramaticamente piores, e nenhuma quantidade de iteração fechou a lacuna.

Isso se tornou meu novo benchmark para modelos, a propósito: peça para construir um motor voxel com física precisa do zero e veja até onde ele consegue ir. É um teste brutal porque não há biblioteca para usar e nenhuma maneira de fingir. Os motores do GPT-5.6 ficaram muito, muito abaixo do padrão do Fable.

A diferença mais profunda é a orientação. Com o Fable, você diz o que quer e pronto. Com o GPT-5.6, muita coisa é feita, mas as coisas ambiciosas precisam de direção. Você está corrigindo o curso, reexplicando o padrão, empurrando-o para ser menos conservador. Isso ainda é muito menos supervisão do que os modelos da geração anterior precisavam. É muito mais do que o Fable precisa, que é aproximadamente nenhuma.

Confiança é a outra metade disso. Com as proteções e configurações certas, não verifico mais o código do Fable. Sei que posso confiar nele. Ainda verifico o do 5.6, com bastante frequência.

Algumas das coisas que construí no GPT-5.6 nunca me preocupei em testar novamente, porque depois de algumas semanas com o Fable, elas pareciam abaixo do padrão.

Cheiro de Modelo Grande

Aqui está minha leitura honesta do porquê.

O Fable tem cheiro de modelo grande. Você simplesmente percebe que está falando com algo enorme. Ele generaliza. Você o leva para algum lugar estranho e ele ainda é inteligente lá.

O GPT-5.6 parece um modelo menor. Ainda grande, mas menor, com uma quantidade incrível de aprendizado por reforço por cima. E o RL te dá exatamente o que você espera: o modelo é extremamente bom nos tipos de trabalho em que foi treinado, e os benchmarks são o tipo mais treinado de todos. É por isso que as pontuações parecem próximas. Então você dá um passo fora da estrada pavimentada, em um motor voxel do zero ou um render 3D, e a diferença é imediata.

Isso torna o GPT-5.6 uma ferramenta mais direcionada do que os benchmarks sugerem.

Espero genuinamente que a OpenAI treine um modelo verdadeiramente grande, porque o RL deles em cima de algo do tamanho do Fable seria absolutamente incrível. Esse modelo simplesmente ainda não existe (até onde sabemos... provavelmente existirá em breve).

Onde o GPT-5.6 Ainda Ganha

Não é tudo unilateral, e as exceções são importantes de notar.

Segurança. O GPT-5.6 está mais disposto a fazer trabalho de cibersegurança do que o Fable, que pode recusar tarefas que se assemelham a algo perigoso. E é genuinamente bom nisso. Meu fluxo de trabalho real agora: o Fable escreve o código, e o GPT-5.6 o audita. Como a execução do Codex é headless, você pode conectar isso a um hook que audita todo commit, ou dispara após cada execução do Fable terminar.

Limites. Os limites da OpenAI são muito mais generosos que os da Anthropic. Isso sempre foi verdade e ainda é. Se você está racionando tokens do Fable, o GPT-5.6 é uma ótima segunda opção (ou você pode usá-lo para executar enquanto o Fable planeja).

A interface. O aplicativo Codex continua sendo a melhor maneira de executar e direcionar agentes, especialmente de um celular. Conecte uma vez e você pode despachar trabalho, revisar diffs e manter execuções de Goal em andamento de qualquer lugar. Uso menos do que costumava, porque encontrei minha própria maneira de fazer isso com o Fable: peço para ele trabalhar em um documento no workbench.md, e posso ler suas atualizações e direcioná-lo diretamente de um componente de chat no documento do meu celular. Mas como produto, a equipe da OpenAI continua à frente, e não é nem de perto.

Quando Usar o Quê

• Se você pode usar o Fable: Fable para praticamente tudo. GPT-5.6 para auditorias de segurança, como um segundo par de olhos em mudanças importantes, e como implementador executando os planos do Fable quando você quiser economizar custos.

• Se você não pode: GPT-5.6, sem hesitação. É o melhor modelo que qualquer outra pessoa faz, executá-lo no modo Goal é a melhor configuração de agente que você pode ter hoje, e tudo nesta análise que parece morno é apenas morno em relação ao Fable.

Considerações Finais

Se o Fable não existisse, esta seria a análise mais elogiosa que já escrevi. Um modelo que pode funcionar por dias contra um arquivo de objetivo, julgar seu próprio trabalho de forma adversarial e entregar uma Manhattan voxel funcional não é pouca coisa. Seis meses atrás, teria sido ficção científica.

Mas o Fable existe. E o resumo honesto do GPT-5.6 é que o segundo lugar nunca foi tão bom, e nunca importou tão pouco. A fronteira não é um ranking onde a prata vale alguma coisa. Se um modelo pode fazer o que o outro não pode, você usa esse modelo, e a lacuna agora é grande o suficiente para que eu reorganizasse todo meu fluxo de trabalho em torno disso em dias.

O GPT-5.6 é um modelo incrível. Espero que o próximo da OpenAI me faça voltar. Eles já fizeram isso comigo antes.

Se você achou isso útil, siga-me no X para mais reflexões sobre modelos de IA e como aproveitá-los ao máximo.

Leia minha análise original aqui: https://shumer.dev/gpt56review.html