Minha análise do GPT-5.6: O segundo lugar nunca foi tão bom

Resumo

• Estou testando o GPT-5.6 desde 27 de maio. Nas primeiras duas semanas, foi o modelo mais impressionante que já usei. O modo Goal combinado com este modelo é pura magia. Ele construiu uma simulação voxel de Manhattan com metrô funcional e um jogo de destruição estilo Teardown, praticamente sozinho, ao longo de execuções que duraram dias.

• Então o Claude Fable foi lançado, e eu parei de usar o GPT-5.6 quase da noite para o dia, porque o Fable é muito melhor para as minhas tarefas.

• Nos benchmarks, os dois parecem próximos. No mundo real, não são. O Fable tem cheiro de modelo grande. O GPT-5.6 parece um modelo menor que passou por um RL incrivelmente bem feito, e essa diferença aparece no momento em que você vai além do trabalho de codificação normal. Aparece também na confiança: com as proteções e configurações certas, não preciso verificar o código do Fable. Ainda preciso verificar o do 5.6.

• Com o GPT-5.6, para fazer trabalhos ambiciosos, você ainda precisa guiá-lo, enquanto com o Fable, você descreve o destino final uma vez, e ele geralmente chega lá de forma autônoma.

• O GPT-5.6 ainda supera o Fable em alguns pontos importantes: limites, interface e disposição para fazer trabalhos de segurança. Agora é meu auditor de segurança e meu segundo par de olhos, não meu modelo principal.

• Tirando o Fable, o GPT-5.6 é o melhor modelo que você pode usar. E executá-lo no modo Goal é a melhor configuração de agente que a OpenAI já lançou.

O que é bom

• Modo Goal. Digite /goal e o modelo não para até que o objetivo seja realmente concluído. Esta é a coisa mais próxima que a OpenAI chegou de como eu realmente quero trabalhar.

• É obsessivo e pode funcionar por dias para concluir uma tarefa. Minhas execuções de Goal mais longas duraram quase uma semana em um único objetivo, em grande parte sem supervisão.

• Exige muito menos orientação do que qualquer modelo GPT anterior. Ele toma decisões razoáveis em situações ambíguas e continua avançando. Voltar para o GPT-5.5 depois de experimentar o 5.6 pareceu um enorme retrocesso nesse aspecto.

• Trabalho de segurança é genuinamente forte, e ele está muito mais disposto a fazê-lo do que o Fable.

• O design é muito melhor do que os modelos GPT anteriores.

• Os limites são muito mais generosos do que os da Anthropic, como sempre.

• O aplicativo Codex continua sendo a melhor interface para executar agentes, especialmente do celular.

• Se você usar o 5.6 da mesma forma que usou modelos anteriores para codificação, vai gostar deste modelo. O Fable é mais caro e mais lento para o mesmo trabalho. Mas se você está criando prompts mais ambiciosos, tentando ir de a até z de uma só vez, ou trabalhando em tarefas fora do padrão, o Fable é dramaticamente melhor.

O que não é tão bom

• Não é o Fable. Isso é basicamente toda esta análise, honestamente.

• O design ainda não chega aos pés do Fable. Não chega nem aos pés do Opus 4.8.

• Trabalhos criativos ambiciosos exigem muito mais orientação do que o Fable, e mesmo com muita orientação, não conseguem alcançar o que o Fable faz de uma só vez. Menos que os modelos antigos, mas a diferença é real.

• Ele pode ser muito "atirador". Uma vez pedi para ele escrever uma especificação, e ele foi lá, encontrou alguns arquivos vagamente relevantes no meu computador e começou a editá-los, o que foi irritante.

• Se o seu trabalho são tarefas simples de engenharia, você pode ter dificuldade em sentir a melhora às vezes. A geração anterior já era boa o suficiente para a maior parte disso. Conforme você pressiona o modelo em tarefas mais difíceis, ou pede para ele fazer mais coisas de uma vez, você sentirá mais a melhora.

Esta é a análise mais estranha que já escrevi, porque minha opinião sobre este modelo mudou completamente no meio do teste, e o modelo não teve nada a ver com isso.

Consegui acesso ao GPT-5.6 em 27 de maio. Por cerca de duas semanas, fiquei completamente impressionado. Usei de manhã, de tarde e de noite. Em um ponto, eu tinha tantas execuções do modo Goal em paralelo que usei 3x os tokens mensais do maior usuário da OpenAI em 17 dias, em uma única máquina. Estava construindo coisas que não achava que modelos fossem capazes de construir, e mal estava digitando.

Então o Fable foi lançado, consegui acesso, e parei de usar o GPT-5.6 quase imediatamente.

Você precisa saber de onde estou falando. Se você leu minhas análises anteriores, sabe que geralmente sou uma pessoa do GPT. Não trabalho muito com frontend ou UX. Trabalho principalmente com backend, sistemas e agentes, e os modelos GPT historicamente foram melhores para mim nessas áreas. Eles tendem a acertar a mudança que pedi e nada mais. Então, quando digo que um modelo Claude me fez abandonar um modelo GPT que eu amava, entenda que isso é fora do padrão.

Deixe-me explicar as duas partes: por que o GPT-5.6 me impressionou tanto e por que mal o uso agora.

Modo Goal É Magia Pura

O modo Goal é simples de descrever. Você digita /goal no Codex CLI ou aplicativo, dá um objetivo com critérios de conclusão claros, e o modelo não para até que o objetivo seja alcançado. Quando uma execução termina, o modo Goal verifica se o objetivo foi realmente atingido. Se não foi, ele inicia uma nova execução e continua. Repetindo. Por dias, se necessário.

Se você leu meu guia de prompts do Fable, tudo o que está lá se aplica diretamente aqui, porque desenvolvi muitas dessas técnicas primeiro no GPT-5.6. Torne "pronto" um teste, não um adjetivo. Nunca deixe terminar. Faça construtores e avaliadores serem agentes separados. Peça para manter uma página de progresso que você possa verificar do celular. O GPT-5.6 responde a tudo isso.

Dois truques específicos para o modo Goal:

1. Os objetivos são limitados a 4.000 caracteres. Não lute contra o limite tentando enfiar tudo... em vez disso, escreva o objetivo real como um arquivo markdown e faça o próprio objetivo ter uma linha: "Complete o objetivo e os critérios de conclusão em goal.md. Trate este arquivo como a fonte de verdade duradoura durante toda a execução." Como bônus, você pode editar o arquivo enquanto a execução está acontecendo.

1. Passe muito tempo nesse arquivo de objetivo. Peça ajuda a um modelo para escrevê-lo. O arquivo de objetivo está fazendo o trabalho que um gerente normalmente faria, e cada ambiguidade que você deixar nele é uma decisão que o modelo tomará sem você.

Ele Construiu Manhattan

A melhor forma de mostrar como isso funciona é o que ele construiu.

Dei a ele um arquivo de objetivo que dizia, em essência: construa uma recriação voxel 3D explorável de Manhattan que pareça, soe e funcione como a cidade real, incluindo o sistema de metrô real da cidade de Nova York. O padrão que escrevi no objetivo era simples: alguém que conhece Nova York deve ser capaz de identificar onde está.

Dias depois, eu tinha isso.

Vista aérea de Manhattan construída pelo GPT-5.6

Essa é a ilha real. O horizonte corresponde. As formas dos prédios correspondem. A geografia e topografia correspondem. Ele usou dados reais da cidade para fazer isso, então o Empire State Building está em 40.7485° N, 73.9868° W, onde deveria estar.

Empire State Building preciso

E o metrô funciona. Não é "há uma textura de metrô." Você anda por uma rua real, encontra uma entrada de estação em sua localização real, desce, embarca em um trem na linha correta, anda pelos túneis, faz baldeação onde você realmente faria, e sai por uma saída real em outro lugar da cidade. Ele até encontrou uma forma de corresponder aos horários reais do metrô de Manhattan, então os trens digitais estavam sincronizados com os reais.

Embarque na Grand Central-42 St

O jogo de destruição que pedi para ele fazer foi a mesma história. O objetivo: um jogo de destruição voxel em primeira pessoa que se equipara ao Teardown, com voxels reais e física estrutural real. Exploda a base de um edifício e tudo acima dele desaba sob seu próprio peso. Essa execução durou cinco dias e mais de setenta iterações.

Redline Demolition, o jogo de destruição voxel que o GPT-5.6 construiu

Assista ao gameplay

Duas coisas dessas execuções ficaram comigo. Primeiro, ele se avaliou honestamente. No início da execução de Manhattan, seu próprio diário de progresso se recusou a contar o rascunho como progresso: "visivelmente não é Manhattan e não é aceito como um marco da cidade." Ele não declarou vitória por dias, porque o arquivo de objetivo não deixava. Segundo, ele levou a avaliação a sério de formas que nunca pedi. Ele criou centenas de subagentes revisores adversários e encontrou toneladas de pequenos problemas para resolver.

Uma execução até encheu o disco do meu Mac no meio do objetivo, limpou os caches que ele pôde verificar serem seguros para excluir, depois instalou um CLI de sandbox na nuvem e se moveu para lá para continuar trabalhando. Impressionante e levemente alarmante ao mesmo tempo, o que é um resumo justo deste modelo.

Então sim: por duas semanas, achei que este era o futuro.

Então o Fable Foi Lançado

Então consegui o Fable, e a comparação não foi nem de perto.

Voltei e reexecutei alguns dos meus projetos do GPT-5.6 para ser justo. O teste mais claro foi o trabalho programático de 3D e vídeo, o mesmo tipo de coisa por trás dos mundos que venho publicando. A saída do GPT-5.6 foi melhor do que qualquer modelo GPT anterior. Também não chegou nem perto do Fable. Os resultados simplesmente pareciam dramaticamente piores, e nenhuma quantidade de iteração fechou a lacuna.

Isso se tornou meu novo benchmark para modelos, a propósito: peça para ele construir um motor voxel com física precisa do zero e veja até onde ele consegue chegar. É um teste brutal porque não há biblioteca para usar e não há como fingir. Os motores do GPT-5.6 ficaram muito, muito abaixo do padrão do Fable.

A diferença mais profunda é a necessidade de orientação. Com o Fable, você diz o que quer e ele faz. Com o GPT-5.6, muita coisa é feita, mas as coisas ambiciosas precisam de direção. Você está corrigindo o rumo, reexplicando o padrão, pressionando-o para ser menos conservador. Isso ainda é muito menos supervisão do que os modelos da geração anterior precisavam. É muito mais do que o Fable precisa, que é aproximadamente zero.

Confiança é a outra metade disso. Com as proteções e configurações certas, não verifico mais o código do Fable. Sei que posso confiar nele. Ainda verifico o do 5.6, com bastante frequência.

Algumas das coisas que construí no GPT-5.6 nunca me dei ao trabalho de testar novamente, porque depois de algumas semanas com o Fable, elas pareciam abaixo do nível aceitável.

Cheiro de Modelo Grande

Aqui está minha leitura honesta do porquê.

O Fable tem cheiro de modelo grande. Dá para perceber que você está falando com algo enorme. Ele generaliza. Você o leva para algum lugar estranho e ele ainda é inteligente lá.

O GPT-5.6 parece um modelo menor. Ainda grande, mas menor, com uma quantidade incrível de aprendizado por reforço em cima. E RL te dá exatamente o que você espera: o modelo é extremamente bom nos tipos de trabalho para os quais foi treinado, e benchmarks são o tipo mais treinado de todos. É por isso que as pontuações parecem próximas. Então você dá um passo fora da estrada pavimentada, em direção a um motor voxel do zero ou um render 3D, e a diferença é imediata.

Isso faz do GPT-5.6 uma ferramenta mais direcionada do que os benchmarks sugerem.

Espero genuinamente que a OpenAI treine um modelo verdadeiramente grande, porque o RL deles em cima de algo do tamanho do Fable seria absolutamente incrível. Esse modelo simplesmente não existe ainda (pelo que sabemos... provavelmente existirá em breve).

Onde o GPT-5.6 Ainda Ganha

Não é tudo unilateral, e as exceções são importantes de notar.

Segurança. O GPT-5.6 está mais disposto a fazer trabalho de cibersegurança do que o Fable, que pode recusar tarefas que se assemelham a algo perigoso. E ele é genuinamente bom nisso. Meu fluxo de trabalho atual agora: o Fable escreve o código, e o GPT-5.6 o audita. Como a execução do Codex é headless, você pode conectar isso a um hook que audita cada commit, ou dispara após cada execução do Fable terminar.

Limites. Os limites da OpenAI são muito mais generosos do que os da Anthropic. Isso sempre foi verdade e ainda é. Se você está racionando tokens do Fable, o GPT-5.6 é uma ótima segunda opção (ou você pode usá-lo para executar enquanto o Fable planeja).

A interface. O aplicativo Codex continua sendo a melhor forma de executar e orientar agentes, especialmente do celular. Conecte-o uma vez e você pode despachar trabalho, revisar diferenças e manter execuções de Goal em andamento de qualquer lugar. Eu uso menos do que costumava, porque encontrei minha própria forma de fazer isso com o Fable: peço para ele trabalhar em um documento no workbench.md, e posso ler suas atualizações e orientá-lo diretamente de um componente de chat no documento no meu celular. Mas como produto, a equipe da OpenAI continua à frente, e não é nem de perto.

Quando Usar o Que

• Se você pode usar o Fable: Fable para praticamente tudo. GPT-5.6 para auditorias de segurança, como um segundo par de olhos em mudanças importantes, e como executor dos planos do Fable quando você quiser economizar custos.

• Se você não pode: GPT-5.6, sem hesitação. É o melhor modelo que qualquer outra pessoa faz, executá-lo no modo Goal é a melhor configuração de agente que você pode ter hoje, e tudo nesta análise que parece morno é apenas morno em relação ao Fable.

Considerações Finais

Se o Fable não existisse, esta seria a análise mais elogiosa que já escrevi. Um modelo que pode funcionar por dias contra um arquivo de objetivo, julgar seu próprio trabalho de forma adversária e entregar uma Manhattan voxel funcional não é pouca coisa. Seis meses atrás, isso teria sido ficção científica.

Mas o Fable existe. E o resumo honesto do GPT-5.6 é que o segundo lugar nunca foi tão bom, e nunca importou tão pouco. A fronteira não é um ranking onde prata vale alguma coisa. Se um modelo pode fazer o que o outro não pode, você usa aquele modelo, e a lacuna agora é grande o suficiente para que eu tenha reorganizado todo meu fluxo de trabalho em torno disso em questão de dias.

O GPT-5.6 é um modelo incrível. Espero que o próximo da OpenAI me faça voltar. Eles já fizeram isso comigo antes.

Se você achou isso útil, siga-me no X para mais ideias minhas sobre modelos de IA e como extrair o máximo deles.

Leia minha análise original aqui: https://shumer.dev/gpt56review.html