A Anthropic recentemente removeu cerca de 80% do prompt de sistema do Claude Code para seus modelos mais recentes.
A lógica é intuitiva: conforme os modelos ficam mais inteligentes, eles precisam de menos direcionamento, menos restrições e menos exemplos. A partir de um certo nível de capacidade, os exemplos deixam de ajudar e começam a limitar o modelo.
Acreditamos que a decisão da Anthropic é baseada em dados — mas essa evidência se aplica apenas aos seus modelos mais recentes.
A pergunta óbvia que surge é: isso funciona em um modelo popular e versátil como o DeepSeek V4?
Modelos pequenos, rápidos e baratos são exatamente aqueles que se espera que dependam de instruções detalhadas. Corte o prompt deles pela metade, e o senso comum diz que eles devem falhar.
Fizemos o experimento para que você não precise.
A configuração
Nosso agente de codificação, Ante, inclui um modo --short-prompt.
Ele consolida o prompt de sistema de cerca de 5.000 para 2.300 caracteres e encurta as descrições das ferramentas. Juntas, essas mudanças reduzem o prompt completo por requisição de cerca de 34.000 para 18.000 caracteres.
Testamos as duas versões em A/B em:
- Tarefas: suíte completa de 89 tarefas do Terminal-Bench 2.1
- Modelo: DeepSeek V4 Flash
- Tentativas: uma por tarefa
- Variável alterada: uma flag de linha de comando
Todo o resto permaneceu constante: a mesma build do agente, o digest do dataset fixo, o pool de sandbox, o nível de esforço e as flags de tempo de execução.
O resultado
Desempenho: paridade. O prompt curto na verdade marcou +2,3 pontos a mais, mas com uma tentativa por tarefa, isso está dentro da margem de ruído.
Tokens de entrada: 32% menores no subconjunto de mesmo resultado.
Vinte tarefas mudaram o resultado de aprovação/reprovação entre as execuções, o que também alterou o tempo de trabalho desses agentes e tornou suas contagens de tokens inadequadas para comparações diretas. Excluímos essas 20 tarefas, restando as 69 cujo resultado permaneceu o mesmo, e então comparamos as duas medianas independentes: 509.498 tokens de entrada com o prompt longo versus 346.409 com o prompt curto. Isso é 32% menor. Este é um subconjunto deliberadamente selecionado, não uma estimativa de custo da suíte completa.
Os totais agregados de tokens de entrada em todas as 89 tarefas são quase estáveis, e vale a pena ser honesto sobre isso: o histórico da conversa domina o uso de entrada, e algumas tarefas em que a execução com prompt curto seguiu um caminho de solução mais longo sobrepujam as economias por requisição na soma. O custo da execução também mudou apenas ligeiramente, de $4,25 para $4,18.
O que procuramos e não encontramos: um precipício de capacidade. Vinte tarefas inverteram os resultados entre as execuções — 11 passaram a ser aprovadas, 9 passaram a ser reprovadas — mas essa rotatividade é característica da variância de tentativa única neste benchmark, não um padrão. Nenhuma categoria de tarefa colapsou.
O que este experimento não prova
Isso foi:
- Um modelo
- Um benchmark
- Uma tentativa por tarefa
O resultado de 32% de tokens vem de um subconjunto selecionado de mesmo resultado. A quantidade de rotatividade de tarefas entre as execuções também demonstra por que a validação com múltiplas tentativas é importante.
Com uma margem de ruído estimada em aproximadamente ±5 pontos percentuais, uma pequena regressão ainda pode estar escondida nesses resultados. Faríamos uma avaliação com múltiplas tentativas antes de alterar o padrão para todos.
A conclusão
Para este modelo, neste benchmark, cortamos o prompt aproximadamente pela metade e não medimos nada pior.
Entre as 69 tarefas cujo resultado permaneceu o mesmo, a contagem mediana de tokens de entrada da execução com prompt curto foi aproximadamente um terço menor.
O resultado corresponde à direção que a Anthropic observou um nível acima:
Quando uma nova geração de modelo chega, seu primeiro movimento não deve ser adicionar ao prompt. Deve ser deletar.
Quanto do seu prompt de sistema ainda está lá porque um modelo de duas gerações atrás precisava dele?
