Quais modelos valem o investimento? Testamos 14 modelos em tarefas reais de conhecimento para descobrir.

@andrewbusse
INGLÊShá 3 dias · 23/07/2026
166K
11
3
1
8

TL;DR

Esta análise de 14 modelos de IA revela que os líderes em benchmarks frequentemente falham em tarefas reais de conhecimento. O estudo fornece uma estrutura para escolher modelos com base em julgamento e frequência, categorizando-os em modelos ágeis, de peso médio e pesos-pesados.

O melhor modelo para um trabalho quase nunca é o melhor modelo no ranking.

No mundo da IA, o Natal acontece mais ou menos uma vez por semana. Um novo modelo é lançado, todo mundo fica olhando para os mesmos gráficos de benchmark com falsa precisão, e todos concordamos que é a melhor coisa desde o pão de forma, até a semana seguinte, quando fazemos tudo de novo.

Mas nenhum desses gráficos responde à única pergunta que importa. O modelo consegue, de fato, executar seu briefing diário ou enviar um orçamento para um cliente? Na Hyperagent, damos a você acesso a todos esses modelos com um agente de primeira linha. Então, nós mesmos os testamos. Quatorze modelos, quarenta e duas execuções, no trabalho de conhecimento real que nossos clientes entregam aos agentes todos os dias. Três coisas se destacaram.

  • A conta variou 50x no mesmo trabalho. A mesma bateria de testes custou US$ 1,48 no Qwen 3.7 Plus e US$ 75,16 no Fable 5.
  • O vencedor do benchmark não foi o vencedor no trabalho. O GPT 5.6 Sol liderou nossos testes de base, mas não ficou entre os três primeiros quando estava executando tarefas reais dentro da Hyperagent. O Grok 4.5 ficou no meio do pelotão nos testes de base e saiu em primeiro lugar em trabalho finalizado, velocidade e custo.
  • E nenhum modelo venceu em tudo. A escolha certa mudava de acordo com a tarefa.

A conclusão não é um novo modelo favorito. É uma maneira de decidir, tarefa por tarefa, qual deles vale o seu custo.

O mapa de modelos de IA para o trabalho de conhecimento

Cada tarefa que você entregaria a um agente se resume a duas perguntas: quanto julgamento ela exige e com que frequência ela é executada? Trace esses dois eixos, e o trabalho de conhecimento se divide em quatro territórios, cada um querendo um tipo diferente de modelo.

Andrew Busse - inline image

Trabalho de volume (canto superior esquerdo). Triagem, monitoramento, roteamento, sincronização de dados. Procedimento claro, execução constante, e um erro é barato de corrigir. Este trabalho quer algo rápido e barato.

O ofício diário (canto superior direito). Redação, relatórios, pesquisa, comunicação com clientes. O trabalho de conhecimento recorrente que preenche a maior parte da semana – precisa de síntese real e uma boa voz de escrita, feito de forma confiável e frequente.

Alto risco (canto inferior direito). Revisão de contratos, decisões de preços, análises aprofundadas. Raro, mas uma resposta errada custa um cliente, um contrato ou a margem de um trimestre. É aqui que o lado negativo supera a conta do modelo, e onde os modelos mais caros ganham sua taxa.

Não otimize (canto inferior esquerdo). A solicitação ocasional e simples onde qualquer modelo capaz supera a barreira e a diferença de preço é pequena demais para merecer uma decisão. É o único quadrado no mapa onde dizemos às pessoas para não pensar.

As três classes de modelos

Três classes de trabalho emergem do mapa. Elas descrevem a economia e o perfil de julgamento do trabalho, em vez de classificar um modelo como bom ou ruim.

Velocistas são construídos para trabalho de volume – rápidos, baratos e consistentes quando o procedimento é claro e um erro é fácil de corrigir. Haiku 4.5, Gemini 3.5 Flash e DeepSeek V4 Pro.

Pesos-médios executam o ofício diário. Eles sintetizam fontes, seguem um plano de várias etapas e escrevem bem sem cobrar taxas de primeira linha por cada relatório. Sonnet 5, GPT 5.6 Terra, Grok 4.5 e GLM 5.2 – onde a maior parte do trabalho de conhecimento pertence.

Pesos-pesados assumem as chamadas de alto risco, trazendo julgamento mais forte e mais tempo de raciocínio para trabalhos onde uma resposta errada custa muito mais do que a conta do modelo. Opus 4.8, GPT 5.6 Sol e Fable 5.

O instinto que a maioria das pessoas tem é começar pelo alto e descer – executar tudo em um Fable 5 ou Opus 4.8, obter a saída desejada, depois tentar modelos mais baratos até que a qualidade caia. Funciona, mas descobrimos que a maioria dos trabalhos não precisa disso. Depois que você consegue nomear o trabalho e colocá-lo no mapa, geralmente pode começar na classe certa desde o início. Para o ofício diário, que é a maior parte do que você faz, isso significa começar com um peso-médio sólido como o Sonnet 5. Você só recorre à busca de cima para baixo quando um trabalho está genuinamente no extremo de alto risco.

O campo é mais amplo que Claude, GPT e Gemini

A maioria das equipes usa como padrão o punhado de nomes de modelos que já conhecem. É um ponto de partida razoável, mas deixa grande parte do elenco intocada – e alguns dos modelos que fazem o trabalho mais útil na Hyperagent não são nomes conhecidos. Estas são nossas impressões operacionais da bateria de testes e do uso diário, além do trabalho que vimos os clientes executarem.

Grok 4.5 é pesquisa rápida em tempo real. Ele se move rapidamente por pesquisas com muitas ferramentas e teve um desempenho especialmente bom quando combinado com a Exa Search nativa da Hyperagent. Ele também tem uma linha direta nativa para o X, então uma pergunta sobre sentimento ao vivo pode retornar com as postagens reais por trás da resposta. Liderou nossa pontuação de trabalho finalizado a US$ 9,71 para a execução completa.

Muse Spark 1.1 escreve de forma limpa e se verifica. Terminou em segundo lugar no teste, e nossa impressão inicial é de uma prosa concisa e bem estruturada, com um hábito útil de auditar seu próprio trabalho antes de entregá-lo. Ainda é novo, então começaríamos com tarefas diárias supervisionadas antes das longas não supervisionadas.

Kimi K2.6 é pesquisa aprofundada a um preço de modelo aberto. Ele executa pesquisas em paralelo e traz as evidências de volta para uma única resposta sem cobrar taxas de modelo principal, o que o torna um especialista em pesquisa forte. Seu único limite real é o tamanho do documento, com uma janela de contexto que chega a 256.000 tokens.

GLM 5.2 é a escolha de valor. Ele chegou surpreendentemente perto dos pesos-médios fechados em pesquisa de rotina, redação e trabalho com documentos longos por cerca de um terço do preço, e sua prosa está entre as mais fortes fora do Sonnet e Opus. Tornou-se um motor diário para grande parte da equipe Hyperagent.

Qwen 3.7 Plus é o trabalhador de tela. É particularmente bom em encontrar botões, campos e menus em páginas renderizadas, e é barato para extração estruturada – produziu a execução completa de menor custo em nossa bateria de testes. Recorra a ele quando o trabalho for lidar com uma interface ou mover dados, não quando a voz for importante.

DeepSeek V4 Pro é análise estruturada a um custo muito baixo. É mais forte em reconciliação, limpeza de dados, trabalho numérico programado e tarefas estruturadas semelhantes. Sua escrita é literal e concisa, o que serve bem para explicações internas e mal para prosa voltada para o cliente. Um especialista, e muito econômico.

Alocando seus agentes sempre ativos ao preço certo

Steve Juba dirige uma empresa de viagens com seis pessoas. Ele construiu um agente de briefing conectado a oito fontes de dados ao vivo que é executado várias vezes ao dia, e reduziu sua coleta de contexto matinal de mais de três horas em oito abas para quinze minutos.

Um agente como este lê muito mais do que escreve e faz o mesmo trabalho centenas de vezes por ano, então uma pequena diferença de preço por execução deixa de ser um erro de arredondamento e se torna uma linha de orçamento real. Considere um briefing que lê 100.000 tokens e escreve 2.000 todos os dias. Aos preços de tabela de julho de 2026, esse formato de trabalho custa aproximadamente:

  • US$ 16 por ano no Qwen 3.7 Plus (velocista)
  • US$ 38 por ano no Kimi K2.6 (peso-médio)
  • US$ 40 por ano no Haiku 4.5 (velocista)
  • US$ 80 por ano no Sonnet 5 (peso-médio)
Andrew Busse - inline image

As opções de peso aberto mudam a matemática para trabalhos com muita leitura como este. O Kimi K2.6 faz pesquisa e síntese de qualidade de peso-médio por US$ 38 neste trabalho – menos da metade do Sonnet 5, e aproximadamente o mesmo que executar o velocista Haiku. Você não está trocando julgamento por custo; está recebendo trabalho de peso-médio por dinheiro de velocista. Se o trabalho fosse pura extração sem julgamento, o Qwen o executaria por US$ 16 – mas no momento em que precisa de síntese real, o Kimi oferece isso por um preço próximo.

Troque o modelo, mantenha o agente

Nada disso importa se trocar de modelos significar reconstruir o agente. Dentro da Hyperagent, isso não acontece, porque o modelo é apenas uma configuração e a função está acima dele. Mude o modelo e o agente mantém tudo o que o torna útil:

  • Suas instruções e escopo
  • Suas habilidades, scripts e procedimentos de trabalho
  • Sua memória de correções
  • Seus arquivos de referência e contexto da empresa
  • Suas conexões com os sistemas onde o trabalho reside
  • Suas rubricas para avaliar a qualidade
Andrew Busse - inline image

Isso transforma a escolha do modelo em um teste, em vez de uma migração. O mesmo agente pode executar o mesmo trabalho em dois modelos sem ser reconstruído, então você pode encontrar o mais barato que atenda ao seu padrão, em vez de adivinhar.

Isso também permite que a parte cara de um fluxo de trabalho difícil se pague uma vez. Quando um trabalho precisa genuinamente disso, use um modelo mais pesado para projetar e depurar o fluxo de trabalho – depois codifique o procedimento como uma habilidade para que um peso-médio ou velocista possa executá-lo todos os dias por uma fração do custo.

Há um custo oculto a ser observado, no entanto. Um modelo mais barato com uma conta baixa não é barato se cada saída precisar de correção – o tempo de revisão humana e o custo de um erro fazem parte do preço real. Chame isso de imposto de revisão. Ele define o piso de quão leve você pode ir. O que é diferente na Hyperagent é que a revisão não é apenas paga, ela se acumula: à medida que o agente aprende com suas correções através da memória, esse esforço de revisão é capturado pelo sistema e produz um agente melhor na próxima execução.

Os clientes já alocam agentes dessa forma. Ankit Das construiu uma operação de marketing com um Orquestrador de Crescimento no Sonnet 5 tomando as decisões de julgamento e oito especialistas de canal no GLM 5.2 produzindo o trabalho de canal recorrente, com agentes de QA separados verificando a conformidade da marca e a qualidade da escrita – todos iniciados a partir de um único tópico. Eli Weiss descreve sua divisão de forma mais simples: aproximadamente 85% Sonnet e 15% Opus em suas habilidades e rotinas. A maior parte do trabalho é executada no motor diário; Opus fica com o conjunto menor de tarefas onde o julgamento extra vale seu custo.

Esse é o valor prático da escolha de modelos dentro da Hyperagent. Gaste deliberadamente em todo o trabalho e reserve os dólares extras para as tarefas onde o julgamento extra muda o resultado.

Escolha o modelo depois de escolher o trabalho

Use esta sequência em um agente que você já executa:

  1. Nomeie o trabalho. "Preparar o relatório do cliente de segunda-feira" é mais útil do que "ajudar com relatórios".
  2. Coloque-o no mapa. Decida quanto julgamento ele precisa e com que frequência será executado.
  3. Comece onde o mapa o coloca. Para a maioria dos trabalhos, isso é um peso-médio capaz – use-o até entender os casos extremos do trabalho e codificar o processo em habilidades.
  4. Teste uma classe mais leve por cinco execuções reais. Mantenha as instruções, habilidades, memória, fontes e rubrica inalteradas.
  5. Compare o custo total. Acompanhe a qualidade finalizada, consistência, tempo, erros factuais, conta do modelo e tempo de revisão humana.
  6. Escalone propositalmente. Traga um peso-pesado quando o fardo da revisão ou o custo de uma resposta errada exceder o prêmio do modelo.
  7. Use um modelo diferente para revisar trabalhos importantes. O modelo que cometeu o erro é muitas vezes o menos provável a vê-lo.

Mantenha o modelo menos caro que atenda consistentemente ao seu padrão. Depois, gaste a diferença nas chamadas que merecem.

Recriar no YouMind

Turn one viral article into a full content workflow

Collect the source, decode the pattern, create assets, draft the story, and distribute from one AI workspace.

Explore YouMind
Para criadores

Transforme o seu Markdown num artigo 𝕏 impecável

Quando publica os seus próprios textos longos, formatar imagens, tabelas e blocos de código para o 𝕏 é uma dor de cabeça. O YouMind transforma um rascunho completo em Markdown num artigo 𝕏 impecável e pronto a publicar.

Experimente Markdown para 𝕏

Mais padrões para decifrar

Artigos virais recentes

Explorar mais artigos virais