O preço de um token continua caindo, e as contas de IA empresarial só sobem. Uma única requisição agora se desdobra em recuperação, chamadas de ferramentas, loops de raciocínio e execução em múltiplas etapas, então o número de tokens por tarefa sobe mais rápido do que o preço por token cai.
Em um episódio recente do All-In, @Chamath Palihapitiya descreveu custos de token "dobrando a cada 45 dias" contra um ganho de produtividade de "5%, no máximo." No mesmo episódio, @DavidSacks disse que as empresas querem modelos mais baratos e diversos. O DoorDash descreveu como reserva um modelo de fronteira para seu trabalho de revisão de código mais difícil, enquanto direciona tarefas de nível inferior para modelos mais baratos, e a Decagon supostamente envia 90% do trabalho maduro de suporte ao cliente para modelos abertos. Isso ecoa o que o CEO da Palo Alto Networks, @NikeshArora, disse à CNBC recentemente: o preço da IA precisa cair até 90% antes que a tecnologia seja genuinamente útil em toda a empresa.
Essa lacuna não é um problema de precificação de tokens. É um problema de arquitetura.
As organizações deveriam parar de medir custo por token e começar a medir custo por tarefa bem-sucedida. Um modelo barato que gera retrabalho é caro. Um modelo capaz usado exatamente na etapa certa é eficiente. A questão certa é onde a inteligência cara realmente vale o seu preço. Responder bem a essa pergunta é uma disciplina de engenharia, e é aí que a vantagem competitiva está surgindo.
Começamos a construir para isso no @Glean há sete anos, antes que o mercado concordasse que era importante. Três partes da arquitetura são as que mais importam.
O contexto vem primeiro
Um modelo sozinho não entende a sua empresa. Ele não sabe quais documentos são atuais, quais projetos estão ativos, quem é responsável pelo quê ou o que qualquer funcionário tem permissão para ver. Na maioria das empresas, esse conhecimento está espalhado por dezenas de sistemas. Se você não conseguir montá-lo de forma consciente das permissões, o modelo raciocina com informações parciais e queima tokens redescobrindo seus negócios a cada chamada.
Em um benchmark que executamos no Claude Cowork, mantivemos o modelo constante e trocamos apenas a camada de contexto, comparando o índice do Glean com servidores MCP prontos para uso. As respostas alimentadas pelo Glean foram preferidas cerca de 2,5 vezes mais, e as ferramentas prontas para uso usaram cerca de 30% mais tokens para fazer o mesmo trabalho. Nos casos em que essas ferramentas realmente chegaram a uma resposta correta, elas queimaram quase o dobro de tokens para chegar lá, porque tiveram que usar força bruta na busca que a camada de contexto deveria ter lidado. A vantagem cresceu à medida que as tarefas ficavam mais difíceis, com a taxa de vitória da camada de contexto do Glean subindo de 66% em trabalhos simples para 73% em trabalhos complexos e de várias etapas.
Um contexto melhor aumenta a qualidade e reduz o custo ao mesmo tempo.
Controle e escolha real de modelos
As empresas não podem padronizar uma única família de modelos. Algumas tarefas precisam de um modelo de fronteira. Muitas não precisam e podem ser bem tratadas por modelos mais rápidos ou mais baratos. Mas poucas empresas têm a capacidade de avaliar continuamente modelos, gerenciar o acesso entre provedores, projetar lógica de fallback e monitorar qualidade, custo e latência à medida que o mercado muda a cada semana.
O que é subestimado é que os modelos abertos não são mais a opção barata e fraca. Em trabalhos específicos de alto volume, como codificação e agentes, eles agora estão igualando ou superando a fronteira por uma fração do custo. O GLM-5.2 chegou a cerca de um ponto dos melhores modelos fechados em codificação de longo horizonte, rodando a aproximadamente um sexto do custo, e o Kimi K3 chegou como o maior modelo de pesos abertos até agora, estreando em primeiro lugar em um importante benchmark de codificação, à frente dos melhores sistemas da Anthropic e da OpenAI. Estes são sistemas de classe de fronteira que são abertos, não compromissos orçamentários. O cofundador do Glean, @TonyGentilcore, escreveu mais sobre por que as empresas deveriam parar de tratar isso como algo proibido.
Através do Model Hub do Glean, os clientes acessam mais de 30 modelos comerciais e abertos por meio de uma camada governada, escolhendo qual modelo é executado por usuário, departamento ou por aplicação, com controles de acesso e auditoria aplicados de forma consistente em todos eles. A camada de modelo pode mudar por baixo sem forçar uma reconstrução da pilha acima dela. É isso que transforma um mercado de modelos em rápida comoditização de um risco em uma alavancagem.
A economia segue o mesmo caminho
O ponto de Chamath sobre o custo superar o valor é aquele que todo CFO eventualmente forçará a organização a enfrentar. A resposta não é racionar o acesso. É direcionar o trabalho. O Waldo, nosso modelo de busca agentiva especializado construído no NVIDIA Nemotron aberto, é executado antes do modelo de fronteira em cada consulta para planejar a busca e entregar contexto limpo, reduzindo o uso de tokens em cerca de 25% e a latência pela metade com a mesma qualidade. O modelo de fronteira então faz apenas a parte em que ele é exclusivamente bom. Eficiência de tokens, não contagem de tokens, é a métrica que importa.
Onde isso nos leva
Poucas empresas estão construindo essa camada há tanto tempo, ou medindo-a com tanto rigor, quanto nós. O retorno para a empresa não é o acesso ao modelo mais recente. É uma escolha estratégica: quais modelos usar, onde a IA aparece em todo o negócio e como equilibrar inteligência, velocidade e custo, com a liberdade de se adaptar à medida que o mercado muda. Os modelos continuarão se ultrapassando. A arquitetura ao redor deles é o que se torna o fosso.
