O preço de um token continua caindo, e as contas de IA empresarial só aumentam. Uma única requisição agora se desdobra em recuperação, chamadas de ferramentas, loops de raciocínio e execução em múltiplas etapas, então o número de tokens por tarefa sobe mais rápido do que o preço por token cai.
Em um episódio recente do All-In, @Chamath Palihapitiya descreveu os custos de token "dobrando a cada 45 dias" contra um ganho de produtividade de "5%, no máximo." No mesmo episódio, @DavidSacks disse que as empresas querem modelos mais baratos e diversos. O DoorDash descreveu como reserva um modelo de fronteira para seu trabalho de revisão de código mais difícil, enquanto encaminha tarefas de nível inferior para modelos mais baratos, e a Decagon supostamente envia 90% do trabalho de suporte ao cliente maduro para modelos abertos. Isso ecoa o que o CEO da Palo Alto Networks, @NikeshArora, disse à CNBC recentemente: o preço da IA precisa cair até 90% antes que a tecnologia seja genuinamente útil em toda a empresa.
Essa lacuna não é um problema de precificação de tokens. É um problema de arquitetura.
As organizações devem parar de medir o custo por token e começar a medir o custo por tarefa bem-sucedida. Um modelo barato que gera retrabalho é caro. Um modelo capaz usado exatamente na etapa certa é eficiente. A questão certa é onde a inteligência cara ganha seu preço. Responder bem a essa pergunta é uma disciplina de engenharia, e é aí que a vantagem competitiva está surgindo.
Começamos a construir para isso no @Glean há sete anos, antes que o mercado concordasse que era importante. Três partes da arquitetura são as mais importantes.
O contexto vem primeiro
Um modelo sozinho não entende sua empresa. Ele não sabe quais documentos estão atualizados, quais projetos estão ativos, quem é responsável pelo quê ou o que qualquer funcionário tem permissão para ver. Na maioria das empresas, esse conhecimento está espalhado por dezenas de sistemas. Se você não conseguir montá-lo de uma forma que respeite as permissões, o modelo raciocina com base em informações parciais e queima tokens redescobrindo seu negócio a cada chamada.
Em um benchmark que executamos no Claude Cowork, mantivemos o modelo constante e trocamos apenas a camada de contexto, comparando o índice do Glean com servidores MCP prontos para uso. As respostas baseadas no Glean foram preferidas cerca de 2,5 vezes mais, e as ferramentas prontas para uso usaram cerca de 30% mais tokens para fazer o mesmo trabalho. Nos casos em que essas ferramentas chegaram a uma resposta correta, elas queimaram quase o dobro de tokens para chegar lá porque tiveram que usar força bruta na busca que a camada de contexto deveria ter lidado. A vantagem cresceu à medida que as tarefas ficavam mais difíceis, com a taxa de vitória da camada de contexto do Glean subindo de 66% em trabalhos simples para 73% em trabalhos complexos e de várias etapas.
Um contexto melhor aumenta a qualidade e reduz o custo ao mesmo tempo.
Controle e escolha real de modelo
As empresas não podem padronizar em uma única família de modelos. Algumas tarefas precisam de um modelo de fronteira. Muitas não precisam e podem ser bem tratadas por modelos mais rápidos ou mais baratos. Mas poucas empresas têm a capacidade de avaliar continuamente modelos, gerenciar o acesso entre provedores, projetar lógica de fallback e monitorar qualidade, custo e latência enquanto o mercado muda a cada semana.
O que é subestimado é que os modelos abertos não são mais a opção barata e fraca. Em trabalhos específicos de alto volume, como codificação e agentes, eles agora estão igualando ou superando a fronteira por uma fração do custo. O GLM-5.2 chegou a cerca de um ponto dos melhores modelos fechados em codificação de longo horizonte, enquanto roda a aproximadamente um sexto do custo, e o Kimi K3 chegou como o maior modelo de pesos abertos até agora, estreando em primeiro lugar em um benchmark líder de codificação, à frente dos melhores sistemas da Anthropic e OpenAI. Estes são sistemas de classe de fronteira que são abertos, não compromissos de orçamento. O cofundador do Glean, @TonyGentilcore, escreveu mais sobre por que as empresas devem parar de tratar isso como algo proibido.
Através do Model Hub do Glean, os clientes acessam mais de 30 modelos comerciais e abertos por meio de uma camada governada, escolhendo qual modelo é executado por usuário, departamento ou aplicação, com controles de acesso e auditoria aplicados de forma consistente em todos eles. A camada de modelo pode mudar por baixo sem forçar uma reconstrução da pilha acima dela. Isso é o que transforma um mercado de modelos em rápida comoditização, de um risco em uma alavanca.
A economia segue
O ponto de Chamath sobre o custo superar o valor é aquele que todo CFO eventualmente forçará a organização a enfrentar. A resposta não é racionar o acesso. É roteirizar o trabalho. O Waldo, nosso modelo de busca agentiva especializado construído sobre o NVIDIA Nemotron aberto, é executado antes do modelo de fronteira em cada consulta para planejar a busca e entregar um contexto limpo, reduzindo o uso de tokens em cerca de 25% e a latência pela metade com a mesma qualidade. O modelo de fronteira então faz apenas a parte em que é exclusivamente bom. Eficiência de tokens, não contagem de tokens, é a métrica que importa.
Onde isso nos deixa
Poucas empresas constroem essa camada há tanto tempo, ou a medem com tanto rigor, quanto nós. O retorno para a empresa não é o acesso ao modelo mais recente. É uma escolha estratégica: quais modelos usar, onde a IA aparece em todo o negócio e como equilibrar inteligência, velocidade e custo, com a liberdade de se adaptar à medida que o mercado muda. Os modelos continuarão se ultrapassando. A arquitetura ao redor deles é o que se torna o fosso.
