Acorda, bebê, saiu um novo artigo de Harvard: Economy of Minds (EOM). Eles criaram um sistema multiagente descentralizado onde agentes coordenam e evoluem ao longo do tempo usando mecanismos similares aos de mercado (leilões, pagamentos, acúmulo de riqueza).
Eles reportam que tal ambiente levou ao raciocínio emergente de múltiplas etapas e a um desempenho forte em várias tarefas de agente!
Nota: Este artigo foi escrito pela AVB usando GPT-5.2 dentro do ambiente Paper Breakdown
Por que eu deveria me importar com isso?
Se você está construindo sistemas multiagente para realizar tarefas específicas - isso é para você. A maioria das arquiteturas multiagente ainda depende de muita orquestração projetada à mão - você (o desenvolvedor) escreve prompts explícitos e grafos de máquina de estado para definir manualmente "quem faz o quê e quando".
Tarefas longas exigem diferentes mudanças de função de acordo com o estado e o progresso da tarefa. E quase sempre é melhor projetar sistemas que possam alternar seus prompts de sistema de forma otimizada para que as tarefas sempre progridam.
O objetivo deste artigo é exatamente este. Dada uma tarefa, como gerar uma população otimizada de multiagentes, cada um com instruções específicas sobre como agir E quando agir.
E eles fizeram isso de uma forma realmente única e divertida - simulando um sistema de mercado que controla externamente como os agentes evoluem.
O resultado final desta otimização é um grupo de agentes especializados e um mecanismo de roteamento inteligente para selecionar como eles resolvem uma tarefa.
Quando colocamos agentes simples com um espaço de ação básico em um cenário multiagente complexo, o que você acha que acontece? Comportamentos complexos emergem automaticamente porque esses agentes simples começam a otimizar sua existência em torno das incertezas apresentadas por outros agentes no cenário. Essa é a melhor parte de tudo isso.
A propósito, essa teoria de "comportamentos que emergem organicamente de cenários multiagente" não é um conceito novo. Até mesmo alguns trabalhos multiagente mais antigos, anteriores aos LLMs, já indicavam isso, como o famoso artigo "Hide and Seek" da OpenAI.
https://openai.com/index/emergent-tool-use/
Embora este artigo me lembre algumas ideias daqueles artigos multiagente mais antigos, existem algumas ressalvas. É importante observar o seguinte:
- Este artigo NÃO está treinando agentes para serem financeiramente independentes ou realizar negociações ou leilões!
- Na verdade, este é um novo algoritmo para otimizar agentes em ambientes comuns verificáveis, como Matemática, otimização de código acelerador, busca profunda, pesquisa científica, etc.
- Na maioria das vezes, os agentes nem sabem que estão dentro deste simulador de mercado. Este é um sistema externo que controla como os agentes evoluem (e quais não).
Os agentes dão lances no leilão para ganhar o direito de dar um passo em um desses ambientes-alvo.
Ganhar neste leilão debita o valor de suas carteiras, e eles conseguem "visitar" o ambiente para realizar uma ação real que avança o ambiente de etapa
t
para etapa
t+1.
Agentes futuros que realizam ações no mesmo ambiente pagam seu lance de volta ao agente anterior (o último vencedor).
Repita isso por um tempo, e os agentes mais ricos acabam com as melhores políticas para atuar no ambiente alvo.
É uma abordagem super interessante para atribuição de crédito de longo horizonte e algoritmos de otimização evolutiva de prompts. Vamos detalhar o algoritmo desde o início para realmente entender o que eles estão cozinhando aqui.
A Abordagem
Neste artigo, um agente não é uma rede neural treinada separadamente. Cada agente é essencialmente uma política LLM baseada em prompt com:
- um prompt (um prompt de sistema / template de instrução que define seu "papel" e procedimento). Esse papel muda dependendo do ambiente alvo que estamos otimizando. Por exemplo, para as tarefas de MAT (Matemática), eles atribuem estes papéis: planejador, executor, verificador, e para a tarefa de design de acelerador: historiador, planejador, executor
- uma condição de gatilho / ativação que determina quando é elegível para dar lances no leilão.
- um valor de lance (congelado) usado nos leilões,
- e uma variável de riqueza que muda ao longo do tempo e impulsiona a seleção
O EOM então é executado em dois loops acoplados:
- Planejamento (dentro de um episódio): agentes leiloam o direito de agir a cada passo, e a riqueza é atualizada via uma regra de pagamento do tipo bucket-brigade.
- Adaptação (entre episódios): a população evolve prompts usando exploração/explicação impulsionada puramente pela riqueza.
O objetivo do EOM (o produto final) é um grupo de agentes. Cada agente com seu próprio prompt de sistema sobre como agir em um determinado ambiente, e uma política de quando agir. Dado um novo problema, os agentes dão lances sobre quem agirá, realizam a ação e repetem o processo até que a solução seja alcançada.
Loop 1: Coletar experiências + Executar Leilão
A cada passo do ambiente em um episódio:
- Dada a observação atual do ambiente alvo, cada agente executa um prompt que determina se deve "acordar" ou não. Acordar significa simplesmente participar do próximo leilão no passo 2.
- Os agentes que decidiram acordar submetem automaticamente seus lances congelados. É um lance congelado porque esses lances são fixos durante a inicialização (ou seja, os agentes não tentam alocar o lance de forma inteligente).
- O agente com o maior lance é o vencedor do leilão! Eles perdem imediatamente o dinheiro que licitaram. Mas ganham o controle do ambiente.
- O agente vencedor amostra uma ação no ambiente alvo em seu estado atual. Isso será sobre executar o próximo passo no ambiente alvo, avançando o relógio de s_t -> s_t+1
- O ambiente faz a transição e produz uma recompensa r_t
- A Transferência de Riqueza acontece com atribuição de crédito bucket-brigade! 2 coisas acontecem: a) O novo vencedor paga seu lance ao vencedor anterior b) O novo vencedor também coleta a recompensa do ambiente r_t em sua carteira
Para o primeiro vencedor, o pagamento vai para a "casa" (não para outro agente)
- No próximo passo, todo o loop se repete, mas no ambiente atualizado. No entanto, os agentes "acordam" com base na observação mais recente (obtida de s_t+1 ), e o vencedor deste leilão paga seu lance ao vencedor do leilão anterior. Este lance é adicionado à carteira do vencedor anterior.
- Se em algum momento um agente falir, ele é expulso. Além disso, se um agente fica sentado em sua carteira e se recusa a participar, sua carteira também se degrada com o tempo e ele eventualmente falirá. Isso adiciona urgência a toda a situação.
Agora, muitos ambientes não fornecem recompensas intermediárias e geram apenas uma após todo o episódio terminar. No RL tradicional, isso tem sido a causa de muitas dores de cabeça devido ao infame problema de "atribuição de crédito". Basicamente, se uma longa cadeia de ações eventualmente leva a uma boa recompensa, como você atribui um crédito parcial a cada passo da cadeia?
Este método aborda este problema usando a regra "pague seu lance ao último vencedor do leilão".
Essa decisão de design tem uma consequência chave relacionada ao fluxo retroativo de valor: um agente pode lucrar movendo o sistema para estados onde agentes downstream estão dispostos a "pagar seu lance" para assumir. Isso se torna uma atribuição de crédito descentralizada ao longo da trajetória.
Se sua ação permite ações futuras valiosas, agentes posteriores "compram" a continuação de você através de lances, então você é recompensado mesmo que não tenha recebido rt diretamente em seu passo de ação.
Em seguida, após o término dos episódios, é hora de atualizar as políticas.
Loop 2: Evoluir Agentes
Após os episódios terminarem, a população de políticas de agentes é atualizada usando seleção econômica e um mecanismo de mutação de prompts. Basicamente, podamos os agentes que estão atualmente pobres e mutamos os agentes que estão ricos para a próxima rodada.
Lembre-se, agentes com baixa riqueza são ruins porque eles ou:
- não participaram do leilão (muito passivos)
- participaram, mas realizaram ações que levaram a estados ruins no futuro, dos quais outros agentes não participaram
Depois de cortar esses de baixo desempenho, adicionamos novos agentes até que a população atinja as restrições de tamanho, usando duas fontes:
- Exploração (Exploitation): escolha agentes "pais" ricos e mute seus prompts ligeiramente para produzir filhos que preservam comportamentos úteis, mas variam um pouco. Isso amplifica estratégias bem-sucedidas e promove especialização.
- Exploração (Exploration): substitua agentes falidos/fracos por novas variantes criadas alterando prompts para corrigir modos de falha ou explorar diferentes regiões de comportamento.
Inferência e o que você realmente entrega?
Você entrega um único agente? Um único vencedor? NÃO!
No EOM, o que você "treina" e então "entrega" para resolver tarefas é uma sociedade/população de agentes, onde cada agente tem seus próprios prompts e sua própria lógica local de "quando agir".
No momento da avaliação, eles avaliam explicitamente usando uma cópia thread-local da população treinada, e a política de ativação é usada para selecionar qual agente atua. A população é "congelada" (nenhum treinamento adicional).
Todas as palhaçadas de simulação de mercado, como carteiras e transferência de riqueza, são coisas apenas do tempo de treinamento. Uma vez que a população é otimizada, não as usamos durante a inferência.
Observe que o sistema de lance ainda é usado para determinar quem deve "agir" em um passo quando vários atores juntos querem "acordar".
**
Um Estudo de Caso para Explicar Tudo
Confira a Figura 5 acima. Ela explica o fator legal desta ideia "Economy of Minds" na tarefa de Design de Acelerador. No design de acelerador, os agentes são especializados em funções:
- Historiador: resume tentativas anteriores, mantém memória de direções promissoras/falhas
- Planejador: propõe direções de busca de alto nível
- Executor: executa avaliações locais refinadas
E a recompensa do ambiente é sobre melhorar o EDP (produto energia-atraso) em kernels GEMMINI ResNet-50 (quanto menor o EDP, melhor)
Cada agente especializado em função (Historiador, Planejador, Executor) carrega riqueza, e essa riqueza se torna um placar ao vivo de utilidade à medida que os episódios progridem.
Agentes que ajudam a produzir novos recordes acumulam riqueza. O aluguel periódico penaliza constantemente todos (então agentes medíocres simplesmente morrem lentamente), e uma vez que a riqueza cai abaixo de zero, o agente falece e é removido.
Enquanto isso, os agentes mais ricos geram descendentes mutados de "bom nascimento" (exploração) e os mais fracos geram descendentes alterados de "mau nascimento" (exploração).
Através de diferentes kernels, a pressão do mercado descobre automaticamente qual linhagem de especialista é realmente valiosa. Às vezes, a memória do Estilo Historiador colapsa devido a viés herdado, às vezes uma linhagem de Planejador se reproduz porque a direção de busca de alto nível é o gargalo, e às vezes múltiplos papéis coexistem porque são complementares.
Em outras palavras, coordenação e atribuição de crédito emergem de incentivos simples (fluxo de riqueza, aluguel, nascimento, falência), produzindo uma população adaptativa sem um sistema central! E é exatamente por isso que a abordagem parece uma maneira legal de construir sistemas multiagente.
Comportamentos Emergentes / "momentos Aha" que o artigo destaca
Lembre-se de que, para um ambiente específico (vamos dizer MAT), eles semeiam seus agentes com papéis específicos durante a fase de inicialização. Planejadores, Executores, Verificadores. Um agente com o prompt de Planejador provavelmente dará lances no início dos episódios, enquanto verificadores provavelmente farão lances depois que um rascunho de solução estiver no lugar.
Embora essa seja uma maneira intuitiva de pensar sobre este artigo, na prática não é o modelo correto. Uma maneira útil de ler o EOM é: eles não codificam um fluxo de trabalho, em vez disso, eles estabelecem regras econômicas, e então a população se auto-organiza em comportamentos que se parecem surpreendentemente com "algoritmos" e "instituições" aprendidos.
Aqui estão algumas conclusões interessantes que o artigo relata:
1) A atribuição de crédito se torna um sinal de mercado que seleciona cadeias de ação inteiras
Uma observação central é que o desempenho melhora porque a economia seleciona cadeias de ação úteis, as reproduz e deleta agentes que não contribuem. Então a coordenação é uma propriedade emergente da seleção, não um protocolo projetado.
Isso é um "aha" porque não é apenas "agentes fazem prompts melhores"; o sistema melhora em quais sequências de agentes agem, ou seja, a topologia de interação se aperfeiçoa ao longo do tempo. Similar ao artigo "Hide-and-Seek" da OpenAI!
2) Curvas de aprendizado não monotônicas: o caos inicial é "produtivo"
No Finance-Agent-Bench, eles notam explicitamente um padrão: o EOM cai no início (enquanto a exploração testa especialistas alternativos) e só depois se recupera e supera o desempenho inicial. Isso é um pouco como Grokking no treinamento de redes neurais (eu acho?).
De qualquer forma, esse é um fenômeno muito "de mercado": os autores dizem (parafraseando) "a rotatividade e realocação iniciais podem prejudicar temporariamente o desempenho principal enquanto se busca melhores especialistas/coordenação"
3) Trajetórias de riqueza mostram "linhagens" que dominam e "maus nascimentos" que morrem
No design de acelerador, você pode literalmente ver linhagens úteis persistirem, gerarem descendentes e dominarem leilões, enquanto variantes fracassadas falecem e são removidas.
Em outras palavras, a unidade de aprendizado não é um prompt de agente: é uma árvore genealógica de prompts em evolução sob pressão de seleção de riqueza.
4) Descoberta de estrutura de domínio reutilizável sem modelos (heurísticas transferíveis)
Um comportamento emergente particularmente marcante: nos kernels de acelerador mais difíceis, a sociedade converge repetidamente para um motivo específico de tiling/dataflow (estilo estacionário de saída), embora:
- não receba esse motivo como modelo, e
- a recompensa seja apenas "quebra de recorde de EDP" (sem rótulos como "use output-stationary")
Então o sistema aprende uma heurística de design reutilizável através da seleção.
5) Prompts evoluem para rotinas compactas de raciocínio de múltiplas etapas ("listas de verificação" de auto-auditoria)
Em pesquisa científica, eles relatam evolução de prompt onde um EXECUTOR internaliza o que anteriormente exigia outros papéis, e mutações adicionam auto-verificações cada vez mais explícitas (princípio primeiro, verificações de simetria, verificações de viabilidade, substituição para falsear).
Um agente se torna menos um gerador de texto genérico e mais como um módulo procedural que executa uma rotina de derivação científica aprendida.
6) Disciplina de ação: aprender quando não gastar ações caras (CloudCast)
CloudCast é uma tarefa iterativa de otimização de código onde a sociedade de agentes deve melhorar um programa Python que projeta uma topologia de roteamento de broadcast multi-nuvem para minimizar o custo total de transferência de dados (egress). Este foi um de seus ambientes de teste.
Nesta tarefa CloudCast, eles observam que a economia seleciona diferentes formatos de fluxo de trabalho dependendo do estado do espaço de trabalho:
- perto de uma pontuação alta → loops curtos "ler-editar-avaliar-commit"
- incerto/regredido → loops mais longos "editar-construir-avaliar"
Isso é um comportamento emergente de consciência de recursos: uma política de nível de sociedade sobre quando agir com cautela vs agressivamente, sem controle central.
Leia o artigo completo aqui: http://arxiv.org/abs/2606.02859
E também no Paper Breakdown, que foi o que usei para estudar este artigo: http://paperbreakdown.com/abs/2606.02859
Obrigado pela leitura!
**
