Acorda, linda! Saiu um paper novo de Harvard: Economy of Minds (EOM). Eles criaram um sistema multiagente descentralizado onde os agentes coordenam e evoluem ao longo do tempo usando mecanismos similares aos de mercado (leilões, pagamentos, acúmulo de riqueza).
Eles estão relatando que esse tipo de ambiente levou a um raciocínio emergente de múltiplas etapas e um desempenho forte em várias tarefas agentivas!
Nota: Este artigo foi escrito pela AVB usando GPT-5.2 dentro do ambiente Paper Breakdown
Por que eu deveria me importar com isso?
Se você está construindo sistemas multiagente para realizar tarefas específicas - isso é para você. A maioria das stacks multiagente ainda depende de muita orquestração projetada manualmente - você (o desenvolvedor) escreve prompts explícitos e gráficos de máquina de estados para definir manualmente "quem faz o quê e quando".
Tarefas longas exigem diferentes trocas de papéis de acordo com o estado e o progresso da tarefa. E quase sempre é melhor projetar sistemas que possam alternar seus prompts de sistema de forma otimizada para que as tarefas sempre progridam.
O objetivo deste paper é exatamente este. Dada uma tarefa, como gerar uma população otimizada de multiagentes, cada um com instruções específicas sobre como agir E quando agir.
E eles fizeram isso de uma forma realmente única e divertida - simulando um sistema de mercado que controla externamente como os agentes evoluem.
O resultado final dessa otimização é um grupo de agentes especializados e um mecanismo de roteamento inteligente para selecionar como eles resolvem uma tarefa.
Quando colocamos agentes simples com um espaço de ação básico em um cenário multiagente complexo, o que você acha que acontece? Comportamentos complexos emergem automaticamente porque esses agentes simples começam a otimizar sua existência em torno das incertezas apresentadas por outros agentes no cenário. Essa é a melhor parte de tudo isso.
A propósito, essa teoria de "comportamentos emergindo organicamente de cenários multiagente" não é um conceito novo. Até alguns trabalhos multiagente mais antigos, anteriores aos LLMs, já indicavam isso, como o famoso paper do OpenAI sobre Esconde-Esconde.
https://openai.com/index/emergent-tool-use/
Embora este paper me lembre algumas ideias daqueles papers multiagente mais antigos, existem algumas ressalvas. É importante notar o seguinte:
- Este paper NÃO está treinando agentes para serem financeiramente independentes ou realizar negociações ou leilões!
- Na verdade, este é um novo algoritmo para otimizar agentes em ambientes verificáveis comuns como Matemática, otimização de código acelerador, busca profunda, pesquisa científica, etc.
- Na maioria dos casos, os agentes nem sabem que estão dentro deste simulador de mercado. Este é um sistema externo que controla como os agentes evoluem (e quais não evoluem).
Os agentes dão lances no leilão para ganhar o direito de dar um passo em um desses ambientes-alvo.
Ganhar neste leilão debita o valor da carteira deles, e eles conseguem "visitar" o ambiente para realizar uma ação real que avança o ambiente do passo
t
para o passo
t+1.
Futuros agentes que realizam ações no mesmo ambiente pagam seu lance de volta ao agente anterior (o último vencedor).
Repita isso por um tempo, e os agentes mais ricos acabam com as melhores políticas para atuar no ambiente-alvo.
É uma abordagem super interessante para atribuição de crédito de longo prazo e algoritmos evolutivos de otimização de prompts. Vamos detalhar o algoritmo desde o início para realmente entender o que eles estão preparando aqui.
A Abordagem
Neste paper, um agente não é uma rede neural treinada separadamente. Cada agente é essencialmente uma política de LLM baseada em prompt com:
- um prompt (um prompt de sistema / template de instrução que define seu "papel" e procedimento). Esse papel muda dependendo do ambiente-alvo que estamos otimizando. Por exemplo, para as tarefas de MAT (Matemática), eles atribuem estes papéis: planejador, executor, verificador, e para a tarefa de design de acelerador: historiador, planejador, executor
- uma condição de gatilho / ativação que determina quando ele é elegível para dar lance no leilão.
- um valor de lance (congelado) usado nos leilões,
- e uma variável de riqueza que muda ao longo do tempo e impulsiona a seleção
O EOM então opera em dois loops acoplados:
- Planejamento (dentro de um episódio): os agentes leiloam o direito de agir a cada passo, e a riqueza é atualizada via uma regra de pagamento do tipo bucket-brigade.
- Adaptação (entre episódios): a população evolui prompts usando exploração/explicação impulsionada puramente pela riqueza.
O objetivo do EOM (o entregável final) é um grupo de agentes. Cada agente tendo seu próprio prompt de sistema sobre como agir em um determinado ambiente, e uma política de quando agir. Dado um novo problema, os agentes dão lances sobre quem agirá, realizam a ação e repetem o processo até que a solução seja alcançada.
Loop 1: Coletar experiências + Executar Leilão
A cada passo do ambiente em um episódio:
- Dada a observação atual do ambiente-alvo, cada agente executa um prompt que determina se eles devem "acordar" ou não. Acordar significa simplesmente participar do próximo leilão no passo 2.
- Os agentes que decidiram acordar submetem automaticamente seus lances congelados. É um lance congelado porque esses lances são fixos durante a inicialização (ou seja, os agentes não tentam alocar um lance de forma inteligente).
- O agente com o maior lance é o vencedor do leilão! Eles perdem imediatamente o dinheiro que licitaram. Mas ganham o controle do ambiente.
- O agente vencedor amostra uma ação no ambiente-alvo em seu estado atual. Isso será sobre executar o próximo passo no ambiente-alvo, avançando o relógio de s_t -> s_t+1
- O ambiente faz a transição e produz uma recompensa r_t
- A Transferência de Riqueza acontece com atribuição de crédito bucket-brigade! 2 coisas acontecem: a) O novo vencedor paga seu lance ao vencedor anterior b) O novo vencedor também coleta a recompensa do ambiente r_t em sua carteira
Para o primeiro vencedor, o pagamento vai para a "casa" (não para outro agente)
- No próximo passo, o loop inteiro se repete, mas no ambiente atualizado. No entanto, os agentes "acordam" com base na observação mais recente (obtida de s_t+1), e o vencedor deste leilão paga seu lance ao vencedor do leilão anterior. Este lance é adicionado à carteira do vencedor anterior.
- Se a qualquer momento um agente falir, ele é expulso. Além disso, se um agente fica parado em sua carteira e recusa participação, sua carteira também se degrada ao longo do tempo e ele eventualmente vai à falência. Isso adiciona urgência a todo o processo.
Agora, muitos ambientes não fornecem recompensas intermediárias e só geram uma após o episódio inteiro ter terminado. No RL tradicional, isso tem sido a causa de muitas dores de cabeça devido ao infame problema de "atribuição de crédito". Basicamente, se uma longa cadeia de ações eventualmente leva a uma boa recompensa, como você atribui um crédito parcial a cada passo da cadeia?
Este método aborda essa questão usando a regra "pague seu lance ao último vencedor do leilão".
Essa decisão de design tem uma consequência chave relacionada ao fluxo reverso de valor: um agente pode lucrar movendo o sistema para estados onde agentes downstream estejam dispostos a "pagar seu lance" para assumir o controle. Isso se torna uma atribuição de crédito descentralizada ao longo da trajetória.
Se sua ação permite ações futuras valiosas, agentes posteriores “compram” a continuação de você através de lances, então você é recompensado mesmo que não tenha recebido rt diretamente em seu passo de ação.
Em seguida, após os rollouts dos episódios terminarem, é hora de atualizar as políticas.
Loop 2: Evoluir Agentes
Após os episódios terminarem, a população de políticas de agente é atualizada usando seleção econômica e um mecanismo de mutação de prompt. Basicamente, podamos os agentes que estão atualmente pobres e mutamos os agentes que são ricos para a próxima rodada.
Lembre-se, agentes com baixa riqueza são ruins porque eles:
- não participaram do leilão (muito passivos)
- participaram, mas tomaram ações que levaram a estados ruins no futuro, nos quais outros agentes não participaram
Depois de eliminarmos esses de baixo desempenho, adicionamos novos agentes até que a população atinja as restrições de tamanho, usando duas fontes:
- Exploração: escolhemos agentes "pais" ricos e mutamos seus prompts ligeiramente para produzir filhos que preservam comportamentos úteis, mas variam um pouco. Isso amplifica estratégias bem-sucedidas e promove especialização.
- Exploração: substituímos agentes falidos/fracos por novas variantes criadas alterando prompts para corrigir modos de falha ou explorar diferentes regiões de comportamento.
Inferência e o que você realmente entrega?
Você entrega um único agente? Um único vencedor? NÃO!
No EOM, o que você "treina" e depois "entrega" para resolver tarefas é uma sociedade/população de agentes, onde cada agente tem seus próprios prompts e sua própria lógica local de "quando agir".
No momento da avaliação, eles avaliam explicitamente usando uma cópia thread-local da população treinada, e a política de ativação é usada para selecionar qual agente atua. A população é "congelada" (nenhum treinamento adicional).
Todas as palhaçadas da simulação de mercado, como carteiras e transferência de riqueza, são coisas apenas do tempo de treinamento. Uma vez que a população é otimizada, não as usamos durante a inferência.
Note que o sistema de lances ainda é usado para determinar quem deve "agir" em um passo quando vários atores juntos querem "acordar".
Um Estudo de Caso para explicar tudo
Confira a Figura 5 acima. Ela explica o fator legal desta ideia de "Economia das Mentes" na tarefa de Design de Acelerador. No design de aceleradores, os agentes são especializados por papel:
- Historiador: resume tentativas anteriores, mantém memória de direções promissoras/falhas
- Planejador: propõe direções de busca de alto nível
- Executor: realiza avaliações locais de granularidade fina
E a recompensa do ambiente é sobre melhorar o EDP (produto energia-atraso) nos kernels GEMMINI ResNet-50 (quanto menor o EDP, melhor)
Cada agente especializado por papel (Historiador, Planejador, Executor) carrega riqueza, e essa riqueza se torna um placar ao vivo de utilidade à medida que os episódios progridem.
Agentes que ajudam a produzir novos recordes acumulam riqueza. O aluguel periódico penaliza constantemente todos (então agentes medíocres simplesmente morrem lentamente), e uma vez que a riqueza cai abaixo de zero, o agente vai à falência e é removido.
Enquanto isso, os agentes mais ricos geram descendentes mutados de "bom nascimento" (exploração) e os mais fracos geram descendentes alterados de "mau nascimento" (exploração).
Através de diferentes kernels, a pressão do mercado descobre automaticamente qual linhagem especialista é realmente valiosa. Às vezes a memória do Estilo Historiador colapsa devido a viés herdado, às vezes uma linhagem de Planejador se reproduz porque a direção de busca de alto nível é o gargalo, e às vezes múltiplos papéis coexistem porque são complementares.
Em outras palavras, coordenação e atribuição de crédito emergem de incentivos simples (fluxo de riqueza, aluguel, nascimento, falência), produzindo uma população adaptativa sem um sistema central! E é exatamente por isso que a abordagem parece uma maneira legal de construir sistemas multiagente.
Comportamentos emergentes / "momentos aha" que o paper destaca
Lembre-se que para um ambiente específico (vamos dizer MAT), eles semeiam seus agentes com papéis específicos durante a fase de inicialização. Planejadores, Executores, Verificadores. Um agente com o prompt de Planejador provavelmente dará lances no início dos episódios, enquanto verificadores provavelmente darão lances depois que uma solução preliminar estiver no lugar.
Embora essa seja uma maneira intuitiva de pensar sobre este paper, na prática não é o modelo correto. Uma maneira útil de ler o EOM é: eles não codificam um fluxo de trabalho rigidamente, em vez disso, eles estabelecem regras econômicas, e então a população se auto-organiza em comportamentos que se parecem surpreendentemente com "algoritmos" e "instituições" aprendidos.
Aqui estão algumas conclusões legais que o paper relata:
1) A atribuição de crédito se torna um sinal de mercado que seleciona cadeias de ação inteiras
Uma observação central é que o desempenho melhora porque a economia seleciona cadeias de ação úteis, as reproduz e deleta agentes que não contribuem. Então a coordenação é uma propriedade emergente da seleção, não um protocolo projetado.
Isso é um "aha" porque não é apenas "agentes fazem prompts melhores"; o sistema melhora em quais sequências de agentes agem, ou seja, a topologia de interação se aprimora ao longo do tempo. Similar ao paper do OpenAI Esconde-Esconde!
2) Curvas de aprendizado não monotônicas: o caos inicial é "produtivo"
No Finance-Agent-Bench eles notam explicitamente um padrão: o EOM cai no início (enquanto a exploração testa especialistas alternativos) e só mais tarde se recupera e supera o desempenho inicial. Isso é um pouco como Grokking no treinamento de redes neurais (eu acho?).
De qualquer forma, isso é um fenômeno muito "de mercado": os autores dizem (parafraseando) "a rotatividade e realocação iniciais podem prejudicar temporariamente o desempenho principal enquanto o sistema busca melhores especialistas/coordenação"
3) Trajetórias de riqueza mostram "linhagens" que dominam e "maus nascimentos" que morrem
No design de aceleradores, você pode literalmente ver linhagens úteis persistirem, gerarem descendentes e dominarem leilões, enquanto variantes fracassadas vão à falência e são removidas.
Em outras palavras, a unidade de aprendizado não é um prompt de agente: é uma árvore genealógica de prompts em evolução sob pressão de seleção de riqueza.
4) Descoberta de estrutura de domínio reutilizável sem modelos (heurísticas transferíveis)
Um comportamento emergente particularmente marcante: nos kernels de acelerador mais difíceis, a sociedade converge repetidamente para um motivo específico de tiling/fluxo de dados (estilo estacionário de saída) mesmo que:
- esse motivo não seja fornecido como modelo, e
- a recompensa seja apenas "quebra de recorde de EDP" (sem rótulos como "use estacionário de saída")
Então o sistema aprende uma heurística de design reutilizável através da seleção.
5) Prompts evoluem para rotinas compactas de raciocínio de múltiplas etapas ("listas de verificação" de auto-auditoria)
Em pesquisa científica, eles relatam evolução de prompt onde um EXECUTOR internaliza o que anteriormente exigia outros papéis, e mutações adicionam auto-verificações cada vez mais explícitas (princípio primeiro, verificações de simetria, verificações de viabilidade, substituição para falsear).
Um agente se torna menos um gerador de texto genérico e mais como um módulo procedural que executa uma rotina aprendida de derivação científica.
6) Disciplina de ação: aprender quando não gastar ações caras (CloudCast)
CloudCast é uma tarefa iterativa de otimização de código onde a sociedade de agentes deve melhorar um programa Python que projeta uma topologia de roteamento de broadcast multi-cloud para minimizar o custo total de transferência de dados (egress). Este foi um de seus ambientes de teste.
Nesta tarefa CloudCast, eles observam que a economia seleciona diferentes formas de fluxo de trabalho dependendo do estado do espaço de trabalho:
- perto de uma pontuação alta → curto "ler-editar-avaliar-commitar"
- incerto/regredido → loops mais longos "editar-construir-avaliar"
Isso é um comportamento emergente de consciência de recursos: uma política a nível de sociedade de quando agir com cautela vs agressivamente, sem controle central.
Leia o paper completo aqui: http://arxiv.org/abs/2606.02859
E também no Paper Breakdown, que foi o que usei para estudar este paper: http://paperbreakdown.com/abs/2606.02859
Obrigado por ler!
