Svegliati, è uscito un nuovo paper da Harvard: Economy of Minds (EOM). Hanno creato un sistema multi-agente decentralizzato in cui gli agenti coordinano e migliorano nel tempo usando meccanismi simili a quelli di mercato (aste, pagamenti, accumulo di ricchezza).
Riferiscono che un ambiente del genere ha portato a un ragionamento multi-step emergente e a ottime performance su diversi compiti agentici!
Nota: Questo articolo è stato scritto da AVB usando GPT-5.2 nel sistema Paper Breakdown.
Perché dovrebbe interessarmi questa roba?
Se stai costruendo sistemi multi-agente per svolgere compiti specifici, questo fa per te. La maggior parte degli stack multi-agente si basa ancora su molta orchestrazione progettata a mano: sei tu (lo sviluppatore) a scrivere prompt espliciti e grafi di stati per definire manualmente "chi fa cosa e quando".
I compiti lunghi richiedono diversi cambi di ruolo in base allo stato e all'avanzamento del compito. Ed è quasi sempre meglio progettare sistemi che possano ottimizzare i propri prompt di sistema in modo che i compiti progrediscano sempre.
L'obiettivo di questo paper è esattamente questo. Dato un compito, come si genera una popolazione ottimizzata di multi-agenti, ciascuno con istruzioni specifiche su COME agire E QUANDO agire.
E lo hanno fatto in un modo davvero unico e divertente: simulando un sistema di mercato che controlla esternamente come gli agenti si evolvono.
Il risultato finale di questa ottimizzazione è un gruppo di agenti specializzati e un meccanismo di instradamento intelligente per selezionare come risolvono un compito.
Quando mettiamo agenti semplici con uno spazio di azione basilare in uno scenario multi-agente complesso, cosa pensi che succeda? Emergono automaticamente comportamenti complessi perché quegli agenti semplici iniziano a ottimizzare la loro esistenza in base alle incertezze poste dagli altri agenti nello scenario. Questa è la parte più bella di tutto ciò.
Tra l'altro, questa teoria dei "comportamenti che emergono organicamente da scenari multi-agente" non è un concetto nuovo. Anche alcuni lavori multi-agente più vecchi, precedenti ai LLM, lo hanno indicato, come il famoso paper di OpenAI su Nascondino.
https://openai.com/index/emergent-tool-use/
Sebbene questo paper mi abbia ricordato alcune idee di quei vecchi paper multi-agente, ci sono alcune precisazioni. È importante notare quanto segue:
- Questo paper NON sta addestrando agenti a diventare finanziariamente indipendenti o a fare trading o aste!
- In effetti, si tratta di un nuovo algoritmo per ottimizzare agenti su ambienti comuni e verificabili come la matematica, l'ottimizzazione del codice degli acceleratori, la ricerca approfondita, la ricerca scientifica, ecc.
- Per la maggior parte, gli agenti non sanno nemmeno di essere dentro questo simulatore di mercato. È un sistema esterno che controlla come gli agenti si evolvono (e quali no).
Gli agenti partecipano all'asta per aggiudicarsi il diritto di fare un passo in uno di questi ambienti target.
Vincere quest'asta addebita l'importo dal loro portafoglio e ottengono il permesso di "visitare" l'ambiente per compiere un'azione reale che fa avanzare l'ambiente di un passo, da
t
a
t+1.
Gli agenti futuri che compiono azioni nello stesso ambiente pagano la loro offerta all'agente precedente (l'ultimo vincitore).
Ripeti questo per un po', e gli agenti più ricchi finiranno per avere le politiche migliori per operare nell'ambiente target.
È un'interpretazione interessante dell'assegnazione del credito a lungo termine e degli algoritmi evolutivi di ottimizzazione dei prompt. Analizziamo l'algoritmo dall'inizio per capire davvero cosa stanno combinando.
L'Approccio
In questo paper, un agente non è una rete neurale addestrata separatamente. Ogni agente è essenzialmente una politica LLM basata su prompt con:
- un prompt (un prompt di sistema / template di istruzioni che definisce il suo "ruolo" e la procedura). Questo ruolo cambia a seconda dell'ambiente target che stiamo ottimizzando. Ad esempio, per i compiti MATH, assegnano questi ruoli: pianificatore, esecutore, verificatore, e per il compito di progettazione dell'acceleratore: storico, pianificatore, esecutore
- una condizione di attivazione / risveglio che determina quando è idoneo a fare un'offerta all'asta.
- un valore di offerta (congelato) usato nelle aste,
- e una variabile di ricchezza che cambia nel tempo e guida la selezione
EOM funziona quindi in due cicli accoppiati:
- Pianificazione (all'interno di un episodio): gli agenti vanno all'asta per il diritto di agire ad ogni passo, e la ricchezza viene aggiornata tramite una regola di pagamento a catena di secchi.
- Adattamento (tra gli episodi): la popolazione evolve i prompt usando esplorazione/sfruttamento guidati esclusivamente dalla ricchezza.
L'obiettivo di EOM (il prodotto finale) è un gruppo di agenti. Ogni agente ha il proprio prompt di sistema su come agire in un certo ambiente e una politica su quando agire. Dato un nuovo problema, gli agenti fanno un'offerta su chi agirà, eseguono l'azione e ripetono il processo finché non viene raggiunta la soluzione.
Ciclo 1: Raccogliere Esperienze + Eseguire l'Asta
Ad ogni passo dell'ambiente in un episodio:
- Data l'osservazione corrente dell'ambiente target, ogni agente esegue un prompt che determina se dovrebbe "svegliarsi" o meno. Svegliarsi significa semplicemente partecipare all'imminente asta al passo 2.
- Gli agenti che hanno deciso di svegliarsi inviano automaticamente le loro offerte congelate. È un'offerta congelata perché queste offerte sono fisse durante l'inizializzazione (cioè gli agenti non cercano di allocare intelligentemente un'offerta).
- L'agente con l'offerta più alta è il vincitore dell'asta! Perdono immediatamente i soldi che hanno offerto. Ma ottengono il controllo dell'ambiente.
- L'agente vincitore campiona un'azione nell'ambiente target al suo stato corrente. Ciò comporterà l'esecuzione del passo successivo nell'ambiente target, facendo avanzare il clock da s_t -> s_t+1
- L'ambiente transita e produce una ricompensa r_t
- Avviene il Trasferimento di Ricchezza con l'assegnazione del credito a catena di secchi! Succedono 2 cose: a) Il nuovo vincitore paga la sua offerta al vincitore precedente b) Il nuovo vincitore raccoglie anche la ricompensa ambientale** r_t nel suo portafoglio
Per il primo vincitore, il pagamento va alla "casa" (non a un altro agente)
- Al passo successivo, l'intero ciclo si ripete ma sull'ambiente aggiornato. Tuttavia, gli agenti si "svegliano" in base all'osservazione più recente (ottenuta da s_t+1 ), e il vincitore di questa asta paga la sua offerta al vincitore dell'asta precedente. Questa offerta viene aggiunta al portafoglio del vincitore precedente.
- Se ad un certo punto un agente fallisce, viene espulso. Inoltre, se un agente se ne sta sul suo portafoglio e rifiuta di partecipare, anche il suo portafoglio si degrada nel tempo e alla fine fallisce. Questo aggiunge urgenza a tutta la faccenda.
Ora, molti ambienti non danno ricompense intermedie e ne generano solo una dopo la fine dell'intero episodio. Nell'RL tradizionale, questo è stato causa di molti mal di testa a causa del famigerato "problema dell'assegnazione del credito". In pratica, se una lunga catena di azioni porta eventualmente a una buona ricompensa, come si attribuisce un credito parziale ad ogni passo della catena?
Questo metodo affronta il problema usando la regola "paga la tua offerta all'ultimo vincitore dell'asta".
Questa decisione progettuale ha una conseguenza chiave relativa al flusso all'indietro del valore: un agente può trarre profitto spostando il sistema verso stati in cui gli agenti a valle sono disposti a "pagare la loro offerta" per subentrare. Questo diventa un'assegnazione del credito decentralizzata lungo la traiettoria.
Se la tua azione abilita azioni future di valore, gli agenti successivi "comprano" la continuazione da te tramite offerte, quindi vieni ricompensato anche se non hai ricevuto direttamente rt al momento della tua azione.
Successivamente, dopo che i rollout degli episodi sono finiti, è il momento di aggiornare le politiche.
Ciclo 2: Evolvere gli Agenti
Dopo che gli episodi terminano, la popolazione delle politiche degli agenti viene aggiornata usando la selezione economica e un meccanismo di mutazione del prompt. Fondamentalmente, potiamo via gli agenti che sono attualmente poveri e mutiamo gli agenti ricchi per il round successivo.
Ricorda, gli agenti con bassa ricchezza sono negativi perché o:
- non hanno partecipato all'asta (troppo passivi)
- hanno partecipato ma hanno compiuto azioni che hanno portato a stati negativi in futuro, a cui altri agenti non hanno partecipato
Dopo aver tagliato fuori questi sotto-performanti, aggiungiamo nuovi agenti finché la popolazione non raggiunge i vincoli di dimensione, usando due fonti:
- Sfruttamento: seleziona agenti "genitori" facoltosi e muta leggermente i loro prompt per produrre figli che preservano comportamenti utili ma variano un po'. Questo amplifica le strategie di successo e promuove la specializzazione.
- Esplorazione: sostituisci gli agenti falliti/deboli con nuove varianti create modificando i prompt per correggere le modalità di fallimento o esplorare diverse regioni di comportamento.
Inferenza e cosa spedisci effettivamente?
Spedisci un singolo agente? Un singolo vincitore? NO!
In EOM, ciò che "addestri" e poi "spedisci" per risolvere i compiti è una società/popolazione di agenti, dove ogni agente ha i propri prompt e la propria logica locale su "quando agire".
Al momento della valutazione, valutano esplicitamente usando una copia thread-locale della popolazione addestrata, e la politica di risveglio viene usata per selezionare quale agente agisce. La popolazione è "congelata" (nessun ulteriore addestramento).
Tutte le stranezze della simulazione di mercato, come portafogli e trasferimenti di ricchezza, sono solo cose del momento dell'addestramento. Una volta che la popolazione è ottimizzata, non le usiamo effettivamente durante l'inferenza.
Nota che il sistema delle offerte è ancora usato per determinare chi dovrebbe "agire" in un passo quando più attori insieme vogliono "svegliarsi".
Un Caso di Studio per Spiegare Tutto
Guarda la Figura 5 qui sopra. Spiega il fattore "figo" di questa idea di "Economy of Minds" sul compito di Progettazione dell'Acceleratore. Nella progettazione di acceleratori, gli agenti sono specializzati per ruolo:
- Storico: riassume le prove precedenti, conserva la memoria delle direzioni promettenti/fallite
- Pianificatore: propone direzioni di ricerca ad alto livello
- Esecutore: esegue valutazioni locali a grana fine
E la ricompensa ambientale riguarda il miglioramento dell' EDP (prodotto energia-ritardo) sui kernel GEMMINI ResNet-50 (un EDP più basso è meglio).
Ogni agente specializzato per ruolo (Storico, Pianificatore, Esecutore) possiede ricchezza, e questa ricchezza diventa una classifica in tempo reale dell'utilità man mano che gli episodi progrediscono.
Gli agenti che aiutano a produrre nuovi record migliori accumulano ricchezza. L'affitto periodico penalizza costantemente tutti (quindi gli agenti mediocri muoiono lentamente), e una volta che la ricchezza scende sotto lo zero, l'agente fallisce e viene rimosso.
Nel frattempo, gli agenti più ricchi generano discendenti mutati "di buona nascita" (sfruttamento) e i più deboli generano discendenti modificati "di cattiva nascita" (esplorazione).
Attraverso diversi kernel, la pressione del mercato scopre automaticamente quale lignaggio specialistico è effettivamente prezioso. A volte la memoria in stile Storico collassa a causa di un bias ereditato, a volte un lignaggio di Pianificatore si riproduce perché la direzione di ricerca ad alto livello è il collo di bottiglia, e a volte più ruoli coesistono perché sono complementari.
In altre parole, il coordinamento e l'assegnazione del credito emergono da semplici incentivi (flusso di ricchezza, affitto, nascita, fallimento), producendo una popolazione adattiva senza un sistema centrale! Ed è esattamente per questo che l'approccio sembra un modo figo per costruire sistemi multi-agente.
Comportamenti Emergenti / "Momenti Aha" Evidenziati dal Paper
Ricorda che per un ambiente specifico (diciamo MATH), durante la fase di inizializzazione, danno agli agenti ruoli specifici. Pianificatori, Esecutori, Verificatori. Un agente con il prompt di Pianificatore probabilmente farà un'offerta all'inizio degli episodi, mentre i verificatori faranno probabilmente offerte dopo che una bozza di soluzione è in atto.
Sebbene questo sia un modo intuitivo di pensare a questo paper, in pratica non è il modello corretto. Un modo utile per leggere EOM è: non codificano duramente un flusso di lavoro, ma impostano invece regole economiche, e poi la popolazione si auto-organizza in comportamenti che sembrano sorprendentemente "algoritmi" e "istituzioni" apprese.
Ecco alcune conclusioni fighe riportate dal paper:
1) L'assegnazione del credito diventa un segnale di mercato che seleziona intere catene di azioni
Un'osservazione centrale è che le prestazioni migliorano perché l'economia seleziona catene di azioni utili, le riproduce e cancella gli agenti che non contribuiscono. Quindi il coordinamento è una proprietà emergente della selezione, non un protocollo progettato.
Questo è un "aha" perché non è solo "gli agenti fanno prompt migliori"; il sistema migliora nella sequenza di agenti che agiscono, cioè la topologia di interazione si affina nel tempo. Simile al paper di OpenAI su Nascondino!
2) Curve di apprendimento non monotone: il caos iniziale è "produttivo"
Su Finance-Agent-Bench notano esplicitamente uno schema: EOM cala all'inizio (mentre l'esplorazione testa specialisti alternativi) e solo in seguito si riprende e supera le prestazioni iniziali. Questo è un po' come il Grokking nell'addestramento delle reti neurali (immagino?).
In ogni caso, è un fenomeno molto "simile al mercato": gli autori dicono (parafrasando) "il turnover e la riallocazione iniziali possono danneggiare temporaneamente le prestazioni headline mentre si cercano specialisti/coordinamenti migliori"
3) Le traiettorie di ricchezza mostrano "lignaggi" che dominano e "cattive nascite" che muoiono
Nella progettazione di acceleratori, puoi letteralmente vedere lignaggi utili persistere, generare prole e dominare le aste, mentre le varianti fallite falliscono e vengono rimosse.
In altre parole, l'unità di apprendimento non è un singolo prompt di agente: è un albero genealogico in evoluzione di prompt sotto la pressione della selezione basata sulla ricchezza.
4) Scoperta di strutture di dominio riutilizzabili senza template (euristiche trasferibili)
Un comportamento emergente particolarmente sorprendente: sui kernel di acceleratore più difficili, la società converge ripetutamente su un motivo di tiling/flusso di dati specifico (stile output-stationary) anche se:
- non gli viene dato quel motivo come template, e
- la ricompensa è solo "record di EDP" (nessuna etichetta come "usa output-stationary")
Quindi il sistema impara un'euristica di progettazione riutilizzabile attraverso la selezione.
5) I prompt si evolvono in routine di ragionamento multi-step compatte ("checklist" di auto-audit)
Nella ricerca scientifica, riportano un'evoluzione del prompt in cui un ESECUTORE interiorizza ciò che in precedenza richiedeva altri ruoli, e le mutazioni aggiungono autocontrolli sempre più espliciti (prima i principi, controlli di simmetria, controlli di fattibilità, sostituzione per falsificare).
Un agente diventa meno un generatore di testo generico e più un modulo procedurale che esegue una routine di derivazione scientifica appresa.
6) Disciplina dell'azione: imparare quando non spendere azioni costose (CloudCast)
CloudCast è un compito iterativo di ottimizzazione del codice in cui la società di agenti deve migliorare un programma Python che progetta una topologia di routing broadcast multi-cloud per minimizzare il costo totale di trasferimento dati (egress). Questo era uno dei loro banchi di prova.
In questo compito CloudCast, osservano che l'economia seleziona diverse forme di flusso di lavoro a seconda dello stato dello spazio di lavoro:
- vicino a un punteggio alto → brevi cicli "leggi-modifica-valuta-impegna"
- incerto/regredito → cicli più lunghi "modifica-costruisci-valuta"
Questo è un comportamento emergente di consapevolezza delle risorse: una politica a livello di società su quando agire con cautela vs aggressività, senza controllo centrale.
Leggi il paper completo qui: http://arxiv.org/abs/2606.02859
E anche su Paper Breakdown, che è ciò che ho usato per studiare questo paper: http://paperbreakdown.com/abs/2606.02859
Grazie per aver letto!
