Réveille-toi ma belle, il y a un nouvel article de Harvard : Economy of Minds (EOM). Ils ont créé un système multi-agents décentralisé où les agents coordonnent et s'améliorent au fil du temps en utilisant des mécanismes de type marché (enchères, paiements, accumulation de richesse).
Ils rapportent qu'un tel environnement a conduit à un raisonnement multi-étapes émergent et à de solides performances sur plusieurs tâches agentiques !
Note : Cet article a été écrit par AVB en utilisant GPT-5.2 dans le cadre de Paper Breakdown.
Pourquoi est-ce que ça devrait m'intéresser ?
Si tu construis des systèmes multi-agents pour accomplir des tâches spécifiques, c'est pour toi. La plupart des piles multi-agents reposent encore sur beaucoup d'orchestration conçue à la main — tu (le développeur) écris des prompts explicites et des graphes de machine d'état pour définir manuellement « qui fait quoi et quand ».
Les tâches longues nécessitent différents changements de rôle en fonction de l'état et de la progression de la tâche. Et il est presque toujours préférable de concevoir des systèmes qui peuvent optimiser la mise à jour de tes prompts système afin que les tâches progressent toujours.
Le but de cet article est exactement cela. Étant donné une tâche, comment générer une population optimisée de multi-agents, chacun avec des instructions spécifiques sur comment agir ET quand agir.
Et ils l'ont fait d'une manière vraiment unique et amusante — en simulant un système de marché qui contrôle de manière externe comment les agents évoluent.
Le résultat final de cette optimisation est un groupe d'agents spécialisés et un mécanisme de routage intelligent pour sélectionner comment ils résolvent une tâche.
Quand on place des agents simples avec un espace d'actions basique dans un scénario multi-agents complexe, que penses-tu qu'il se passe ? Des comportements complexes émergent automatiquement car ces agents simples commencent à optimiser leur vie autour des incertitudes posées par les autres agents dans le scénario. C'est la meilleure partie de tout cela.
D'ailleurs, cette théorie des « comportements émergeant organiquement d'un scénario multi-agents » n'est pas un nouveau concept. Même certains travaux multi-agents plus anciens pré-LLM l'ont indiqué, comme le célèbre article OpenAI Hide and Seek.
https://openai.com/index/emergent-tool-use/
Bien que cet article m'ait rappelé certaines idées de ces anciens articles multi-agents, il y a quelques réserves. Il est important de noter ce qui suit :
- Cet article n'entraîne PAS les agents à être financièrement indépendants ou à effectuer des échanges ou des enchères !
- En fait, c'est un nouvel algorithme pour optimiser les agents dans des environnements vérifiables courants comme les mathématiques, l'optimisation de code d'accélérateur, la recherche approfondie, la recherche scientifique, etc.
- Pour la plupart, les agents ne savent même pas qu'ils sont à l'intérieur de ce simulateur de marché. C'est un système externe qui contrôle comment les agents évoluent (et lesquels ne le font pas).
Les agents enchérissent dans l'enchère pour gagner le droit de faire un pas dans l'un de ces environnements cibles.
Gagner à cette enchère déduit le montant de leur portefeuille, et ils peuvent « visiter » l'environnement pour prendre une action réelle qui fait avancer l'environnement de l'étape
t
à l'étape
t+1.
Les futurs agents qui prennent des actions dans le même environnement remboursent leur enchère à l'agent précédent (le dernier gagnant).
Répète cela pendant un moment, et les agents les plus riches se retrouvent avec les meilleures politiques pour performer dans l'environnement cible.
C'est une approche super intéressante de l'attribution de crédit à long terme et des algorithmes d'optimisation évolutive de prompts. Décomposons l'algorithme depuis le début pour vraiment comprendre ce qu'ils mijotent ici.
L'Approche
Dans cet article, un agent n'est pas un réseau neuronal entraîné séparément. Chaque agent est essentiellement une politique LLM basée sur des prompts avec :
- un prompt (un prompt système / modèle d'instruction qui définit son « rôle » et sa procédure). Ce rôle change en fonction de l'environnement cible que nous optimisons. Par exemple, pour les tâches MATH, ils attribuent ces rôles : planificateur, exécuteur, vérificateur, et pour la tâche de conception d'accélérateur : historien, planificateur, exécuteur
- une condition de déclenchement / réveil qui détermine quand il est éligible pour enchérir dans l'enchère.
- une valeur d'enchère (gelée) utilisée dans les enchères,
- et une variable de richesse qui change au fil du temps et pilote la sélection
EOM fonctionne ensuite en deux boucles couplées :
- Planification (au sein d'un épisode) : les agents enchérissent pour le droit d'agir à chaque étape, et la richesse est mise à jour via une règle de paiement bucket-brigade.
- Adaptation (entre les épisodes) : la population fait évoluer les prompts en utilisant l'exploration/exploitation pilotée purement par la richesse.
Le but d'EOM (le livrable final) est un groupe d'agents. Chaque agent ayant son propre prompt système sur comment agir dans un certain environnement, et une politique de quand agir. Étant donné un nouveau problème, les agents enchérissent pour savoir qui agira, effectuent l'action, et répètent le processus jusqu'à ce que la solution soit atteinte.
Boucle 1 : Collecter les expériences + Exécuter l'enchère
À chaque étape de l'environnement dans un épisode :
- Étant donné l'observation actuelle de l'environnement cible, chaque agent exécute un prompt qui détermine s'il doit se « réveiller » ou non. Se réveiller signifie simplement participer à l'enchère à venir à l'étape 2.
- Les agents qui ont décidé de se réveiller soumettent automatiquement leurs enchères gelées. C'est une enchère gelée car ces enchères sont fixes lors de l'initialisation (c'est-à-dire que les agents n'essaient pas d'allouer intelligemment une enchère).
- L'agent avec l'enchère la plus élevée est le gagnant de l'enchère ! Il perd immédiatement l'argent qu'il a misé. Mais il gagne le contrôle de l'environnement.
- L'agent gagnant échantillonne une action dans l'environnement cible à son état actuel. Il s'agira d'exécuter l'étape suivante dans l'environnement cible, en faisant passer l'horloge de s_t -> s_t+1
- L'environnement transitionne et produit une récompense r_t
- Le transfert de richesse a lieu avec l'attribution de crédit bucket-brigade ! 2 choses se produisent : a) Le nouveau gagnant paie son enchère au gagnant précédent b) Le nouveau gagnant collecte également la récompense de l'environnement** r_t dans son portefeuille
Pour le premier gagnant, le paiement va à la « maison » (pas à un autre agent)
- À l'étape suivante, toute la boucle se répète mais sur l'environnement mis à jour. Cependant, les agents se « réveillent » en fonction de la dernière observation (obtenue à partir de s_t+1), et le gagnant de cette enchère paie son enchère au gagnant de l'enchère précédente. Cette enchère est ajoutée au portefeuille du gagnant précédent.
- Si à un moment donné, un agent fait faillite, il est expulsé. De plus, si un agent reste sur son portefeuille et refuse de participer, son portefeuille se dégrade également avec le temps et il finit par faire faillite. Cela ajoute de l'urgence à l'ensemble.
Maintenant, beaucoup d'environnements ne donnent pas de récompenses intermédiaires et n'en génèrent qu'une après la fin de l'épisode entier. En RL traditionnelle, cela a été la cause de bien des maux de tête en raison du fameux problème d'« attribution de crédit ». En gros, si une longue chaîne d'actions mène finalement à une bonne récompense, comment attribuer un crédit partiel à chaque étape de la chaîne ?
Cette méthode résout ce problème en utilisant la règle « paie ton enchère au dernier gagnant de l'enchère ».
Cette décision de conception a une conséquence clé liée au flux de valeur vers l'arrière : un agent peut profiter en déplaçant le système dans des états où les agents en aval sont prêts à « payer leur enchère » pour prendre le relais. Cela devient une attribution de crédit décentralisée sur la trajectoire.
Si ton action permet des actions futures précieuses, les agents ultérieurs « achètent » la continuation de toi via des enchères, donc tu es récompensé même si tu n'as pas directement reçu rt à ton étape d'action.
Ensuite, après la fin des déroulements d'épisodes, il est temps de mettre à jour les politiques.
Boucle 2 : Faire évoluer les agents
Après la fin des épisodes, la population de politiques d'agents est mise à jour en utilisant une sélection économique et un mécanisme de mutation de prompts. En gros, on élimine les agents qui sont actuellement pauvres, et on mute les agents qui sont riches pour le tour suivant.
Rappelle-toi que les agents à faible richesse sont mauvais parce qu'ils soit :
- n'ont pas participé à l'enchère (trop passifs)
- ont participé mais ont pris des actions qui ont conduit à de mauvais états dans le futur, auxquels d'autres agents n'ont pas participé
Après avoir éliminé ces sous-performants, nous ajoutons de nouveaux agents jusqu'à ce que la population atteigne les contraintes de taille, en utilisant deux sources :
- Exploitation : choisir des agents « parents » riches et muter légèrement leurs prompts pour produire des enfants qui préservent les comportements utiles mais varient un peu. Cela amplifie les stratégies réussies et favorise la spécialisation.
- Exploration : remplacer les agents faibles/en faillite par de nouvelles variantes créées en modifiant les prompts pour corriger les modes d'échec ou explorer différentes zones de comportement.
Inférence et qu'est-ce que tu livres concrètement ?
Livres-tu un seul agent ? Un seul gagnant ? NON !
Dans EOM, ce que tu « entraînes » et ensuite « livres » pour résoudre des tâches est une société/population d'agents, où chaque agent a ses propres prompts et sa propre logique locale de « quand agir ».
Au moment de l'évaluation, ils évaluent explicitement en utilisant une copie locale du fil de la population entraînée, et la politique de réveil est utilisée pour sélectionner quel agent agit. La population est « gelée » (pas d'entraînement supplémentaire).
Toutes les manigances de simulation de marché, comme les portefeuilles et les transferts de richesse, ne sont que des choses de l'entraînement. Une fois la population optimisée, nous ne les utilisons pas réellement pendant l'inférence.
Note que le système d'enchères est toujours utilisé pour déterminer qui devrait « agir » à une étape lorsque plusieurs acteurs veulent se « réveiller » ensemble.
**
Une étude de cas pour tout expliquer
Regarde la figure 5 ci-dessus. Elle explique le facteur cool de cette idée d'« Economy of Minds » sur la tâche de conception d'accélérateur. Dans la conception d'accélérateur, les agents sont spécialisés par rôle :
- Historien : résume les essais précédents, garde en mémoire les directions prometteuses/échouées
- Planificateur : propose des directions de recherche de haut niveau
- Exécuteur : effectue des évaluations locales fines
Et la récompense de l'environnement concerne l'amélioration du EDP (energy-delay product) sur les noyaux GEMMINI ResNet-50 (un EDP plus bas est meilleur)
Chaque agent spécialisé par rôle (Historien, Planificateur, Exécuteur) porte une richesse, et cette richesse devient un tableau de bord en direct de l'utilité au fur et à mesure que les épisodes progressent.
Les agents qui aident à produire de nouveaux meilleurs records accumulent de la richesse. Le loyer périodique pénalise régulièrement tout le monde (donc les agents médiocres meurent lentement), et une fois que la richesse tombe en dessous de zéro, l'agent fait faillite et est retiré.
Pendant ce temps, les agents les plus riches engendrent des descendants mutés de « bonne naissance » (exploitation) et les plus faibles engendrent des descendants modifiés de « mauvaise naissance » (exploration).
À travers différents noyaux, la pression du marché découvre automatiquement quelle lignée spécialiste est réellement précieuse. Parfois, la mémoire de style Historien s'effondre en raison d'un biais hérité, parfois une lignée Planificateur se reproduit car la direction de recherche de haut niveau est le goulot d'étranglement, et parfois plusieurs rôles coexistent car ils sont complémentaires.
En d'autres termes, la coordination et l'attribution de crédit émergent d'incitations simples (flux de richesse, loyer, naissance, faillite), produisant une population adaptative sans système central ! Et c'est exactement pourquoi cette approche ressemble à une façon cool de construire des systèmes multi-agents.
Comportements émergents / « moments aha » mis en évidence par l'article
Rappelle-toi que pour un environnement spécifique (disons MATH), ils initialisent leurs agents avec des rôles spécifiques pendant la phase d'initialisation. Planificateurs, Exécuteurs, Vérificateurs. Un agent avec le prompt de Planificateur enchérira probablement tôt dans les épisodes, tandis que les vérificateurs enchériront probablement après qu'une ébauche de solution soit en place.
Bien que ce soit une façon intuitive de penser à cet article, en pratique ce n'est pas le modèle correct. Une façon utile de lire EOM est : ils ne codent pas en dur un workflow, à la place ils établissent des règles économiques, et ensuite la population s'auto-organise en comportements qui ressemblent étonnamment à des « algorithmes » et « institutions » appris.
Voici quelques points importants que l'article rapporte :
1) L'attribution de crédit devient un signal de marché qui sélectionne des chaînes d'actions entières
Une observation clé est que la performance s'améliore parce que l'économie sélectionne des chaînes d'actions utiles, les reproduit, et supprime les agents qui ne contribuent pas. Donc la coordination est une propriété émergente de la sélection, pas un protocole conçu.
C'est un « aha » parce que ce n'est pas juste « les agents font de meilleurs prompts » ; le système s'améliore à quelles séquences d'agents agissent, c'est-à-dire que la topologie d'interaction s'affine au fil du temps. Similaire à l'article OpenAI Hide-and-Seek !
2) Courbes d'apprentissage non monotones : le chaos précoce est « productif »
Sur Finance-Agent-Bench, ils notent explicitement un motif : EOM chute tôt (alors que l'exploration teste des spécialistes alternatifs) et seulement plus tard se rétablit et dépasse la performance initiale. Cela ressemble un peu à Grokking dans l'entraînement des réseaux de neurones (je suppose ?)
En tout cas, c'est un phénomène très « de type marché » : les auteurs disent (paraphrase) « un turnover précoce et une réallocation peuvent temporairement nuire à la performance globale pendant qu'elle cherche de meilleurs spécialistes/coordination »
3) Les trajectoires de richesse montrent des « lignées » qui dominent, et des « mauvaises naissances » qui disparaissent
Dans la conception d'accélérateur, tu peux littéralement voir des lignées utiles persister, engendrer une descendance, et dominer les enchères, tandis que les variantes échouées font faillite et sont supprimées.
En d'autres termes, l'unité d'apprentissage n'est pas un prompt d'agent : c'est un arbre généalogique de prompts en évolution sous la pression de sélection de la richesse.
4) Découverte d'une structure de domaine réutilisable sans modèles (heuristiques transférables)
Un comportement émergent particulièrement frappant : sur les noyaux d'accélérateur les plus durs, la société converge de manière répétée vers un motif de tiling/flux de données spécifique (style output-stationary) même si :
- ce motif n'est pas donné comme modèle, et
- la récompense est seulement « ruptures de record EDP » (pas d'étiquettes comme « utiliser output-stationary »)
Donc le système apprend une heuristique de conception réutilisable par la sélection.
5) Les prompts évoluent en routines de raisonnement multi-étapes compactes (listes de contrôle d'auto-vérification)
Dans la recherche scientifique, ils rapportent une évolution des prompts où un EXÉCUTEUR internalise ce qui nécessitait auparavant d'autres rôles, et les mutations ajoutent des auto-vérifications de plus en plus explicites **(vérification des principes en premier, vérifications de symétrie, vérifications de faisabilité, substitution pour falsifier).
Un agent devient moins un générateur de texte générique et plus un module procédural qui exécute une routine de dérivation scientifique apprise.
6) Discipline d'action : apprendre quand ne pas dépenser des actions coûteuses (CloudCast)
CloudCast est une tâche d'optimisation de code itérative où la société d'agents doit améliorer un programme Python qui conçoit une topologie de routage de diffusion multi-cloud pour minimiser le coût total de transfert de données (egress). C'était l'un de leurs bancs d'essai.
Dans cette tâche CloudCast, ils observent que l'économie sélectionne différentes formes de workflow selon l'état de l'espace de travail :
- près d'un score élevé → court « lire-éditer-évaluer-commiter »
- incertain/régression → boucles plus longues « éditer-construire-évaluer »
C'est un comportement émergent de conscience des ressources : une politique au niveau de la société de quand agir prudemment vs agressivement, sans contrôle central.
Lis l'article complet ici : http://arxiv.org/abs/2606.02859
Et aussi sur Paper Breakdown, que j'ai utilisé pour étudier cet article : http://paperbreakdown.com/abs/2606.02859
Merci d'avoir lu !
