起きて、恋人よ！ハーバードから新しい論文が出たぞ：Economy of Minds (EOM)。彼らが作ったのは分散型マルチエージェントシステムで、エージェント同士が市場のようなメカニズム（オークション、支払い、富の蓄積）を使って協調し、時間の経過とともに改善されていくものだ。
このような環境が創発的なマルチステップ推論を生み出し、いくつかのエージェントタスクで優れたパフォーマンスを発揮したと報告している！
＊注：この記事は、AVB が Paper Breakdown ハーネス内の GPT-5.2 を使って執筆しました。
なんでこれを気にしなきゃいけないの？
特定のタスクを達成するためのマルチエージェントシステムを構築しているなら、これはあなた向けだ。 現在のマルチエージェントスタックのほとんどは、依然として多くの手作業によるオーケストレーションに依存している。つまり、あなた（開発者）が明示的なプロンプトやステートマシングラフを書き、「誰が、何を、いつ行うか」を手動で定義する必要があるのだ。
長いタスクでは、タスクの状態や進捗に応じて異なる役割への切り替えが必要になる。そして、タスクが常に前進するようにシステムプロンプトを最適に切り替えられるシステムを設計するのが、ほとんどの場合最善の方法だ。
この論文の目的はまさにこれを行うことだ。与えられたタスクに対して、どのように行動すべきか、かついつ行動すべきかに関する具体的な指示を持つ、最適化されたマルチエージェントの集団をどのように生成するか。
そして彼らはそれを本当にユニークで楽しい方法で実現した。エージェントの進化を外部から制御する市場システムをシミュレートしたのだ。
この最適化の最終結果は、専門化されたエージェントのグループと、タスクをどのように解決するかを選択するためのインテリジェントなルーティングメカニズムである。
基本的な行動空間を持つ単純なエージェントを複雑なマルチエージェントシナリオに置くと、何が起こると思う？ 複雑な行動が自動的に創発する。なぜなら、それらの単純なエージェントは、シナリオ内の他のエージェントによってもたらされる不確実性に対して、自らの生存を最適化し始めるからだ。これがこのすべての最も素晴らしい点だ。
ちなみに、この「マルチエージェントシナリオから行動が有機的に創発する」という理論は新しい概念ではない。有名な OpenAI の Hide and Seek の論文など、LLM 以前の古いマルチエージェント研究の中にもこれを示唆するものがある。
https://openai.com/index/emergent-tool-use/
この論文は、それらの古いマルチエージェント論文からのいくつかのアイデアを思い出させたが、いくつかの注意点もある。以下の点に注意することが重要だ：
- この論文は、エージェントが経済的に独立したり、取引やオークションを行ったりするように訓練するものではない！
- 実際、これは、数学、アクセラレータコードの最適化、深層探索、科学研究などの一般的な検証可能な環境においてエージェントを最適化するための新しいアルゴリズムである。
- ほとんどの場合、エージェントは自分たちがこの市場シミュレーターの中にいることすら知らない。これは、エージェントの進化方法（そしてどのエージェントが進化しないか）を制御する外部システムである。
エージェントはオークションで入札し、これらのターゲット環境のいずれかでステップを実行する権利を獲得する。
このオークションで勝利すると、その金額がウォレットから差し引かれ、環境を「訪問」して実際のアクションを実行し、環境をステップ
t
からステップ
t+1
へ進めることができる。
同じ環境で後にアクションを実行するエージェントは、その入札額を前のエージェント（最後の勝者）に支払う。
これをしばらく繰り返すと、最も裕福なエージェントが、ターゲット環境でパフォーマンスを発揮するための最良のポリシーを持つことになる。
これは、長期にわたるクレジット割り当てと進化的プロンプト最適化アルゴリズムに対する非常に興味深い見解である。彼らがここで何をしているのかを本当に理解するために、アルゴリズムを最初から分解してみよう。
アプローチ
この論文では、エージェントは個別に訓練されたニューラルネットワークではない。各エージェントは基本的にプロンプトされた LLM ポリシーであり、以下を持つ：
- プロンプト（その「役割」と手順を定義するシステムプロンプト / 指示テンプレート）。この役割は、最適化対象のターゲット環境に応じて変化する。例えば、MATH タスクでは、プランナー、実行役、検証役 という役割を割り当て、アクセラレータ設計タスクでは、歴史記録役、プランナー、実行役 を割り当てる。
- オークションで入札する資格がある時期を決定するトリガー / 起床条件
- オークションで使用される（固定された）入札額
- 時間の経過とともに変化し、選択を促進する富変数
EOM は2 つの結合されたループで実行される：
- 計画（エピソード内）： 各ステップで行動する権利をエージェントがオークションし、富はバケツリレー方式の支払いルールによって更新される。
- 適応（エピソード間）： 集団は、富のみによって駆動される探索 / 活用を使用してプロンプトを進化させる。
EOM（最終成果物）の目標は、エージェントのグループである。各エージェントは、特定の環境でどのように行動するかについての独自のシステムプロンプトと、いつ行動するかについてのポリシーを持つ。新しい問題が与えられると、エージェントは誰が行動するかについて入札し、アクションを実行し、解決策に到達するまでこのプロセスを繰り返す。
ループ 1：経験の収集 + オークションの実行
エピソード内の各環境ステップで：
- ターゲット環境の現在の観測を踏まえ、各エージェントは「起床」すべきかどうかを決定するプロンプトを実行する。起床とは、単にステップ 2 の次のオークションに参加することを意味する。
- 起床を決定したエージェントは、自動的に固定された入札額を送信する。これは、これらの入札が初期化時に固定されているためである（つまり、エージェントは入札を賢く割り当てようとはしない）。
- 最高入札額のエージェントがオークションの勝者となる！ 彼らは入札した金額を即座に失う。しかし、環境の制御を獲得する。
- 勝者は、現在の状態でターゲット環境におけるアクションをサンプリングする。これは、ターゲット環境で次のステップを実行し、時計を s_t から s_t+1 へ進めることになる。
- 環境が遷移し、報酬 r_t を生成する。
- バケツリレー方式のクレジット割り当てによる富の移転が行われる！ 2 つのことが起こる：a) 新しい勝者は、その入札額を前の勝者に支払う b) 新しい勝者はまた、環境報酬 r_t を自身のウォレットに受け取る
最初の勝者の場合、支払いは「ハウス」（他のエージェントではない）へ行われる。
- 次のステップでは、ループ全体が更新された環境で繰り返される。しかし、エージェントは最新の観測（s_t+1 から得られる）に基づいて「起床」し、このオークションの勝者はその入札額を前のオークションの勝者に支払う。この入札額は前の勝者のウォレットに追加される。
- 任意の時点でエージェントが破産した場合、彼らは追放される。また、エージェントがウォレットを保持したまま参加を拒否すると、そのウォレットも時間の経過とともに減少し、最終的に破産する。これにより、すべてに緊急性が加わる。
さて、多くの環境は中間報酬を一切与えず、エピソード全体が終了した後にのみ報酬を生成する。従来の RL では、これは悪名高い「クレジット割り当て」問題により、多くの頭痛の種となってきた。基本的に、アクションの長い連鎖が最終的に良い報酬につながった場合、その連鎖の各ステップに部分的なクレジットをどのように帰属させるか？
この方法は、「前のオークション勝者に入札額を支払う」というルールを使用してこの問題に対処する。
その設計上の決定は、価値の後方への流れに関連する重要な結果をもたらす：エージェントは、後続のエージェントが「入札額を支払って」引き継ごうとする状態にシステムを移行させることで利益を得ることができる。これは、軌跡全体にわたる分散型クレジット割り当てとなる。
もしあなたの行動が将来の価値ある行動を可能にすれば、後のエージェントが入札を通じてあなたから継続を「買い取る」ため、あなたの行動ステップで直接 rt を受け取らなくても報酬を得られる。
次に、エピソードロールアウトが終了した後、ポリシーを更新する時が来る。
ループ 2：エージェントの進化
エピソード終了後、エージェントポリシーの集団は経済的選択とプロンプト突然変異メカニズムを使用して更新される。基本的に、現在貧しいエージェントを間引き、次のラウンドのために裕福なエージェントを突然変異させる。
富の少ないエージェントは以下の理由で悪いことを覚えておいてほしい：
- オークションに参加しなかった（受動的すぎる）
- 参加したが、将来悪い状態につながる行動をとり、他のエージェントが参加しなかった
それらの成績不振者を切り捨てた後、集団がサイズ制約に達するまで、2 つのソースを使用して新しいエージェントを追加する：
- 活用： 裕福な「親」エージェントを選び、そのプロンプトをわずかに突然変異させて、有用な行動を保持しつつ少し変化する子孫を生成する。これにより、成功した戦略が増幅され、専門化が促進される。
- 探索： 破産した/弱いエージェントを、失敗モードを修正したり異なる行動領域を探索するためにプロンプトを修正して作成された新しいバリアントで置き換える。
推論と実際に何を出荷するのか？
単一のエージェントを出荷するのか？ 単一の勝者？ いいえ！
EOM では、タスクを解決するために「訓練」し、その後「出荷」するものは、エージェントの社会 / 集団であり、各エージェントは独自のプロンプトと独自の「いつ行動するか」のローカルロジックを持つ。
評価時には、彼らは明示的に訓練された集団のスレッドローカルコピーを使用して評価し、起床ポリシーを使用してどのエージェントが行動するかを選択する。集団は「固定」される（それ以上の訓練は行われない）。
ウォレットや富の移転などの市場シミュレーションの奇抜な動きはすべて、訓練時のものに過ぎない。集団が最適化されたら、推論中は実際にはそれらを使用しない。
入札システムは、複数のアクターが同時に「起床」したい場合に、ステップで誰が「行動」すべきかを決定するために依然として使用されることに注意。
**
すべてを説明するためのケーススタディ
上の図 5 を確認してほしい。これは、アクセラレータ設計タスクにおけるこの「Economy of Minds」のアイデアのクールな点を説明している。アクセラレータ設計では、エージェントは役割専門化されている：
- 歴史記録役： 以前の試行を要約し、有望/失敗した方向性の記憶を保持する。
- プランナー： 高レベルの検索方向性を提案する。
- 実行役： 詳細なローカル評価を実行する。
そして、環境報酬は GEMMINI ResNet-50 カーネルにおける EDP（エネルギー遅延積）の改善に関するものだ（EDP が低いほど良い）。
各役割専門化されたエージェント（歴史記録役、プランナー、実行役）は富を保持し、この富はエピソードが進行するにつれて有用性の生きたスコアボードとなる。
新しい最良記録の生成に貢献するエージェントは富を蓄積する。定期的なレントは全員を着実に罰する（そのため、平凡なエージェントはゆっくりと死滅する）、そして富がゼロを下回ると、エージェントは破産し、削除される。
一方、最も裕福なエージェントは突然変異した「良き生まれ」の子孫を生み出し（活用）、最も弱いエージェントは修正された「悪しき生まれ」の子孫を生み出す（探索）。
異なるカーネル間で、市場圧力はどの専門家の血統が実際に価値があるかを自動的に発見する。時には歴史記録役スタイルの記憶が継承されたバイアスによって崩壊し、時にはプランナーの血統が高レベルの検索方向性がボトルネックであるために繁殖し、時には複数の役割が補完的であるために共存する。
言い換えれば、協調とクレジット割り当ては、富の流れ、レント、誕生、破産といった単純なインセンティブから創発し、中央システムなしで適応的な集団を生み出す！ そしてそれがまさに、このアプローチがマルチエージェントシステムを構築するためのクールな方法のように感じられる理由だ。
論文が強調する創発的な行動 / 「aha モーメント」
特定の環境（MATH など）では、初期化フェーズ中にエージェントに特定の役割（プランナー、実行役、検証役）を seeding することを思い出してほしい。プランナープロンプトを持つエージェントはエピソードの初期に入札する可能性が高く、検証役は解答案ができた後に入札する可能性が高い。
しかし、これはこの論文を考える直感的な方法だが、実際には正しいモデルではない。EOM を読む有用な方法は次のとおりだ：彼らはワークフローをハードコードせず、代わりに経済ルールを設定し、集団が学習された「アルゴリズム」や「制度」のように見える行動に自己組織化する。
以下は、論文が報告するいくつかのクールなポイントだ：
1) クレジット割り当てがアクション連鎖全体を選択する 市場信号 になる
中心的な観察の 1 つは、経済が有用なアクション連鎖を選択し、それを複製し、貢献しないエージェントを削除するため、パフォーマンスが向上することだ。したがって、協調は設計されたプロトコルではなく、選択の創発的な特性である。
これは「aha」モーメントだ。なぜなら、単に「エージェントがより良いプロンプトを書く」というだけでなく、システムはどのエージェントの連鎖が行動するか、つまり相互作用トポロジーが時間の経過とともに研ぎ澄まされるからだ。OpenAI の Hide-and-Seek 論文と似ている！
2) 非単調な学習曲線：初期の混乱は「生産的」である
Finance-Agent-Bench では、彼らは明確にパターンを指摘している：EOM は初期に低下し（探索が代替の専門家をテストするため）、その後回復し、初期パフォーマンスを上回る。これはニューラルネットワーク訓練における Grokking に少し似ている（と思う）。
いずれにせよ、これは非常に「市場らしい」現象だ。著者たちは（言い換えれば）「より良い専門家や協調を模索している間、初期の売買と再配分は一時的に見出しのパフォーマンスを低下させる可能性がある」と述べている。
3) 富の軌跡は、支配する「血統」と死滅する「悪しき誕生」を示す
アクセラレータ設計では、有用な血統が持続し、子孫を生み出し、オークションを支配する一方、失敗したバリアントは破産して削除されるのを文字通り見ることができる。
言い換えれば、学習の単位は単一のエージェントプロンプトではない：それは富の選択圧力の下で進化するプロンプトの家系図である。
4) テンプレートなしでの再利用可能なドメイン構造の発見（転移可能なヒューリスティック）
特に顕著な創発的行動：最も難しいアクセラレータカーネルにおいて、社会は繰り返し特定のタイリング/データフローモチーフ（出力定常スタイル）に収束する。しかし、以下の条件にもかかわらず：
- そのモチーフはテンプレートとして与えられておらず、
- 報酬は単に「EDP 記録更新」のみである（「出力定常を使用せよ」のようなラベルはない）。
したがって、システムは選択を通じて再利用可能な設計ヒューリスティックを学習する。
5) プロンプトがコンパクトなマルチステップ推論ルーチンへ進化する（自己監査「チェックリスト」）
科学研究では、実行役が以前は他の役割を必要としていたものを内面化し、突然変異がますます明示的な自己チェック（原理優先、対称性チェック、実現可能性チェック、反証のための置換）を追加するプロンプト進化が報告されている。
エージェントは汎用的なテキスト生成器ではなくなり、学習された科学的導出ルーチンを実行する手続き的モジュールのようになる。
6) 行動規律：高価なアクションを いつ使用しないか を学習する（CloudCast）
CloudCast は反復的なコード最適化タスクであり、エージェント社会は、マルチクラウドブロードキャストルーティングトポロジーを設計する Python プログラムを改善し、総データ転送（エグレス）コストを最小化する必要がある。これは彼らのテストベッドの 1 つだった。
この CloudCast タスクでは、経済がワークスペースの状態に応じて異なるワークフロー形状を選択することを観測している：
- 高いスコアの近く → 短い「read-edit-evaluate-commit」
- 不確実/後退 → より長い「edit-build-evaluate」ループ
これは創発的なリソース認識行動であり、中央制御なしでのいつ慎重に行動し、いつ積極的に行動するかに関する社会レベルのポリシーである。
全文はこちらで読んでほしい： http://arxiv.org/abs/2606.02859
また、私がこの論文を研究するために使用した Paper Breakdown もこちら：http://paperbreakdown.com/abs/2606.02859
読んでくれてありがとう！
**
