醒醒吧寶貝，哈佛又出新論文了：經濟心智（Economy of Minds, EOM）。 他們打造了一個去中心化的多智能體系統，讓這些 Agent 能透過市場機制（拍賣、支付、財富累積）來協作並隨時間自我進化。
他們報告指出，這樣的環境已經催生出湧現性的多步推理能力，並在多項代理任務中有出色表現！
注意：本文由 AVB 在 Paper Breakdown 框架內使用 GPT-5.2 撰寫。
為什麼我該在意這個東西？
如果你正在建構多智能體系統來完成特定任務，那這篇論文就是為你而寫的。 目前大多數多智能體技術棧仍高度依賴手動設計的編排——你（開發者）得親自寫明確的提示詞和狀態機圖表，手動定義「誰在何時做什麼」。
長期任務需要根據任務的狀態和進度切換不同的角色。而設計一個能最優化切換系統提示詞，讓任務總能持續推進的系統，幾乎永遠是最佳做法。
這篇論文的目標正是要做到這件事。給定一個任務，如何產生一個最佳化的多智能體群體，讓每個 Agent 都具備明確的指示，知道「要做什麼」以及「何時該做」。
而且他們用了一個非常特別又有趣的方式來實現——模擬一個市場系統，從外部控制 Agent 如何進化。
這種優化的最終產物，是一組專業化的 Agent，以及一個智慧路由機制來決定如何解決任務。
當我們把具備基本行動能力的簡單 Agent，放進一個複雜的多智能體情境中，你覺得會發生什麼事？複雜行為會自動湧現，因為這些簡單 Agent 開始圍繞情境中其他 Agent 帶來的不確定性，來優化自己的「生存策略」。這就是整個概念最精彩的地方。
順帶一提，「行為從多智能體情境中有機湧現」這個理論並不是新概念。甚至一些較早期、在大型語言模型問世前的多智能體研究也曾指出這一點，例如著名的 OpenAI 捉迷藏論文。
https://openai.com/index/emergent-tool-use/
雖然這篇論文讓我想起一些早期多智能體論文的想法，但還是有一些需要注意的地方。以下幾點很重要：
- 這篇論文並非訓練 Agent 來實現財務獨立，或執行交易、拍賣！
- 事實上，這是一種新演算法，用來在常見的可驗證環境中最佳化 Agent，例如數學題、加速器程式碼優化、深度搜尋、科學研究等。
- 大多數情況下，Agent 甚至不知道自己在這個市場模擬器中。 這是一個外部系統，負責控制 Agent 如何進化（以及哪些 Agent 被淘汰）。
Agent 在拍賣中競標，以贏得在這些目標環境中執行一步行動的權利。
贏得拍賣會從其錢包中扣除競標金額，然後他們就能「進入」該環境，採取實際行動，將環境從步驟
t
推進到步驟
t+1。
未來在同一環境中採取行動的 Agent，會將其競標金額支付給上一個 Agent（也就是上一次的得標者）。
重複這個過程一段時間後，最富有的 Agent 最終會擁有在目標環境中表現最佳的策略。
這對於長期信用分配和進化式提示詞優化演算法來說，是一個非常有趣的觀點。讓我們從頭開始解析這個演算法，真正理解他們在做什麼。
方法
在這篇論文中，Agent 並非單獨訓練的神經網路。每個 Agent 基本上是一個由提示詞驅動的大型語言模型策略，包含：
- 提示詞（一個系統提示詞 / 指令模板，定義其「角色」和流程）。這個角色會根據我們正在優化的目標環境而改變。例如，對於數學任務，他們分配的角色是：規劃者、執行者、驗證者；對於加速器設計任務則是：歷史學家、規劃者、執行者。
- 觸發／喚醒條件，決定何時有資格在拍賣中競標。
- 一個（固定的）競標價格，用於拍賣。
- 一個財富變數，會隨時間變化並驅動篩選機制。
然後，EOM 在兩個耦合的循環中運作：
- 規劃（在單個 Episode 內）： Agent 在每一步拍賣行動權，並透過接力式（bucket-brigade） 支付規則更新財富。
- 適應（跨多個 Episodes）： 群體透過純粹由財富驅動的探索與利用機制來進化提示詞。
EOM 的最終目標（最終交付物）是一組 Agent。每個 Agent 都有自己關於如何在特定環境中行動的系統提示詞，以及何時行動的策略。給定一個新問題時，Agent 會競標誰來行動、執行行動，並重複這個過程直到找到解決方案。
循環一：收集經驗 + 執行拍賣
在一個 Episode 的每個環境步驟中：
- 根據目標環境的當前觀察狀態，每個 Agent 執行其提示詞，判斷是否應該「喚醒」。喚醒僅僅意味著參與下一步驟的拍賣。
- 決定喚醒的 Agent 會自動提交其固定的競標價格。之所以是固定價格，是因為這些競標價格在初始化時就已設定好（也就是說，Agent 不會試圖聰明地分配投標金額）。
- 出價最高的 Agent 就是拍賣的贏家！他們會立即損失競標的金額，但獲得了環境的控制權。
- 得標的 Agent 會在目標環境的當前狀態下採樣一個行動。這通常意味著執行目標環境的下一個步驟，將時鐘從 s_t 推進到 s_t+1。
- 環境發生轉變並產生一個獎勵 r_t。
- 使用接力式（bucket-brigade）信用分配進行財富轉移！ 會發生兩件事：a) 新的得標者將其競標金額支付給上一位得標者；b) 新的得標者還會將環境獎勵 r_t 收入其錢包。
對於第一位得標者，其支付對象是「莊家」（而非另一個 Agent）。
- 在下一步，整個循環在更新後的環境上重複。然而，Agent 會根據最新的觀察（從 s_t+1 獲得）來決定是否「喚醒」，而此次拍賣的得標者會將其競標金額支付給上一次拍賣的得標者。這筆競標金額會加入上一位得標者的錢包。
- 如果在任何時候，某個 Agent 破產，它就會被淘汰。此外，如果一個 Agent 只是坐擁錢包而拒絕參與，其錢包也會隨時間退化，最終仍然會破產。這為整個過程增添了緊迫感。
現在，許多環境不會給出中間獎勵，只會在整個 Episode 結束後產生一個獎勵。在傳統強化學習中，這正是臭名昭著的「信用分配問題」的根源。基本上，如果一個長長的行動鏈最終導致了一個好的獎勵，你該如何將部分功勞分配給這個鏈條中的每一步呢？
這個方法正是利用「把你的競標金額支付給上一次拍賣的贏家」這個規則來解決這個問題。
這個設計決策與價值的反向流動相關，產生了一個關鍵後果：一個 Agent 可以透過將系統移動到一個狀態，讓後續的 Agent 願意「支付其競標金額」來接管，從而獲利。這就形成了跨軌跡的去中心化信用分配。
如果你的行動促成了有價值的未來行動，後續的 Agent 會透過競標來「買下」你的後續發展權，因此即使你的行動步驟沒有直接獲得獎勵 r_t，你仍然會得到回報。
接下來，在 Episode 執行完畢後，就該更新策略了。
循環二：進化 Agent
在 Episode 終止後，會使用經濟選擇和提示詞突變機制來更新 Agent 策略群體。基本上，我們會修剪掉目前貧窮的 Agent，並讓富有的 Agent 進行突變以進入下一輪。
請記住，財富低的 Agent 表現不佳是因為他們要嘛：
- 沒有參與拍賣（過於被動）
- 參與了，但採取的行動導致了未來的糟糕狀態，使得其他 Agent 不願繼續參與
在我們剔除這些表現不佳的 Agent 後，我們會添加新的 Agent，直到群體規模達到約束條件。新增來源有兩個：
- 利用： 選取富有的「父代」Agent，並輕微突變它們的提示詞，以產生能保留有用行為但略有變化的子代。這能放大成功的策略並促進專業化。
- 探索： 用透過修改提示詞而產生的新變體來取代破產/弱勢的 Agent，目的是修正失敗模式或探索不同的行為區域。
推理與實際部署：你到底該交付什麼？
你會交付一個單一的 Agent 嗎？一個最終的贏家？不！
在 EOM 中，你所「訓練」並最終「交付」來解決任務的，是一個社會/群體的 Agent，其中每個 Agent 都有自己的提示詞，以及自己本地的「何時行動」邏輯。
在評估時，他們明確地使用訓練好群體的一個執行緒本地副本進行評估，並使用喚醒策略來選擇哪個 Agent 行動。這個群體是「凍結」的（不再進行訓練）。
所有市場模擬的花招，例如錢包和財富轉移，都只是訓練時期的產物。一旦群體被最佳化，我們在推理時實際上不會使用它們。
請注意，當多個行動者同時想要「喚醒」時，競標系統仍然被用來決定誰應該在下一步「行動」。
**
一個解釋一切的案例研究
請看上面的圖 5。它解釋了「經濟心智」這個概念應用到加速器設計任務時的酷炫之處。在加速器設計中，Agent 是按角色分工的：
- 歷史學家： 總結之前的嘗試，記住有希望和失敗的方向。
- 規劃者： 提出高層次的搜尋方向。
- 執行者： 執行細粒度的局部評估。
環境獎勵是關於改善 GEMMINI ResNet-50 核心的 EDP（能量-延遲乘積）（EDP 越低越好）。
每個按角色分工的 Agent（歷史學家、規劃者、執行者）都攜帶財富，而這個財富隨著 Episode 的進行，變成了一個衡量其用處的即時積分板。
那些幫助產生新最佳記錄的 Agent 會累積財富。定期的租金會穩定地懲罰所有人（因此平庸的 Agent 會慢慢消亡），一旦財富低於零，該 Agent 就會破產並被移除。
與此同時，最富有的 Agent 會產生突變的「優生」後代（利用），而最弱的 Agent 則會產生經過修改的「劣生」後代（探索）。
在不同的核心上，市場壓力會自動發現哪個專家譜系實際上是有價值的。有時歷史學家風格的記憶會因繼承而產生偏差而崩潰，有時規劃者譜系會因為高層次搜尋方向是瓶頸而大量繁殖，有時多個角色會共存，因為它們是互補的。
換句話說，協調和信用分配是從簡單的激勵措施（財富流動、租金、生育、破產）中湧現出來的，從而產生了一個沒有中央系統的適應性群體！這正是為什麼這個方法感覺像是一種建構多智能體系統的酷炫方式。
論文強調的湧現行為 / 「頓悟時刻」
回想一下，對於特定的環境（比如數學任務），他們在初始化階段會為 Agent 注入特定的角色：規劃者、執行者、驗證者。一個擁有規劃者提示詞的 Agent 很可能會在 Episode 早期競標，而驗證者則可能在草稿解決方案就位後才進行競標。
儘管如此，這是理解這篇論文的一種直觀方式，但在實踐中，這並非正確的模型。閱讀 EOM 的一個有用角度是：他們並沒有硬編碼一個工作流程，而是設立了經濟規則，然後群體自我組織成行為，這些行為驚人地看起來像是學到的「演算法」和「制度」。
以下是論文報告的一些酷炫要點：
1) 信用分配成為一種市場訊號，選擇整個行動鏈
一個核心觀察是，效能之所以提升，是因為這個經濟體選擇了有用的行動鏈，複製它們，並刪除那些沒有貢獻的 Agent。因此，協調是篩選過程的一個湧現屬性，而非一個工程設計的協議。
這是一個「頓悟時刻」，因為它不僅僅是「Agent 使用了更好的提示詞」；整個系統在哪些 Agent 的序列在行動方面變得更好，也就是說，互動拓撲隨著時間推移而變得更加精煉。與 OpenAI 的 Hide-and-Seek 論文類似！
2) 非單調的學習曲線：早期的混亂是「富有成效的」
在 Finance-Agent-Bench 上，他們明確注意到一個模式：EOM 早期會下降（因為探索在測試不同的專家），只有到後期才會恢復並超越初始表現。這有點像神經網路訓練中的「Grokking」現象（我猜？）。
無論如何，這是一個非常「市場化」的現象：作者說（意譯）「早期的更替和資源重新配置可能會暫時損害主要性能指標，同時它正在搜尋更好的專家/協調方式」。
3) 財富軌跡顯示出主導的「譜系」，以及消亡的「劣生」
在加速器設計中，你可以清楚地看到有用的譜系持續存在，產生後代，並主導拍賣，而失敗的變體則破產並被移除。
換句話說，學習的單位不是一個 Agent 的提示詞：它是一個在財富篩選壓力下進化的提示詞家族樹。
4) 無需模板即可發現可重複使用的領域結構（可遷移的啟發式規則）
一個特別引人注目的湧現行為：在最困難的加速器核心上，這個社會反覆收斂到一個特定的分塊/資料流模式（輸出固定風格），儘管：
- 它沒有被給予該模式作為模板，而且
- 獎勵僅僅是「打破 EDP 記錄」（沒有像「使用輸出固定」這樣的標籤）。
因此，這個系統透過篩選學到了一項可重複使用的設計啟發式規則。
5) 提示詞演化成簡潔的多步推理程序（自我審計「檢查清單」）
在科學研究中，他們報告了提示詞的演化，其中執行者內化了以前需要其他角色的工作，並且突變增加了越來越明確的自我檢查（原則優先、對稱性檢查、可行性檢查、替換以證偽）。
一個 Agent 變得更像一個通用文字生成器，而更像一個程序化模組，執行一套學到的科學推導程序。
6) 行動紀律：學會何時不要花費昂貴的行動（CloudCast）
CloudCast 是一個迭代程式碼最佳化任務，其中 Agent 社會必須改進一個 Python 程式，該程式設計一個多雲端廣播路由拓撲，以最小化總資料傳輸（出口）成本。這是他們的測試平台之一。
在這個 CloudCast 任務中，他們觀察到經濟體根據工作空間狀態選擇不同的工作流程形狀：
- 接近高分 → 短「讀取-編輯-評估-提交」循環
- 不確定/退步 → 更長的「編輯-建置-評估」循環
這是一種湧現的資源意識行為：一個社會層級的策略，用於決定何時謹慎行動 vs. 何時激進行動，而沒有中央控制。
請在此處閱讀完整論文：http://arxiv.org/abs/2606.02859
也歡迎查看 Paper Breakdown，這是我用來研究這篇論文的工具：http://paperbreakdown.com/abs/2606.02859
感謝閱讀！
**
