醒醒吧宝贝，哈佛又出新论文了：心智经济（EOM）。他们搞出了一个去中心化多 Agent 系统，Agent 之间通过类似市场的机制（拍卖、支付、财富积累）进行协调并随时间自我进化。
他们报告称，这种环境已经催生了涌现式的多步推理，并在多个 Agent 任务上表现出色！
注：本文由 AVB 使用 GPT-5.2 在 Paper Breakdown 框架内撰写。
我为什么要关心这个？
如果你正在构建多 Agent 系统来完成特定任务——这篇文章就是为你准备的。 目前大多数多 Agent 架构仍然依赖大量手工设计的编排——你（开发者）需要编写显式的提示词和状态机图，手动定义“谁在什么时候做什么”。
长任务需要根据任务的状态和进展进行不同的角色切换。而设计能够最优地切换系统提示词的系统，让任务始终向前推进，几乎总是最佳方案。
这篇论文的目标正是如此。给定一个任务，如何生成一个优化后的多 Agent 群体，每个 Agent 都带有具体的行动指令以及何时行动的规则。
而且他们用一种非常独特且有趣的方式做到了——模拟一个市场系统，从外部控制 Agent 如何进化。
这种优化的最终结果是一组专业化的 Agent 和一个智能的路由机制，用于选择它们如何解决任务。
当我们把具有基本行动空间的简单 Agent 放入一个复杂的多 Agent 场景中，你认为会发生什么？复杂的行为会自动涌现，因为这些简单的 Agent 开始围绕场景中其他 Agent 带来的不确定性来优化自己的“生存策略”。这就是这一切最精彩的部分。
顺便说一句，“行为从多 Agent 场景中有机涌现”这一理论并不是新概念。甚至在更早的、没有 LLM 的多 Agent 工作中也有体现，比如著名的 OpenAI Hide and Seek 论文。
https://openai.com/index/emergent-tool-use/
虽然这篇论文让我想起了那些早期多 Agent 论文中的一些想法，但也有一些需要注意的地方。以下几点很重要：
- 这篇论文并不是训练 Agent 实现财务独立或进行交易/拍卖！
- 实际上，这是一种新的算法，用于在常见的可验证环境（如数学、优化加速器代码、深度搜索、科学研究等）中优化 Agent。
- 在大多数情况下，Agent 甚至不知道它们身处这个市场模拟器中。 这是一个外部系统，控制着 Agent 如何进化（以及哪些 Agent 被淘汰）。
Agent 通过拍卖竞价，赢得在这些目标环境中迈出一步的权利。
在拍卖中获胜会从其钱包中扣除相应金额，然后它就能“进入”环境，采取实际行动，将环境从步骤
t
推进到步骤
t+1。
后续在同一个环境中采取行动的 Agent，会将其竞标金额支付给前一个 Agent（上次的获胜者）。
重复这个过程一段时间后，最富有的 Agent 最终会拥有在目标环境中表现最佳的策略。
这是对长周期信用分配和进化式提示优化算法的一个非常有趣的尝试。让我们从头开始分解这个算法，真正理解他们在做什么。
方法
在这篇论文中，Agent 并非单独训练的神经网络。每个 Agent 本质上是一个提示驱动的 LLM 策略，包含：
- 一个提示词（一个系统提示词/指令模板，定义其“角色”和流程）。这个角色会根据我们正在优化的目标环境而变化。例如，对于 MATH 任务，他们分配了这些角色：规划者、执行者、验证者；对于加速器设计任务：历史记录者、规划者、执行者。
- 一个触发/唤醒条件，决定它何时有资格参与拍卖。
- 一个（固定的）竞标值，用于拍卖。
- 一个财富变量，随时间变化并驱动选择。
然后，EOM 在两个耦合的循环中运行：
- 规划（在一个回合内）： Agent 在每个步骤拍卖行动权，并通过桶链式支付规则更新财富。
- 适应（跨回合）： 群体通过探索/利用机制进化提示词，完全由财富驱动。
EOM（最终交付物）的目标是一组 Agent。每个 Agent 都有自己的系统提示词，说明如何在特定环境中行动，以及何时行动的策略。面对一个新问题时，Agent 竞拍谁将行动，执行动作，重复这个过程直到找到解决方案。
循环 1：收集经验 + 运行拍卖
在回合的每个环境步骤中：
- 根据目标环境的当前观测，每个 Agent 运行一个提示词，决定是否应该“唤醒”。唤醒只是意味着参与步骤 2 中的即将到来的拍卖。
- 决定唤醒的 Agent 自动提交其固定竞标值。这是固定竞标，因为这些竞标在初始化时就确定了（即 Agent 不会尝试智能地分配竞标）。
- 出价最高的 Agent 成为拍卖赢家！他们立即失去竞标金额，但获得了对环境的控制权。
- 获胜的 Agent 在当前状态下从目标环境中采样一个动作。这通常是在目标环境中执行下一步，将时钟从 s_t 推进到 s_t+1。
- 环境转换并产生一个奖励 r_t。
- 财富转移通过桶链式信用分配发生！会发生两件事：a) 新获胜者将其竞标额支付给前一位获胜者。b) 新获胜者还将环境奖励 r_t 收集到自己的钱包中。
对于第一个获胜者，支付给“庄家”（而不是其他 Agent）。
- 下一步，整个循环在更新后的环境中重复。然而，Agent 会根据最新的观测（从 s_t+1 获得）决定是否“唤醒”，而本次拍卖的获胜者会将其竞标额支付给前一次拍卖的获胜者。这笔竞标会加到前一位获胜者的钱包中。
- 如果在任何时候，一个 Agent 破产了，它就会被淘汰。此外，如果一个 Agent 持有钱包但拒绝参与，其钱包也会随时间贬值，最终也会破产。这给整个过程增加了紧迫感。
现在，许多环境不会给出任何中间奖励，只在整个回合结束后产生一个奖励。在传统强化学习中，由于臭名昭著的“信用分配”问题，这导致了许多头疼的问题。基本上，如果一长串动作最终导致了一个好的奖励，你如何将部分信用归因于链条中的每一步？
这个方法通过“将你的竞标额支付给上一次的拍卖赢家”这一规则来处理这个问题。
这个设计决策有一个关键后果，与价值的反向流动 相关：一个 Agent 可以通过将系统移动到下游 Agent 愿意“支付其竞标额”来接手的状态来获利。这就成为了跨越轨迹的去中心化信用分配。
如果你的行动促成了未来有价值的行动，后续的 Agent 会通过竞标从你这里“购买”延续权，因此即使你没有在自己的行动步骤上直接获得 rt，你也得到了奖励。
接下来，回合推出完成后，就该更新策略了。
循环 2：进化 Agent
回合结束后，使用经济选择和提示突变机制更新 Agent 策略群体。基本上，我们剪除当前贫穷的 Agent，并让富有的 Agent 发生突变以进入下一轮。
请记住，低财富的 Agent 是糟糕的，因为它们要么：
- 没有参与拍卖（太被动）
- 参与了，但采取了导致未来不良状态的行动，其他 Agent 不愿接手
在剪除这些表现不佳的 Agent 后，我们添加新 Agent，直到群体达到规模限制，使用两种来源：
- 利用： 选择富有的“父代” Agent 并突变其提示词，产生保留了有用行为但略有变化的子代。这会放大成功的策略并促进专业化。
- 探索： 用通过修改提示词以纠正失败模式或探索不同行为区域而创建的新变体来替换破产/弱小的 Agent。
推理阶段，你实际交付的是什么？
你交付的是一个单一的 Agent？一个唯一的赢家？不！
在 EOM 中，你“训练”然后“交付”用于解决任务的，是一个社会/群体的 Agent，其中每个 Agent 都有自己的提示词和本地的“何时行动”逻辑。
在评估时，他们明确使用训练后群体的线程本地副本进行评估，并使用唤醒策略来选择哪个 Agent 行动。群体被“冻结”（不再进一步训练）。
所有的市场模拟把戏，比如钱包和财富转移，都只是训练时的事情。一旦群体优化完成，我们在推理时实际上并不使用它们。
请注意，当多个参与者都想“唤醒”时，竞标系统仍用于决定谁应该在某个步骤中“行动”。
**
一个案例研究来解释这一切
请看上面的图 5。它解释了“心智经济”这个想法在加速器设计任务中的酷炫之处。在加速器设计中，Agent 是角色专业化的：
- 历史记录者： 总结之前的试验，记住有希望/失败的方向。
- 规划者： 提出高级搜索方向。
- 执行者： 运行细粒度的局部评估。
环境奖励是关于在 GEMMINI ResNet-50 内核上改进 EDP（能量-延迟乘积）（EDP 越低越好）。
每个角色专业化的 Agent（历史记录者、规划者、执行者）都拥有财富，这个财富随着回合的推进成为有用性 的实时记分牌。
帮助产生新最佳记录的 Agent 会积累财富。定期的租金会持续惩罚所有人（所以平庸的 Agent 会慢慢消亡），一旦财富降至零以下，Agent 就会破产并被移除。
与此同时，最富有的 Agent 会产生产生突变的“好出身”后代（利用），而最弱的 Agent 会产生修改后的“坏出身”后代（探索）。
在不同的内核上，市场压力会自动发现哪个专家谱系 实际上有价值。有时，历史记录者风格的记忆会因继承的偏见而崩溃；有时，规划者谱系会繁殖，因为高级搜索方向是瓶颈；有时，多个角色会共存，因为它们互补。
换句话说，协调和信用分配从简单的激励机制（财富流动、租金、出生、破产）中涌现，产生了一个无需中央系统的自适应群体！这正是为什么这种方法感觉像是构建多 Agent 系统的一个酷炫方式。
涌现行为 / 论文强调的“顿悟时刻”
回想一下，对于特定环境（比如 MATH），他们在初始化阶段会用特定角色来播种 Agent：规划者、执行者、验证者。拥有规划者提示词的 Agent 可能会在回合早期竞标，而验证者可能会在草稿解决方案到位后才出价。
尽管这是一种直观的理解方式，但实际上这并不是正确的模型。理解 EOM 的一个有用方式是：他们没有硬编码工作流程，而是设置了经济规则，然后群体自我组织成行为，这些行为看起来惊人地像学到的“算法”和“制度”。
以下是论文报告的一些酷炫要点：
1) 信用分配变成了一个市场信号，用于选择整个行动链条
一个核心观察是，性能提高是因为经济体选择了有用的行动链，复制它们，并删除了那些不贡献的 Agent。因此，协调是选择的涌现属性，而非工程化的协议。
这是一个“顿悟”，因为它不仅仅是“Agent 做了更好的提示词”；系统在哪些 Agent 序列行动方面变得更好，即交互拓扑 随时间变得更加锐利。类似于 OpenAI 的 Hide-and-Seek 论文！
2) 非单调的学习曲线：早期的混乱是“富有成效的”
在 Finance-Agent-Bench 上，他们明确注意到一种模式：EOM 早期会下降（因为探索测试了替代专家），直到后期才恢复并超越初始性能。这有点像神经网络训练中的“领悟”（Grokking）现象（我猜？）。
无论如何，这是一个非常“市场般”的现象：作者说（转述）“早期的更替和重新分配可能会暂时损害整体性能，同时它在寻找更好的专家/协调方式”。
3) 财富轨迹显示出占主导地位的“谱系”和消亡的“坏出身”
在加速器设计中，你可以清晰地看到有用的谱系持续存在，产生后代，并主导拍卖，而失败的变体则破产并被移除。
换句话说，学习的单位不是单个 Agent 提示词：它是在财富选择压力下进化的提示词族谱。
4) 无需模板即可发现可重用的领域结构（可迁移的启发式方法）
一个特别引人注目的涌现行为：在最难的加速器内核上，社会群体反复收敛于一个特定的分块/数据流模式（输出驻留风格），尽管：
- 它没有被给定该模式作为模板，并且
- 奖励仅仅是“EDP 破纪录”（没有像“使用输出驻留”这样的标签）。
所以系统通过选择学习了一个可重用的设计启发式方法。
5) 提示词进化为紧凑的多步推理程序（自我审计的“检查清单”）
在科学研究中，他们报告了提示词的进化，其中一个执行者（EXECUTER）内化了以前需要其他角色的内容，并且突变增加了越来越明确的自我检查（原则优先、对称性检查、可行性检查、代入法证伪）。
一个 Agent 不再是一个通用的文本生成器，而更像是一个程序模块，运行着学到的科学推导程序。
6) 行动纪律：学习在何时不要花费昂贵的行动（CloudCast）
CloudCast 是一个迭代式代码优化任务，Agent 群体必须改进一个 Python 程序，该程序设计多云广播路由拓扑以最小化总数据传输（出站）成本。这是他们的测试床之一。
在这个 CloudCast 任务中，他们观察到经济会根据工作空间状态选择不同的工作流形状：
- 接近高分 → 短的“读取-编辑-评估-提交”
- 不确定/倒退 → 更长的“编辑-构建-评估”循环
这是一种涌现的资源意识行为：一种社会层面的策略，决定何时谨慎行动 vs 何时激进行动，无需中央控制。
请在此处阅读全文：http://arxiv.org/abs/2606.02859
另外还有 Paper Breakdown，我用它来研究这篇论文：http://paperbreakdown.com/abs/2606.02859
感谢阅读！
**
