¡Despierta, hermosa, que hay un nuevo paper de Harvard: Economy of Minds (EOM). Crearon un sistema multi-agente descentralizado donde los agentes se coordinan y mejoran con el tiempo usando mecanismos tipo mercado (subastas, pagos, acumulación de riqueza).
Reportan que este entorno ha generado razonamiento multi-paso emergente y un rendimiento sólido en varias tareas agentivas.
Nota: Este artículo fue escrito por AVB usando GPT-5.2 dentro del sistema Paper Breakdown
¿Por qué debería importarme esto?
Si estás construyendo sistemas multi-agente para tareas específicas, esto es para ti. La mayoría de los stacks multi-agente todavía dependen de mucha orquestación diseñada a mano: tú (el desarrollador) escribes prompts explícitos y gráficos de máquina de estados para definir manualmente "quién hace qué y cuándo".
Las tareas largas requieren cambios de rol según el estado y el progreso de la tarea. Y casi siempre es mejor diseñar sistemas que puedan ajustar sus prompts de sistema de manera óptima para que las tareas siempre avancen.
El objetivo de este paper es exactamente ese. Dada una tarea, ¿cómo generar una población optimizada de multi-agentes, cada uno con instrucciones específicas sobre cómo actuar Y cuándo actuar?
Y lo lograron de una manera única y divertida: simulando un sistema de mercado que controla externamente cómo evolucionan los agentes.
El resultado final de esta optimización es un grupo de agentes especializados y un mecanismo de enrutamiento inteligente para seleccionar cómo resuelven una tarea.
Cuando ponemos agentes simples con un espacio de acción básico en un escenario multi-agente complejo, ¿qué crees que sucede? Surgen comportamientos complejos de forma automática porque esos agentes simples comienzan a optimizar su vida en torno a las incertidumbres que plantean otros agentes en el escenario. Esa es la mejor parte de todo esto.
Por cierto, esta teoría de "comportamientos que emergen orgánicamente de un escenario multi-agente" no es nueva. Incluso algunos trabajos multi-agente anteriores a los LLM ya lo indicaban, como el famoso paper de OpenAI sobre el Escondite.
https://openai.com/index/emergent-tool-use/
Aunque este paper me recordó algunas ideas de esos papers multi-agente más antiguos, hay algunos matices. Es importante tener en cuenta lo siguiente:
- Este paper NO entrena agentes para ser financieramente independientes ni para hacer intercambios o subastas.
- De hecho, es un algoritmo nuevo para optimizar agentes en entornos verificables comunes como matemáticas, optimización de código acelerador, búsqueda profunda, investigación científica, etc.
- En su mayor parte, los agentes ni siquiera saben que están dentro de este simulador de mercado. Es un sistema externo que controla cómo evolucionan los agentes (y cuáles no).
Los agentes pujan en la subasta para ganar el derecho a dar un paso en uno de estos entornos objetivo.
Ganar la subasta descuenta el monto de su billetera, y pueden "visitar" el entorno para tomar una acción real que avance el entorno del paso
t
al paso
t+1.
Los agentes futuros que tomen acciones en el mismo entorno pagan su puja al agente anterior (el último ganador).
Repite esto por un tiempo, y los agentes más ricos terminan con las mejores políticas para desempeñarse en el entorno objetivo.
Es una visión súper interesante sobre la asignación de crédito a largo plazo y los algoritmos de optimización evolutiva de prompts. Desglosemos el algoritmo desde el principio para entender realmente qué están preparando.
El enfoque
En este paper, un agente no es una red neuronal entrenada por separado. Cada agente es esencialmente una política de LLM con un prompt que incluye:
- un prompt (un prompt de sistema / plantilla de instrucciones que define su "rol" y procedimiento). Este rol cambia según el entorno objetivo que estamos optimizando. Por ejemplo, para las tareas de MATH, asignan estos roles: planificador, ejecutor, verificador, y para la tarea de diseño de aceleradores: historiador, planificador, ejecutor
- una condición de activación / despertado que determina cuándo es elegible para pujar en la subasta.
- un valor de puja (congelado) utilizado en las subastas,
- y una variable de riqueza que cambia con el tiempo e impulsa la selección.
EOM entonces se ejecuta en dos bucles acoplados:
- Planificación (dentro de un episodio): los agentes subastan el derecho a actuar en cada paso, y la riqueza se actualiza mediante una regla de pago de bucket-brigade.
- Adaptación (entre episodios): la población evoluciona los prompts mediante exploración/explotación impulsada puramente por la riqueza.
El objetivo de EOM (el entregable final) es un grupo de agentes. Cada agente tiene su propio prompt de sistema sobre cómo actuar en un entorno determinado, y una política de cuándo actuar. Dado un nuevo problema, los agentes pujan sobre quién actuará, realizan la acción y repiten el proceso hasta llegar a la solución.
Bucle 1: Recopilar experiencias + Ejecutar subasta
En cada paso del entorno dentro de un episodio:
- Dada la observación actual del entorno objetivo, cada agente ejecuta un prompt que determina si debe "despertarse" o no. Despertarse simplemente significa participar en la próxima subasta en el paso 2.
- Los agentes que decidieron despertarse envían automáticamente sus pujas congeladas. Están congeladas porque se fijan durante la inicialización (es decir, los agentes no intentan asignar una puja de manera inteligente).
- ¡El agente con la puja más alta es el ganador de la subasta! Pierde inmediatamente el dinero que pujó. Pero gana el control del entorno.
- El agente ganador samplea una acción en el entorno objetivo en su estado actual. Esto se trata de ejecutar el siguiente paso en el entorno objetivo, avanzando el reloj de s_t a s_t+1.
- El entorno hace la transición y produce una recompensa r_t.
- Se produce la transferencia de riqueza con asignación de crédito bucket-brigade. Suceden 2 cosas: a) El nuevo ganador paga su puja al ganador anterior. b) El nuevo ganador también recoge la recompensa del entorno r_t en su billetera.
Para el primer ganador, el pago va a la "casa" (no a otro agente).
- En el siguiente paso, todo el bucle se repite pero en el entorno actualizado. Sin embargo, los agentes se "despiertan" basándose en la observación más reciente (obtenida de s_t+1), y el ganador de esta subasta paga su puja al ganador de la subasta anterior. Esta puja se añade a la billetera del ganador anterior.
- Si en algún momento un agente quiebra, es expulsado. Además, si un agente se sienta sobre su billetera y se niega a participar, su billetera también se degrada con el tiempo y eventualmente quiebra. Esto añade urgencia a todo el asunto.
Ahora, muchos entornos no dan recompensas intermedias y solo generan una después de que todo el episodio ha terminado. En el RL tradicional, esto ha causado muchos dolores de cabeza debido al infame problema de "asignación de crédito". Básicamente, si una larga cadena de acciones eventualmente conduce a una buena recompensa, ¿cómo se atribuye un crédito parcial a cada paso de la cadena?
Este método aborda este problema utilizando la regla de "paga tu puja al último ganador de la subasta".
Esa decisión de diseño tiene una consecuencia clave relacionada con el flujo hacia atrás del valor: un agente puede beneficiarse moviendo el sistema a estados donde los agentes posteriores estén dispuestos a "pagar su puja" para tomar el control. Esto se convierte en una asignación de crédito descentralizada a lo largo de la trayectoria.
Si tu acción permite acciones futuras valiosas, los agentes posteriores te "compran" la continuación mediante pujas, por lo que obtienes una recompensa incluso si no recibiste directamente rt en tu paso de acción.
A continuación, después de que los episodios terminen, es hora de actualizar las políticas.
Bucle 2: Evolucionar agentes
Después de que los episodios terminan, la población de políticas de agentes se actualiza mediante selección económica y un mecanismo de mutación de prompts. Básicamente, podamos los agentes que actualmente son pobres y mutamos los agentes que son ricos para la siguiente ronda.
Recuerda que los agentes con baja riqueza son malos porque:
- no participaron en la subasta (demasiado pasivos)
- participaron pero tomaron acciones que llevaron a malos estados en el futuro, en los que otros agentes no participaron.
Después de eliminar a los de bajo rendimiento, añadimos nuevos agentes hasta que la población alcance las restricciones de tamaño, utilizando dos fuentes:
- Explotación: seleccionamos agentes "padres" ricos y mutamos sus prompts ligeramente para producir hijos que preserven comportamientos útiles pero varíen un poco. Esto amplifica las estrategias exitosas y promueve la especialización.
- Exploración: reemplazamos agentes en quiebra/débiles con nuevas variantes creadas modificando prompts para corregir modos de falla o explorar diferentes regiones de comportamiento.
Inferencia y ¿qué es lo que realmente entregas?
¿Entregas un solo agente? ¿Un solo ganador? ¡NO!
En EOM, lo que "entrenas" y luego "entregas" para resolver tareas es una sociedad/población de agentes, donde cada agente tiene sus propios prompts y su propia lógica local de "cuándo actuar".
En el momento de la evaluación, evalúan explícitamente usando una copia local del hilo de la población entrenada, y la política de despertado se utiliza para seleccionar qué agente actúa. La población está "congelada" (sin más entrenamiento).
Todas las simulaciones de mercado, como las billeteras y las transferencias de riqueza, son solo cosas del entrenamiento. Una vez que la población está optimizada, no las usamos durante la inferencia.
Observa que el sistema de pujas todavía se usa para determinar quién debe "actuar" en un paso cuando varios actores quieren "despertarse" juntos.
**
Un caso de estudio para explicarlo todo
Mira la Figura 5 de arriba. Explica el factor cool de esta idea de "Economy of Minds" en la tarea de diseño de aceleradores. En el diseño de aceleradores, los agentes están especializados por rol:
- Historiador: resume ensayos anteriores, mantiene memoria de direcciones prometedoras/fallidas.
- Planificador: propone direcciones de búsqueda de alto nivel.
- Ejecutor: realiza evaluaciones locales detalladas.
Y la recompensa del entorno se trata de mejorar el EDP (producto energía-retardo) en los kernels GEMMINI ResNet-50 (un EDP más bajo es mejor).
Cada agente especializado por rol (Historiador, Planificador, Ejecutor) carga riqueza, y esta riqueza se convierte en un marcador en vivo de utilidad a medida que avanzan los episodios.
Los agentes que ayudan a producir nuevos récords acumulan riqueza. La renta periódica penaliza constantemente a todos (así que los agentes mediocres simplemente mueren lentamente), y una vez que la riqueza cae por debajo de cero, el agente quiebra y es eliminado.
Mientras tanto, los agentes más ricos generan descendientes mutados de "buen nacimiento" (explotación) y los más débiles generan descendientes modificados de "mal nacimiento" (exploración).
A través de diferentes kernels, la presión del mercado descubre automáticamente qué linaje especializado es realmente valioso. A veces la memoria de estilo Historiador colapsa debido a un sesgo heredado, a veces un linaje Planificador se reproduce porque la dirección de búsqueda de alto nivel es el cuello de botella, y a veces múltiples roles coexisten porque son complementarios.
En otras palabras, la coordinación y la asignación de crédito surgen de incentivos simples (flujo de riqueza, renta, nacimiento, quiebra), produciendo una población adaptativa sin un sistema central. ¡Y es exactamente por eso que el enfoque se siente como una forma cool de construir sistemas multi-agente!
Comportamientos emergentes / "momentos ajá" que destaca el paper
Recuerda que para un entorno específico (digamos MATH, matemáticas), siembran sus agentes con roles específicos durante la fase de inicialización. Planificadores, Ejecutores, Verificadores. Un agente con el prompt de Planificador probablemente pujará temprano en los episodios, mientras que los verificadores probablemente harán pujas después de que un borrador de solución esté en su lugar.
Aunque esa es una forma intuitiva de pensar en este paper, en la práctica no es el modelo correcto. Una forma útil de leer EOM es: no codifican un flujo de trabajo, sino que establecen reglas económicas, y luego la población se autoorganiza en comportamientos que se parecen sorprendentemente a "algoritmos" e "instituciones" aprendidas.
Aquí hay algunas conclusiones interesantes que reporta el paper:
1) La asignación de crédito se convierte en una señal de mercado que selecciona cadenas de acción completas
Una observación central es que el rendimiento mejora porque la economía selecciona cadenas de acción útiles, las reproduce y elimina a los agentes que no contribuyen. Por lo tanto, la coordinación es una propiedad emergente de la selección, no un protocolo diseñado.
Esto es un "momento ajá" porque no es solo "los agentes hacen mejores prompts"; el sistema mejora en qué secuencias de agentes actúan, es decir, la topología de interacción se afina con el tiempo. ¡Similar al paper de OpenAI sobre el Escondite!
2) Curvas de aprendizaje no monótonas: el caos temprano es "productivo"
En Finance-Agent-Bench notan explícitamente un patrón: EOM baja al principio (mientras la exploración prueba especialistas alternativos) y solo después se recupera y supera el rendimiento inicial. Esto se parece un poco al Grokking en el entrenamiento de redes neuronales (supongo).
En cualquier caso, es un fenómeno muy "de mercado": los autores dicen (parafraseando) "la rotación y reasignación tempranas pueden perjudicar temporalmente el rendimiento general mientras se buscan mejores especialistas/coordinación"
3) Las trayectorias de riqueza muestran "linajes" que dominan, y "malos nacimientos" que mueren
En el diseño de aceleradores, puedes ver literalmente linajes útiles que persisten, generan descendencia y dominan las subastas, mientras que las variantes fallidas quiebran y son eliminadas.
En otras palabras, la unidad de aprendizaje no es un prompt de agente: es un árbol genealógico de prompts en evolución bajo la presión de selección de riqueza.
4) Descubrimiento de estructura de dominio reutilizable sin plantillas (heurísticas transferibles)
Un comportamiento emergente particularmente llamativo: en los kernels de acelerador más difíciles, la sociedad converge repetidamente en un motivo de tiling/flujo de datos específico (estilo estacionario de salida) aunque:
- no se le da ese motivo como plantilla, y
- la recompensa es solo "récords de EDP" (sin etiquetas como "usar estacionario de salida").
Por lo tanto, el sistema aprende una heurística de diseño reutilizable a través de la selección.
5) Los prompts evolucionan en rutinas compactas de razonamiento multi-paso ("listas de verificación" de auto-auditoría)
En la investigación científica, reportan evolución de prompts donde un EJECUTOR internaliza lo que antes requería otros roles, y las mutaciones añaden auto-verificaciones cada vez más explícitas (primero los principios, comprobaciones de simetría, comprobaciones de viabilidad, sustitución para falsificar).
Un agente se convierte menos en un generador de texto genérico y más en un módulo procedimental que ejecuta una rutina de derivación científica aprendida.
6) Disciplina de acción: aprender cuándo no gastar acciones costosas (CloudCast)
CloudCast es una tarea iterativa de optimización de código donde la sociedad de agentes debe mejorar un programa Python que diseña una topología de enrutamiento de difusión multi-nube para minimizar el costo total de transferencia de datos (egress). Fue uno de sus bancos de prueba.
En esta tarea de CloudCast, observan que la economía selecciona diferentes formas de flujo de trabajo dependiendo del estado del espacio de trabajo:
- cerca de una puntuación alta → "leer-editar-evaluar-commit" corto
- incierto/retrocedido → bucles "editar-construir-evaluar" más largos
Eso es un comportamiento emergente de conciencia de recursos: una política a nivel de sociedad de cuándo actuar con cautela vs. con agresividad, sin control central.
Lee el paper completo aquí: http://arxiv.org/abs/2606.02859
Y también en Paper Breakdown, que es lo que usé para estudiar este paper: http://paperbreakdown.com/abs/2606.02859
¡Gracias por leer!
**
