일어나, 자기야! 하버드에서 새 논문이 나왔어: Economy of Minds (EOM). 그들은 탈중앙화된 멀티 에이전트 시스템을 만들었어. 에이전트들이 시장과 유사한 메커니즘(경매, 지불, 부 축적)을 사용해 시간이 지남에 따라 조정하고 개선하는 시스템이야.
그들은 이런 환경이 창발적인 다단계 추론을 이끌어냈고, 여러 에이전트 과제에서 강력한 성능을 보였다고 보고하고 있어!
참고: 이 글은 AVB가 Paper Breakdown 환경 내에서 GPT-5.2를 사용하여 작성했습니다.
내가 왜 이걸 신경 써야 하는데?
특정 작업을 수행하기 위해 멀티 에이전트 시스템을 구축하고 있다면 - 바로 당신을 위한 내용입니다. 대부분의 멀티 에이전트 스택은 여전히 많은 수동 설계된 오케스트레이션에 의존합니다. 즉, 당신(개발자)이 명시적인 프롬프트와 상태 머신 그래프를 작성하여 "누가 언제 무엇을 하는지"를 수동으로 정의해야 합니다.
긴 작업은 작업의 상태와 진행 상황에 따라 다른 역할 전환을 필요로 합니다. 그리고 작업이 항상 전진할 수 있도록 시스템 프롬프트를 최적으로 전환할 수 있는 시스템을 설계하는 것이 거의 항상 가장 좋습니다.
이 논문의 목표는 정확히 이것을 하는 것입니다. 주어진 작업에 대해, 각각 특정 지침(행동 방법 및 행동 시기)을 가진 최적화된 멀티 에이전트 집단을 어떻게 생성할 것인가?
그리고 그들은 정말 독특하고 재미있는 방식으로 해냈습니다. 에이전트가 진화하는 방식을 외부에서 제어하는 시장 시스템을 시뮬레이션한 것입니다.
이 최적화의 최종 결과는 특화된 에이전트 그룹과 작업 해결 방법을 선택하기 위한 지능형 라우팅 메커니즘입니다.
기본적인 행동 공간을 가진 단순한 에이전트들을 복잡한 멀티 에이전트 시나리오에 넣으면 어떻게 될 것 같나요? 복잡한 행동이 자동으로 나타납니다. 왜냐하면 그 단순한 에이전트들이 시나리오 내 다른 에이전트들이 야기하는 불확실성에 맞춰 자신의 삶을 최적화하기 시작하기 때문입니다. 이게 이 모든 것의 가장 멋진 부분입니다.
그런데, "멀티 에이전트 시나리오에서 행동이 유기적으로 창발한다"는 이 이론은 새로운 개념이 아닙니다. 유명한 OpenAI Hide and Seek 논문과 같은 LLM 이전의 오래된 멀티 에이전트 연구들도 이를 암시했습니다.
https://openai.com/index/emergent-tool-use/
이 논문은 그 오래된 멀티 에이전트 논문들의 몇몇 아이디어를 떠올리게 하지만, 몇 가지 주의할 점이 있습니다. 다음 사항들을 기억하는 것이 중요합니다:
- 이 논문은 에이전트를 재정적으로 독립시키거나 거래나 경매를 수행하도록 훈련시키는 것이 아닙니다!
- 사실, 이는 수학, 가속기 코드 최적화, 심층 탐색, 과학 연구 등과 같은 일반적인 검증 가능한 환경에서 에이전트를 최적화하는 새로운 알고리즘입니다.
- 대부분의 경우, 에이전트들은 자신이 이 시장 시뮬레이터 안에 있다는 사실조차 모릅니다. 이는 에이전트가 어떻게 진화할지(그리고 어떤 에이전트가 진화하지 않을지)를 제어하는 외부 시스템입니다.
에이전트들은 경매에 입찰하여 이러한 대상 환경 중 하나에서 한 단계를 진행할 권리를 획득합니다.
이 경매에서 낙찰되면 지갑에서 금액이 차감되며, 환경에 "방문"하여 실제 조치를 취함으로써 환경을 단계
t
에서 단계
t+1
로 전진시킬 수 있습니다.
같은 환경에서 나중에 행동하는 에이전트들은 자신의 입찰가를 이전 에이전트(마지막 낙찰자)에게 지불합니다.
이것을 한동안 반복하면, 가장 부유한 에이전트들이 대상 환경에서 수행하기에 가장 좋은 정책을 갖게 됩니다.
장기적인 신용 할당과 진화적 프롬프트 최적화 알고리즘에 대한 매우 흥미로운 접근 방식입니다. 이들이 무엇을 하고 있는지 제대로 이해하기 위해 처음부터 알고리즘을 분석해 보겠습니다.
접근 방식
이 논문에서 에이전트는 별도로 훈련된 신경망이 아닙니다. 각 에이전트는 기본적으로 프롬프트된 LLM 정책이며, 다음을 포함합니다:
- 프롬프트 (그 "역할"과 절차를 정의하는 시스템 프롬프트 / 명령 템플릿). 이 역할은 최적화하려는 대상 환경에 따라 변경됩니다. 예를 들어, MATH 작업의 경우 플래너, 실행자, 검증자 역할을 할당하고, 가속기 설계 작업의 경우 기록자, 플래너, 실행자 역할을 할당합니다.
- 경매에 입찰할 자격이 있는 시기를 결정하는 트리거 / 웨이크업 조건.
- 경매에 사용되는 (고정된) 입찰 값.
- 시간이 지남에 따라 변하고 선택을 주도하는 부 변수.
EOM은 두 개의 연결된 루프로 실행됩니다:
- 계획 (에피소드 내): 에이전트들은 각 단계에서 행동할 권리를 위해 경매를 하고, 부는 버킷-여단 지불 규칙을 통해 업데이트됩니다.
- 적응 (에피소드 간): 집단은 부에 의해서만 주도되는 탐색/활용을 사용하여 프롬프트를 진화시킵니다.
EOM(최종 결과물)의 목표는 에이전트 그룹을 생성하는 것입니다. 각 에이전트는 특정 환경에서 행동하는 방법에 대한 자신만의 시스템 프롬프트와 행동 시기에 대한 정책을 가지고 있습니다. 새로운 문제가 주어지면, 에이전트들은 누가 행동할지 입찰하고, 행동을 수행하며, 해결책에 도달할 때까지 이 과정을 반복합니다.
루프 1: 경험 수집 + 경매 실행
에피소드의 각 환경 단계에서:
- 대상 환경의 현재 관찰 결과가 주어지면, 각 에이전트는 "깨어날"지 여부를 결정하는 프롬프트를 실행합니다. 깨어난다는 것은 단순히 2단계의 다가오는 경매에 참여한다는 의미입니다.
- 깨어나기로 결정한 에이전트들은 자동으로 고정된 입찰가를 제출합니다. 이는 초기화 중에 고정된 입찰가이기 때문입니다(즉, 에이전트가 입찰가를 지능적으로 할당하려고 시도하지 않음).
- 가장 높은 입찰가를 제시한 에이전트가 경매 낙찰자입니다! 그들은 즉시 입찰한 금액을 잃습니다. 하지만 환경에 대한 통제권을 얻습니다.
- 낙찰 에이전트는 현재 상태의 대상 환경에서 행동을 샘플링합니다. 이는 대상 환경에서 다음 단계를 실행하여 시계를 s_t -> s_t+1로 전진시키는 것을 의미합니다.
- 환경이 전이되고 보상 r_t를 생성합니다.
- 버킷-여단 신용 할당으로 부 이전이 발생합니다! 두 가지 일이 발생합니다: a) 새 낙찰자는 이전 낙찰자에게 자신의 입찰가를 지불합니다. b) 새 낙찰자는 또한 환경 보상 r_t를 자신의 지갑에 수집합니다.
첫 번째 낙찰자의 경우, 지불은 "하우스"(다른 에이전트가 아님)로 전달됩니다.
- 다음 단계에서는 전체 루프가 업데이트된 환경에서 반복됩니다. 그러나 에이전트는 최신 관찰 결과(s_t+1에서 얻은)에 따라 "깨어나며", 이 경매의 낙찰자는 이전 경매의 낙찰자에게 자신의 입찰가를 지불합니다. 이 입찰가는 이전 낙찰자의 지갑에 추가됩니다.
- 만약 어느 시점에서 에이전트가 파산하면, 그 에이전트는 제거됩니다. 또한, 에이전트가 지갑을 그대로 두고 참여를 거부하면 지갑이 시간이 지남에 따라 감소하여 결국 파산하게 됩니다. 이는 전체 과정에 긴급성을 더합니다.
자, 많은 환경들은 중간 보상을 전혀 제공하지 않고 전체 에피소드가 끝난 후에야 하나의 보상을 생성합니다. 전통적인 강화 학습에서 이것은 악명 높은 "신용 할당" 문제로 인해 많은 골칫거리를 야기했습니다. 기본적으로, 긴 행동 체인이 결국 좋은 보상으로 이어진다면, 체인의 각 단계에 어떻게 부분적인 신용을 부여할 수 있을까요?
이 방법은 "마지막 경매 낙찰자에게 입찰가를 지불하라"는 규칙을 사용하여 이 문제를 해결합니다.
그 설계 결정은 가치의 역방향 흐름과 관련된 핵심적인 결과를 초래합니다: 에이전트는 다운스트림 에이전트가 "입찰가를 지불"하고 인수하려는 상태로 시스템을 이동시킴으로써 이익을 얻을 수 있습니다. 이것은 궤적 전반에 걸친 분산된 신용 할당이 됩니다.
만약 당신의 행동이 가치 있는 미래 행동을 가능하게 한다면, 나중 에이전트들이 입찰을 통해 당신으로부터 계속 진행 권리를 "구매"하므로, 당신의 행동 단계에서 직접 rt를 받지 못했더라도 보상을 받게 됩니다.
다음으로, 에피소드 롤아웃이 끝난 후에는 정책을 업데이트할 차례입니다.
루프 2: 에이전트 진화
에피소드가 종료된 후, 에이전트 정책 집단은 경제적 선택과 프롬프트 돌연변이 메커니즘을 사용하여 업데이트됩니다. 기본적으로, 현재 가난한 에이전트를 제거하고, 다음 라운드를 위해 부유한 에이전트를 돌연변이시킵니다.
낮은 부를 가진 에이전트가 나쁜 이유는 다음과 같습니다:
- 경매에 참여하지 않음 (너무 수동적)
- 참여했지만 미래에 나쁜 상태로 이어지는 행동을 취하여, 다른 에이전트들이 참여하지 않음
이러한 성과 부진 에이전트를 제거한 후, 두 가지 소스를 사용하여 집단 크기 제약 조건에 도달할 때까지 새 에이전트를 추가합니다:
- 활용: 부유한 "부모" 에이전트를 선택하고 프롬프트를 약간 돌연변이시켜 유용한 행동을 보존하지만 약간 변형된 자식을 생성합니다. 이는 성공적인 전략을 증폭시키고 전문화를 촉진합니다.
- 탐색: 파산/취약 에이전트를 실패 모드를 수정하거나 다른 행동 영역을 탐색하기 위해 프롬프트를 수정하여 생성된 새로운 변종으로 교체합니다.
추론 및 실제로 무엇을 출시합니까?
단일 에이전트를 출시합니까? 단일 승자를? 아닙니다!
EOM에서 작업을 해결하기 위해 "훈련"하고 "출시"하는 것은 에이전트의 사회/집단이며, 각 에이전트는 자신의 프롬프트와 자신의 고유한 "행동 시기" 로직을 가지고 있습니다.
평가 시점에는 훈련된 집단의 스레드-로컬 복사본을 사용하여 명시적으로 평가하며, 웨이크업 정책을 사용하여 행동할 에이전트를 선택합니다. 집단은 "고정"됩니다(더 이상의 훈련 없음).
지갑과 부 이전과 같은 모든 시장 시뮬레이션 장난은 훈련 시간에만 사용됩니다. 일단 집단이 최적화되면, 추론 중에는 실제로 사용하지 않습니다.
여러 행위자가 함께 "깨어나기"를 원할 때 누가 "행동"해야 하는지 결정하기 위해 입찰 시스템이 여전히 사용된다는 점에 유의하십시오.
모든 것을 설명하는 사례 연구
위의 그림 5를 확인하세요. 가속기 설계 작업에서 이 "Economy of Minds" 아이디어의 멋진 요소를 설명합니다. 가속기 설계에서 에이전트는 역할별로 특화됩니다:
- 기록자: 이전 시도를 요약하고, 유망하거나 실패한 방향에 대한 기억을 유지합니다.
- 플래너: 높은 수준의 검색 방향을 제안합니다.
- 실행자: 세분화된 로컬 평가를 실행합니다.
그리고 환경 보상은 GEMMINI ResNet-50 커널에 대한 EDP(에너지-지연 곱)를 개선하는 것입니다(낮을수록 좋습니다).
각 역할별 특화 에이전트(기록자, 플래너, 실행자)는 부를 가지고 있으며, 이 부는 에피소드가 진행됨에 따라 유용성의 실시간 점수판이 됩니다.
새로운 최고 기록을 생성하는 데 도움이 되는 에이전트는 부를 축적합니다. 정기적인 임대료는 모든 사람을 꾸준히 처벌하므로(따라서 평범한 에이전트는 천천히 사라집니다), 부가 0 아래로 떨어지면 에이전트는 파산하여 제거됩니다.
한편, 가장 부유한 에이전트는 돌연변이된 "좋은 출생" 자손(활용)을 생성하고, 가장 약한 에이전트는 수정된 "나쁜 출생" 자손(탐색)을 생성합니다.
다양한 커널에 걸쳐 시장 압력은 어떤 전문가 계통이 실제로 가치 있는지 자동으로 발견합니다. 때로는 기록자 스타일의 기억이 상속된 편향으로 인해 붕괴되고, 때로는 플래너 계통이 높은 수준의 검색 방향이 병목 현상이기 때문에 번식하며, 때로는 여러 역할이 상호 보완적이기 때문에 공존합니다.
즉, 조정과 신용 할당은 단순한 인센티브(부의 흐름, 임대료, 출생, 파산)에서 창발하여 중앙 시스템 없이 적응형 집단을 생성합니다! 그리고 이것이 바로 이 접근 방식이 멀티 에이전트 시스템을 구축하는 멋진 방법처럼 느껴지는 이유입니다.
논문이 강조하는 창발적 행동 / "아하 순간"
특정 환경(예: MATH)의 경우 초기화 단계에서 특정 역할(플래너, 실행자, 검증자)로 에이전트를 시드한다는 것을 기억하세요. 플래너 프롬프트를 가진 에이전트는 에피소드 초반에 입찰할 가능성이 높은 반면, 검증자는 초안 솔루션이 마련된 후에 입찰할 가능성이 높습니다.
하지만 이것이 이 논문에 대해 생각하는 직관적인 방식이지만, 실제로는 올바른 모델이 아닙니다. EOM을 읽는 유용한 방법은 다음과 같습니다: 그들은 워크플로를 하드 코딩하지 않고, 대신 경제적 규칙을 설정하며, 그러면 집단은 놀랍게도 학습된 "알고리즘" 및 "제도"처럼 보이는 행동으로 스스로 조직화됩니다.
다음은 논문이 보고하는 몇 가지 멋진 시사점입니다:
1) 신용 할당이 전체 행동 체인을 선택하는 시장 신호가 됩니다
핵심 관찰 중 하나는 경제가 유용한 행동 체인을 선택하고, 이를 복제하며, 기여하지 않는 에이전트를 삭제하기 때문에 성능이 향상된다는 것입니다. 따라서 조정은 설계된 프로토콜이 아니라 선택의 창발적 속성입니다.
이것은 "아하" 순간입니다. 단순히 "에이전트가 더 나은 프롬프트를 생성"하는 것이 아니라, 시스템이 어떤 에이전트 시퀀스가 행동하는지에 대해 더 나아지며, 즉 상호작용 토폴로지가 시간이 지남에 따라 선명해집니다. OpenAI 숨바꼭질 논문과 유사합니다!
2) 비단조 학습 곡선: 초기 혼란은 "생산적"입니다
Finance-Agent-Bench에서 그들은 명시적으로 패턴을 언급합니다: EOM은 초기에 하락했다가(탐색이 대체 전문가를 테스트함) 나중에야 회복되어 초기 성능을 능가합니다. 이것은 신경망 훈련에서의 Grokking과 약간 비슷합니다(아마도?)
어쨌든, 그것은 매우 "시장과 같은" 현상입니다: 저자들은 (의역) "초기 전환 및 재할당은 더 나은 전문가/조정을 검색하는 동안 일시적으로 헤드라인 성능을 해칠 수 있습니다"라고 말합니다.
3) 부 궤적은 지배적인 "계통"과 죽어가는 "나쁜 출생"을 보여줍니다
가속기 설계에서 문자 그대로 유용한 계통이 지속되고, 자손을 낳고, 경매를 지배하는 반면, 실패한 변종은 파산하여 제거되는 것을 볼 수 있습니다.
즉, 학습의 단위는 하나의 에이전트 프롬프트가 아닙니다: 부 선택 압력 하에서 진화하는 프롬프트의 가계도입니다.
4) 템플릿 없이 재사용 가능한 도메인 구조 발견 (전이 가능한 휴리스틱)
특히 눈에 띄는 창발적 행동: 가장 어려운 가속기 커널에서 사회는 반복적으로 특정 타일링/데이터 흐름 모티프(출력-고정 스타일)로 수렴합니다. 하지만:
- 그 모티프가 템플릿으로 제공되지 않았고,
- 보상은 오직 "EDP 기록 경신"일 뿐입니다("출력-고정 사용"과 같은 레이블 없음).
따라서 시스템은 선택을 통해 재사용 가능한 설계 휴리스틱을 학습합니다.
5) 프롬프트는 간결한 다단계 추론 루틴(자체 감사 "체크리스트")으로 진화합니다
과학 연구에서 그들은 실행자가 이전에 다른 역할이 필요했던 것을 내면화하고, 돌연변이가 점점 더 명시적인 자체 점검(원칙 우선, 대칭 확인, 타당성 확인, 반증을 위한 대체)을 추가하는 프롬프트 진화를 보고합니다.
에이전트는 일반 텍스트 생성기에서 학습된 과학적 유도 루틴을 실행하는 절차적 모듈에 더 가까워집니다.
6) 행동 규율: 비싼 행동을 사용하지 않는 시기 학습 (CloudCast)
CloudCast는 반복적인 코드 최적화 작업으로, 에이전트 사회가 멀티 클라우드 브로드캐스트 라우팅 토폴로지를 설계하는 Python 프로그램을 개선하여 총 데이터 전송(이그레스) 비용을 최소화해야 합니다. 이것은 그들의 테스트베드 중 하나였습니다.
이 CloudCast 작업에서 그들은 경제가 작업 공간 상태에 따라 다른 워크플로 형태를 선택하는 것을 관찰합니다:
- 높은 점수 근처 → 짧은 "읽기-편집-평가-커밋"
- 불확실/퇴보 → 더 긴 "편집-빌드-평가" 루프
이것은 창발적인 자원 인식 행동입니다: 중앙 통제 없이 언제 신중하게 행동하고 언제 공격적으로 행동해야 하는지에 대한 사회 수준의 정책입니다.
전체 논문은 여기에서 읽어보세요: http://arxiv.org/abs/2606.02859
그리고 이 논문을 연구하는 데 사용한 Paper Breakdown에서도 확인하세요: http://paperbreakdown.com/abs/2606.02859
읽어주셔서 감사합니다!
**
