Dậy đi nào, có bài báo mới từ Harvard rồi: Economy of Minds (EOM). Họ đã tạo ra một hệ thống đa tác tử phi tập trung, nơi các tác tử phối hợp và cải thiện theo thời gian bằng cách sử dụng cơ chế giống thị trường (đấu giá, thanh toán, tích lũy tài sản).
Họ báo cáo rằng một môi trường như vậy đã dẫn đến sự xuất hiện của khả năng suy luận đa bước và hiệu suất mạnh mẽ trong một số tác vụ đòi hỏi khả năng tác nhân!
Lưu ý: Bài viết này được viết bởi AVB sử dụng GPT-5.2 trong khuôn khổ Paper Breakdown
Tại sao tôi nên quan tâm đến thứ này?
Nếu bạn đang xây dựng các hệ thống đa tác tử để hoàn thành các tác vụ cụ thể - điều này dành cho bạn. Hầu hết các stack đa tác tử vẫn phụ thuộc nhiều vào sự phối hợp được thiết kế thủ công - bạn (người phát triển) phải tự viết các prompt rõ ràng và biểu đồ trạng thái máy để định nghĩa thủ công "ai làm gì và khi nào".
Các tác vụ dài đòi hỏi các sự chuyển đổi vai trò khác nhau tùy theo trạng thái và tiến độ của tác vụ. Và hầu như luôn luôn tốt nhất là thiết kế các hệ thống có thể thay đổi prompt hệ thống một cách tối ưu để các tác vụ luôn tiến triển.
Mục tiêu của bài báo này chính xác là làm điều này. Với một tác vụ nhất định, làm thế nào để tạo ra một quần thể đa tác tử được tối ưu hóa, mỗi tác tử có các hướng dẫn cụ thể về cách hành động VÀ thời điểm hành động.
Và họ đã làm điều đó theo một cách thực sự độc đáo và thú vị - mô phỏng một hệ thống thị trường kiểm soát bên ngoài cách các tác tử tiến hóa.
Kết quả cuối cùng của quá trình tối ưu hóa này là một nhóm các tác tử chuyên biệt và một cơ chế định tuyến thông minh để chọn cách chúng giải quyết một tác vụ.
Khi chúng ta đặt các tác tử đơn giản với không gian hành động cơ bản trong một kịch bản đa tác tử phức tạp, bạn nghĩ điều gì sẽ xảy ra? Các hành vi phức tạp tự động xuất hiện bởi vì những tác tử đơn giản đó bắt đầu tối ưu hóa cuộc sống của chúng xung quanh những bất ổn do các tác tử khác trong kịch bản tạo ra. Đó là phần tuyệt vời nhất của tất cả những điều này.
Nhân tiện, lý thuyết về "hành vi tự nhiên xuất hiện từ kịch bản đa tác tử" này không phải là một khái niệm mới. Thậm chí một số công trình đa tác tử cũ hơn, trước thời LLM, cũng đã chỉ ra điều này, chẳng hạn như bài báo nổi tiếng về Hide and Seek của OpenAI.
https://openai.com/index/emergent-tool-use/
Mặc dù bài báo này gợi cho tôi nhớ đến một số ý tưởng từ những bài báo đa tác tử cũ hơn, nhưng có một vài điểm cần lưu ý. Điều quan trọng là phải ghi nhớ những điều sau:
- Bài báo này KHÔNG phải là huấn luyện các tác tử để tự chủ về tài chính hoặc thực hiện các giao dịch hay đấu giá!
- Trên thực tế, đây là một thuật toán mới để tối ưu hóa các tác tử trong các môi trường có thể kiểm chứng phổ biến như Toán học, tối ưu hóa mã tăng tốc, tìm kiếm sâu, nghiên cứu khoa học, v.v.
- Phần lớn, các tác tử thậm chí không biết rằng chúng đang ở bên trong trình mô phỏng thị trường này. Đây là một hệ thống bên ngoài kiểm soát cách các tác tử tiến hóa (và tác tử nào thì không).
Các tác tử đặt giá thầu trong cuộc đấu giá để giành quyền thực hiện một bước trong một trong những môi trường mục tiêu này.
Thắng trong cuộc đấu giá này sẽ trừ số tiền từ ví của họ, và họ có được "quyền truy cập" vào môi trường để thực hiện một hành động thực tế, đưa môi trường tiến từ bước
t
lên bước
t+1.
Các tác tử trong tương lai thực hiện hành động trong cùng một môi trường sẽ trả lại giá thầu của họ cho tác tử trước đó (người thắng cuộc trước).
Lặp lại điều này một thời gian, và các tác tử giàu có nhất sẽ có các chính sách tốt nhất để hoạt động trong môi trường mục tiêu.
Đó là một góc nhìn cực kỳ thú vị về việc gán tín dụng trong thời gian dài và các thuật toán tối ưu hóa prompt tiến hóa. Hãy cùng phân tích thuật toán từ đầu để thực sự hiểu những gì họ đang nấu ở đây.
Cách Tiếp Cận
Trong bài báo này, một tác tử không phải là một mạng nơ-ron được huấn luyện riêng biệt. Mỗi tác tử về cơ bản là một chính sách LLM dựa trên prompt với:
- một prompt (một prompt hệ thống / mẫu hướng dẫn xác định "vai trò" và quy trình của nó). Vai trò này thay đổi tùy thuộc vào môi trường mục tiêu chúng ta đang tối ưu hóa. Ví dụ, đối với các tác vụ MATH, họ chỉ định các vai trò: người lập kế hoạch, người thực thi, người xác minh, và đối với tác vụ thiết kế bộ tăng tốc: nhà sử học, người lập kế hoạch, người thực thi
- một điều kiện kích hoạt / đánh thức xác định thời điểm nó đủ điều kiện để đặt giá thầu trong cuộc đấu giá.
- một giá trị thầu (cố định) được sử dụng trong các cuộc đấu giá,
- và một biến tài sản thay đổi theo thời gian và thúc đẩy sự lựa chọn
EOM sau đó chạy trong hai vòng lặp kết hợp:
- Lập kế hoạch (trong một tập): các tác tử đấu giá để giành quyền hành động ở mỗi bước, và tài sản được cập nhật thông qua quy tắc thanh toán bucket-brigade.
- Thích ứng (qua các tập): quần thể tiến hóa prompt bằng cách sử dụng khai thác / thăm dò được thúc đẩy hoàn toàn bởi tài sản.
Mục tiêu của EOM (kết quả cuối cùng có thể bàn giao) là một nhóm các tác tử. Mỗi tác tử có prompt hệ thống riêng về cách hành động trong một môi trường nhất định, và một chính sách về thời điểm hành động. Với một vấn đề mới, các tác tử đặt giá thầu xem ai sẽ hành động, thực hiện hành động đó, và lặp lại quá trình cho đến khi đạt được giải pháp.
Vòng Lặp 1: Thu thập Kinh nghiệm + Chạy Đấu giá
Tại mỗi bước môi trường trong một tập:
- Dựa trên quan sát hiện tại của môi trường mục tiêu, mỗi tác tử chạy một prompt để xác định xem chúng có nên "thức dậy" hay không. Thức dậy đơn giản có nghĩa là tham gia vào cuộc đấu giá sắp tới ở bước 2.
- Các tác tử quyết định thức dậy sẽ tự động gửi giá thầu cố định của chúng. Đó là giá thầu cố định vì các giá thầu này được xác định trong quá trình khởi tạo (tức là các tác tử không cố gắng phân bổ giá thầu một cách thông minh).
- Tác tử có giá thầu cao nhất là người thắng cuộc đấu giá! Họ ngay lập tức mất số tiền họ đã đặt thầu. Nhưng họ giành được quyền kiểm soát môi trường.
- Tác tử chiến thắng lấy mẫu một hành động trong môi trường mục tiêu ở trạng thái hiện tại của nó. Điều này sẽ liên quan đến việc thực hiện bước tiếp theo trong môi trường mục tiêu, chuyển đồng hồ từ s_t -> s_t+1
- Môi trường chuyển đổi và tạo ra phần thưởng r_t
- Việc chuyển giao tài sản diễn ra với việc gán tín dụng bucket-brigade! 2 điều xảy ra: a) Người thắng cuộc mới trả giá thầu của mình cho người thắng cuộc trước đó b) Người thắng cuộc mới cũng thu thập phần thưởng môi trường r_t vào ví của họ
Đối với người thắng cuộc đầu tiên, khoản thanh toán sẽ được chuyển đến "nhà cái" (không phải tác tử khác)
- Ở bước tiếp theo, toàn bộ vòng lặp lặp lại nhưng trên môi trường đã được cập nhật. Tuy nhiên, các tác tử "thức dậy" dựa trên quan sát mới nhất (thu được từ s_t+1 ), và người thắng cuộc của cuộc đấu giá này trả giá thầu của mình cho người thắng cuộc của cuộc đấu giá trước đó. Giá thầu này được thêm vào ví của người thắng cuộc trước đó.
- Nếu tại bất kỳ thời điểm nào, một tác tử bị phá sản, chúng sẽ bị loại bỏ. Ngoài ra, nếu một tác tử ngồi yên trên ví của mình và từ chối tham gia, ví của chúng cũng sẽ giảm dần theo thời gian và cuối cùng chúng sẽ phá sản. Điều này tạo thêm tính cấp bách cho toàn bộ quá trình.
Bây giờ, nhiều môi trường không đưa ra bất kỳ phần thưởng trung gian nào và chỉ tạo ra một phần thưởng sau khi toàn bộ tập kết thúc. Trong RL truyền thống, đây là nguyên nhân gây ra nhiều cơn đau đầu do vấn đề "gán tín dụng" khét tiếng. Về cơ bản, nếu một chuỗi hành động dài cuối cùng dẫn đến một phần thưởng tốt, làm thế nào để bạn quy một phần tín dụng cho mỗi bước trong chuỗi?
Phương pháp này giải quyết vấn đề này bằng cách sử dụng quy tắc "trả giá thầu của bạn cho người thắng cuộc đấu giá cuối cùng".
Quyết định thiết kế đó có một hệ quả quan trọng liên quan đến dòng chảy ngược của giá trị: một tác tử có thể kiếm lợi nhuận bằng cách đưa hệ thống vào các trạng thái mà các tác tử ở phía sau sẵn sàng "trả giá thầu của họ" để tiếp quản. Điều này trở thành sự gán tín dụng phi tập trung trên toàn bộ quỹ đạo.
Nếu hành động của bạn cho phép các hành động có giá trị trong tương lai, các tác tử sau sẽ "mua" sự tiếp nối từ bạn thông qua giá thầu, vì vậy bạn được thưởng ngay cả khi bạn không trực tiếp nhận được rt vào bước hành động của mình.
Tiếp theo, sau khi các tập kết thúc, đã đến lúc cập nhật các chính sách.
Vòng Lặp 2: Tiến hóa Các tác tử
Sau khi các tập kết thúc, quần thể các chính sách tác tử được cập nhật bằng cách sử dụng chọn lọc kinh tế và một cơ chế đột biến prompt. Về cơ bản, chúng ta loại bỏ các tác tử hiện đang nghèo, và gây đột biến cho các tác tử giàu có cho vòng tiếp theo.
Hãy nhớ rằng các tác tử có tài sản thấp là xấu vì chúng:
- không tham gia đấu giá (quá thụ động)
- đã tham gia nhưng thực hiện các hành động dẫn đến các trạng thái xấu trong tương lai, mà các tác tử khác không muốn tham gia
Sau khi loại bỏ những kẻ hoạt động kém hiệu quả đó, chúng ta thêm các tác tử mới cho đến khi quần thể đạt đến giới hạn kích thước, sử dụng hai nguồn:
- Khai thác: chọn các tác tử "cha mẹ" giàu có và gây đột biến prompt của chúng một chút để tạo ra các tác tử con bảo tồn các hành vi hữu ích nhưng có một chút khác biệt. Điều này khuếch đại các chiến lược thành công và thúc đẩy sự chuyên môn hóa.
- Thăm dò: thay thế các tác tử phá sản / yếu kém bằng các biến thể mới được tạo ra bằng cách sửa đổi prompt để sửa chữa các chế độ thất bại hoặc khám phá các vùng hành vi khác nhau.
Suy luận và bạn thực sự giao cái gì?
Bạn có giao một tác tử đơn lẻ? Một người chiến thắng duy nhất? KHÔNG!
Trong EOM, thứ bạn "huấn luyện" và sau đó "giao hàng" để giải quyết các tác vụ là một xã hội/quần thể các tác tử, nơi mỗi tác tử có prompt riêng và logic "khi nào hành động" cục bộ của riêng nó.
Tại thời điểm đánh giá, họ đánh giá một cách rõ ràng bằng cách sử dụng bản sao cục bộ của luồng của quần thể đã được huấn luyện và chính sách đánh thức được sử dụng để chọn tác tử nào sẽ hành động. Quần thể được "đóng băng" (không huấn luyện thêm).
Tất cả các trò hề mô phỏng thị trường, chẳng hạn như ví và chuyển giao tài sản, chỉ là những thứ trong thời gian huấn luyện. Khi quần thể đã được tối ưu hóa, chúng ta không thực sự sử dụng chúng trong quá trình suy luận.
Lưu ý rằng hệ thống giá thầu vẫn được sử dụng để xác định ai nên "hành động" trong một bước khi nhiều tác tử cùng muốn "thức dậy".
**
Một Nghiên Cứu Điển Hình để Giải Thích Tất Cả
Hãy xem Hình 5 ở trên. Nó giải thích yếu tố thú vị của ý tưởng "Economy of Minds" này trong tác vụ Thiết kế Bộ Tăng tốc. Trong thiết kế bộ tăng tốc, các tác tử được chuyên môn hóa theo vai trò:
- Nhà sử học: tóm tắt các thử nghiệm trước đó, ghi nhớ các hướng đi đầy hứa hẹn / thất bại
- Người lập kế hoạch: đề xuất các hướng tìm kiếm ở cấp độ cao
- Người thực thi: chạy các đánh giá cục bộ chi tiết
Và phần thưởng môi trường là về việc cải thiện EDP (tích số năng lượng - độ trễ) trên các nhân GEMMINI ResNet-50 (EDP thấp hơn là tốt hơn)
Mỗi tác tử chuyên biệt theo vai trò (Nhà sử học, Người lập kế hoạch, Người thực thi) mang theo tài sản, và tài sản này trở thành một bảng điểm sống động về tính hữu dụng khi các tập tiến triển.
Các tác tử giúp tạo ra các kỷ lục mới tốt nhất sẽ tích lũy tài sản. Khoản tiền thuê định kỳ đều đặn phạt tất cả mọi người (vì vậy các tác tử tầm thường từ từ chết đi), và một khi tài sản giảm xuống dưới 0, tác tử đó sẽ bị phá sản và bị loại bỏ.
Trong khi đó, các tác tử giàu có nhất sẽ sinh ra các "con cháu ra đời tốt" bị đột biến (khai thác) và các tác tử yếu nhất sẽ sinh ra các con cháu "ra đời xấu" đã được sửa đổi (thăm dò).
Trên các nhân khác nhau, áp lực thị trường tự động khám phá ra dòng dõi chuyên gia nào thực sự có giá trị. Đôi khi trí nhớ kiểu Nhà sử học sụp đổ do thành kiến di truyền, đôi khi một dòng dõi Người lập kế hoạch sinh sôi vì hướng tìm kiếm cấp cao là nút thắt cổ chai, và đôi khi nhiều vai trò cùng tồn tại vì chúng bổ sung cho nhau.
Nói cách khác, sự phối hợp và gán tín dụng xuất hiện từ các động cơ khuyến khích đơn giản (dòng chảy tài sản, tiền thuê, sinh sản, phá sản), tạo ra một quần thể thích ứng mà không có hệ thống trung tâm! Và đó chính xác là lý do tại sao cách tiếp cận này có vẻ như là một cách thú vị để xây dựng các hệ thống đa tác tử.
Các hành vi mới nổi / "khoảnh khắc aha" mà bài báo nêu bật
Hãy nhớ lại rằng đối với một môi trường cụ thể (ví dụ: MATH), họ gieo mầm các tác tử của mình với các vai trò cụ thể trong giai đoạn khởi tạo. Người lập kế hoạch, Người thực thi, Người xác minh. Một tác tử với prompt Người lập kế hoạch có khả năng sẽ đặt giá thầu sớm trong các tập, trong khi người xác minh có khả năng sẽ đặt giá thầu sau khi có bản giải pháp nháp.
Mặc dù đó là một cách trực quan để nghĩ về bài báo này, nhưng trên thực tế, đó không phải là mô hình chính xác. Một cách hữu ích để đọc EOM là: họ không mã hóa cứng một quy trình làm việc, thay vào đó, họ thiết lập các quy tắc kinh tế, và sau đó quần thể tự tổ chức thành các hành vi trông giống một cách đáng ngạc nhiên như các "thuật toán" và "thể chế" đã được học.
Dưới đây là một số điểm rút ra thú vị mà bài báo báo cáo:
1) Gán tín dụng trở thành một tín hiệu thị trường để chọn toàn bộ chuỗi hành động
Một quan sát cốt lõi là hiệu suất được cải thiện vì nền kinh tế chọn các chuỗi hành động hữu ích, tái tạo chúng và xóa các tác tử không đóng góp. Vì vậy, sự phối hợp là một thuộc tính nổi lên của sự chọn lọc, không phải là một giao thức được thiết kế.
Đây là một khoảnh khắc "aha" vì nó không chỉ là "các tác tử làm prompt tốt hơn"; hệ thống trở nên tốt hơn trong việc xác định chuỗi tác tử nào hành động, tức là cấu trúc liên kết tương tác trở nên sắc nét hơn theo thời gian. Tương tự như bài báo Hide-and-Seek của OpenAI!
2) Đường cong học tập không đơn điệu: sự hỗn loạn ban đầu là "năng suất"
Trên Finance-Agent-Bench, họ ghi nhận rõ ràng một mô hình: EOM giảm sớm (khi thăm dò thử nghiệm các chuyên gia thay thế) và chỉ sau đó mới phục hồi và vượt qua hiệu suất ban đầu. Điều này hơi giống với Grokking trong quá trình huấn luyện mạng nơ-ron (tôi đoán vậy?)
Dù sao đi nữa, đó là một hiện tượng rất "giống thị trường": các tác giả nói (diễn giải) "sự luân chuyển và phân bổ lại sớm có thể tạm thời làm tổn hại đến hiệu suất chính trong khi nó tìm kiếm các chuyên gia / sự phối hợp tốt hơn"
3) Quỹ đạo tài sản cho thấy "dòng dõi" thống trị và "sự ra đời xấu" chết dần
Trong thiết kế bộ tăng tốc, bạn có thể thấy theo nghĩa đen các dòng dõi hữu ích tồn tại, sinh ra con cái và thống trị các cuộc đấu giá, trong khi các biến thể thất bại bị phá sản và bị loại bỏ.
Nói cách khác, đơn vị học tập không phải là một prompt tác tử: đó là một cây phả hệ đang tiến hóa của các prompt dưới áp lực chọn lọc tài sản.
4) Khám phá cấu trúc miền có thể tái sử dụng mà không cần mẫu (heuristic có thể chuyển giao)
Một hành vi nổi bật đặc biệt: trên các nhân tăng tốc khó nhất, xã hội liên tục hội tụ về một mô-típ tiling/dữ liệu cụ thể (kiểu đầu ra-tĩnh) mặc dù:
- nó không được cung cấp mô-típ đó như một mẫu, và
- phần thưởng chỉ là "phá vỡ kỷ lục EDP" (không có nhãn như "sử dụng đầu ra-tĩnh")
Vì vậy, hệ thống học một heuristic thiết kế có thể tái sử dụng thông qua chọn lọc.
5) Prompt tiến hóa thành các quy trình suy luận đa bước nhỏ gọn ("danh sách kiểm tra" tự kiểm toán)
Trong nghiên cứu khoa học, họ báo cáo sự tiến hóa prompt nơi một NGƯỜI THỰC THI nội hóa những gì trước đây yêu cầu các vai trò khác, và các đột biến thêm vào các bước tự kiểm tra ngày càng rõ ràng (ưu tiên nguyên tắc, kiểm tra đối xứng, kiểm tra tính khả thi, thay thế để làm sai lệch).
Một tác tử trở nên ít giống một trình tạo văn bản chung chung hơn và giống một mô-đun thủ tục chạy một quy trình suy luận khoa học đã được học hơn.
6) Kỷ luật hành động: học khi nào không nên sử dụng các hành động đắt đỏ (CloudCast)
CloudCast là một tác vụ tối ưu hóa mã lặp đi lặp lại, nơi xã hội tác tử phải cải thiện một chương trình Python nhằm thiết kế một cấu trúc liên kết định tuyến phát đa hướng đa đám mây để giảm thiểu tổng chi phí truyền dữ liệu (egress). Đây là một trong những bệ thử nghiệm của họ.
Trong tác vụ CloudCast này, họ quan sát thấy nền kinh tế chọn các hình dạng quy trình làm việc khác nhau tùy thuộc vào trạng thái không gian làm việc:
- gần điểm cao → vòng lặp "đọc-chỉnh sửa-đánh giá-commit" ngắn
- không chắc chắn / suy giảm → vòng lặp "chỉnh sửa-xây dựng-đánh giá" dài hơn
Đó là một hành vi nhận thức về tài nguyên mới nổi: một chính sách ở cấp độ xã hội về khi nào hành động thận trọng so với quyết liệt, mà không có sự kiểm soát trung tâm.
Hãy đọc toàn bộ bài báo tại đây: http://arxiv.org/abs/2606.02859
Và cũng có tại Paper Breakdown, công cụ tôi đã sử dụng để nghiên cứu bài báo này: http://paperbreakdown.com/abs/2606.02859
Cảm ơn bạn đã đọc!
**
