Uyan tatlım, Harvard'dan yeni bir makale geldi: Ekonomi Zihinler (EOM). Ajanların piyasa benzeri mekanizmalar (açık artırmalar, ödemeler, servet birikimi) kullanarak koordine olduğu ve zamanla geliştiği merkezi olmayan çoklu ajan sistemi geliştirdiler.
Böyle bir ortamın acil çok adımlı akıl yürütme ve çeşitli ajan görevlerinde güçlü performans sağladığını bildiriyorlar!
Not: Bu makale, AVB tarafından Paper Breakdown kılavuzluğunda GPT-5.2 kullanılarak yazılmıştır.
Bunun ne olduğu neden umurumda olsun?
Belirli görevleri yerine getirmek için çoklu ajan sistemleri kuruyorsanız - bu tam size göre. Çoğu çoklu ajan yapısı hâlâ büyük ölçüde elle tasarlanmış orkestrasyona dayanır - siz (geliştirici) "kimin neyi ne zaman yapacağını" manuel olarak tanımlamak için açık talimatlar ve durum makinesi grafikleri yazarsınız.
Uzun görevler, görevin durumuna ve ilerlemesine göre farklı rol değişiklikleri gerektirir. Ve görevlerin her zaman ilerleme kaydetmesi için sistem talimatlarınızı en uygun şekilde değiştirebilen sistemler tasarlamak neredeyse her zaman en iyisidir.
Bu makalenin amacı tam olarak bunu yapmaktır. Bir görev verildiğinde, her biri nasıl hareket edeceği VE ne zaman hareket edeceği konusunda özel talimatlara sahip, optimize edilmiş bir çoklu ajan popülasyonu nasıl oluşturulur?
Ve bunu gerçekten benzersiz ve eğlenceli bir şekilde yaptılar - ajanların nasıl gelişeceğini harici olarak kontrol eden bir piyasa sistemini simüle ederek.
Bu optimizasyonun nihai sonucu, bir grup uzmanlaşmış ajan ve bir görevi nasıl çözeceklerini seçmek için akıllı bir yönlendirme mekanizmasıdır.
Temel bir eylem alanına sahip basit ajanları karmaşık bir çoklu ajan senaryosuna koyduğumuzda, ne olacağını düşünüyorsunuz? Karmaşık davranışlar otomatik olarak ortaya çıkar çünkü bu basit ajanlar, senaryodaki diğer ajanların yarattığı belirsizlikler etrafında hayatlarını optimize etmeye başlarlar. Tüm bunların en güzel yanı da bu.
Bu arada, "davranışların çoklu ajan senaryosundan organik olarak ortaya çıkması" teorisi yeni bir kavram değil. Ünlü OpenAI Saklambaç makalesi gibi, LLM öncesi döneme ait bazı eski çoklu ajan çalışmaları bile bunu belirtmiştir.
https://openai.com/index/emergent-tool-use/
Bu makale bana eski çoklu ajan makalelerindeki bazı fikirleri hatırlatsa da, birkaç uyarı var. Aşağıdakilere dikkat etmek önemlidir:
- Bu makale, ajanları finansal olarak bağımsız olmaları veya ticaret ya da açık artırma yapmaları için EĞİTMEZ!
- Aslında bu, ajanları Matematik, hızlandırıcı kodu optimize etme, derin arama, bilimsel araştırma vb. gibi yaygın doğrulanabilir ortamlarda optimize etmek için yeni bir algoritmadır.
- Çoğu durumda, ajanlar bu piyasa simülatörünün içinde olduklarını bile bilmezler. Bu, ajanların nasıl gelişeceğini (ve hangilerinin gelişmeyeceğini) kontrol eden harici bir sistemdir.
Ajanlar, bu hedef ortamlardan birinde bir adım atma hakkını kazanmak için açık artırmaya teklif verir.
Bu açık artırmayı kazanmak, miktarı cüzdanlarından düşer ve ortamı adımdan ileriye taşıyan gerçek bir eylemde bulunmak için ortamı "ziyaret etme" hakkı kazanırlar.
t
adımına
t+1.
Aynı ortamda eylemde bulunan gelecekteki ajanlar, tekliflerini bir önceki ajana (son kazanan) geri öder.
Bunu bir süre tekrarlayın ve en zengin ajanlar, hedef ortamda performans göstermek için en iyi politikalara sahip olur.
Uzun vadeli kredi ataması ve evrimsel talimat optimizasyon algoritmalarına süper ilginç bir bakış açısı. Burada ne pişirdiklerini gerçekten anlamak için algoritmayı baştan itibaren inceleyelim.
Yaklaşım
Bu makalede, bir ajan ayrı ayrı eğitilmiş bir sinir ağı değildir. Her ajan, esasen aşağıdakilere sahip talimatlandırılmış bir LLM politikasıdır:
- bir talimat (rolünü ve prosedürünü tanımlayan bir sistem talimatı / talimat şablonu). Bu rol, optimize ettiğimiz hedef ortama bağlı olarak değişir. Örneğin, MATH görevleri için şu rolleri atarlar: planlayıcı, yürütücü, doğrulayıcı ve hızlandırıcı tasarım görevi için: tarihçi, planlayıcı, yürütücü
- açık artırmada teklif vermeye uygun olduğu zamanı belirleyen bir tetikleyici / uyanma koşulu
- açık artırmalarda kullanılan (sabit) bir teklif değeri,
- ve zamanla değişen ve seçimi yönlendiren bir servet değişkeni
EOM daha sonra iki bağlantılı döngü halinde çalışır:
- Planlama (bir bölüm içinde): ajanlar her adımda hareket etme hakkı için açık artırma yapar ve servet, kovalı tugay ödeme kuralı kullanılarak güncellenir.
- Uyum (bölümler arasında): popülasyon, yalnızca servet tarafından yönlendirilen keşif/kullanma kullanarak talimatları geliştirir.
EOM'nin (nihai çıktı) amacı bir grup ajandır. Her ajanın belirli bir ortamda nasıl hareket edeceğine dair kendi sistem talimatı ve ne zaman hareket edeceğine dair bir politikası vardır. Yeni bir problem verildiğinde, ajanlar kimin hareket edeceği konusunda teklif verir, eylemi gerçekleştirir ve çözüme ulaşılana kadar süreci tekrarlar.
Döngü 1: Deneyimleri Topla + Açık Artırmayı Çalıştır
Bir bölümdeki her ortam adımında:
- Hedef ortamın mevcut gözlemi verildiğinde, her ajan "uyanıp uyanmayacaklarını" belirleyen bir talimat çalıştırır. Uyanmak, basitçe 2. adımdaki yaklaşan açık artırmaya katılmak anlamına gelir.
- Uyanmaya karar veren ajanlar, sabit tekliflerini otomatik olarak gönderir. Bu sabit bir tekliftir çünkü bu teklifler başlatma sırasında sabitlenir (yani ajanlar akıllıca bir teklif ayırmaya çalışmaz).
- En yüksek teklife sahip ajan açık artırmanın kazananıdır! Teklif ettikleri parayı hemen kaybederler. Ancak ortamın kontrolünü kazanırlar.
- Kazanan ajan, mevcut durumunda hedef ortamda bir eylem örneği alır. Bu, hedef ortamda bir sonraki adımı yürütmek, saati s_t -> s_t+1'den ilerletmekle ilgili olacaktır.
- Ortam geçiş yapar ve bir r_t ödülü üretir.
- Servet Transferi, kovalı tugay kredi ataması ile gerçekleşir! 2 şey olur: a) Yeni kazanan teklifini bir önceki kazanana öder b) Yeni kazanan ayrıca ortam ödülü r_t'yi cüzdanına toplar**
İlk kazanan için ödeme "eve" (başka bir ajana değil) gider.
- Bir sonraki adımda, tüm döngü güncellenmiş ortamda tekrarlanır. Ancak ajanlar en son gözleme (s_t+1'den elde edilen) göre "uyanır" ve bu açık artırmanın kazananı, teklifini bir önceki açık artırmanın kazananına öder. Bu teklif, bir önceki kazananın cüzdanına eklenir.
- Bir ajan herhangi bir noktada iflas ederse, dışarı atılır. Ayrıca, bir ajan cüzdanında oturur ve katılımı reddederse, cüzdanı zamanla değer kaybeder ve sonunda iflas eder. Bu, tüm olaya aciliyet katar.
Şimdi, birçok ortam ara ödüller vermez ve yalnızca tüm bölüm bittikten sonra bir tane üretir. Geleneksel RL'de bu, kötü şöhretli "kredi ataması" sorunu nedeniyle birçok baş ağrısına neden olmuştur. Temel olarak, uzun bir eylem zinciri sonunda iyi bir ödüle yol açarsa, zincirdeki her adıma kısmi bir krediyi nasıl atfedersiniz?
Bu yöntem, "teklifinizi son açık artırma kazananına ödeyin" kuralını kullanarak bu sorunu ele alır.
Bu tasarım kararının, değerin geriye doğru akışıyla ilgili önemli bir sonucu vardır: bir ajan, sistemi, sonraki ajanların devralmak için "tekliflerini ödemeye" istekli olduğu durumlara taşıyarak kar edebilir. Bu, yörünge boyunca merkezi olmayan kredi ataması haline gelir.
Eyleminiz değerli gelecekteki eylemleri mümkün kılıyorsa, sonraki ajanlar devamı sizden teklifler yoluyla "satın alır", böylece eylem adımınızda doğrudan rt almasanız bile ödüllendirilirsiniz.
Ardından, bölüm yayınları bittikten sonra, politikaları güncelleme zamanı gelir.
Döngü 2: Ajanları Geliştir
Bölümler sona erdikten sonra, ajan politikalarının popülasyonu ekonomik seçim ve bir talimat mutasyonu mekanizması kullanılarak güncellenir. Temel olarak, şu anda fakir olan ajanları budarız ve bir sonraki tur için zengin olan ajanları mutasyona uğratırız.
Düşük servetli ajanların kötü olduğunu unutmayın çünkü ya:
- açık artırmaya katılmadılar (çok pasif)
- katıldılar ancak gelecekte kötü durumlara yol açan eylemlerde bulundular, diğer ajanların katılmadığı
Bu düşük performanslıları kestikten sonra, iki kaynak kullanarak popülasyon boyut kısıtlamalarına ulaşana kadar yeni ajanlar ekleriz:
- Kullanma: zengin "ebeveyn" ajanları seçin ve faydalı davranışları koruyan ancak biraz farklılık gösteren çocuklar üretmek için talimatlarını hafifçe mutasyona uğratın. Bu, başarılı stratejileri güçlendirir ve uzmanlaşmayı teşvik eder.
- Keşif: iflas etmiş/zayıf ajanları, başarısızlık modlarını düzeltmek veya farklı davranış bölgelerini keşfetmek için talimatları değiştirilerek oluşturulan yeni varyantlarla değiştirin.
Çıkarım ve aslında neyi teslim ediyorsunuz?
Tek bir ajan mı teslim ediyorsunuz? Tek bir kazanan mı? HAYIR!
EOM'de, görevleri çözmek için "eğittiğiniz" ve ardından "teslim ettiğiniz" şey, her ajanın kendi talimatlarına ve kendi yerel "ne zaman hareket edeceği" mantığına sahip olduğu bir toplum/popülasyondur.
Değerlendirme zamanında, eğitilmiş popülasyonun iş parçacığına özel bir kopyasını kullanarak açıkça değerlendirirler ve hangi ajanın hareket edeceğini seçmek için uyanma politikası kullanılır. Popülasyon "dondurulur" (daha fazla eğitim yok).
Cüzdanlar ve servet transferi gibi tüm piyasa simülasyonu maskaralıkları, yalnızca eğitim zamanına özgü şeylerdir. Popülasyon optimize edildikten sonra, bunları çıkarım sırasında kullanmayız.
Birden fazla aktör birlikte "uyanmak" istediğinde, bir adımda kimin "hareket edeceğini" belirlemek için teklif sisteminin hâlâ kullanıldığını unutmayın.
Her Şeyi Açıklayan Bir Vaka Çalışması
Yukarıdaki Şekil 5'e bakın. Hızlandırıcı Tasarımı görevindeki bu "Zihin Ekonomisi" fikrinin havalı faktörünü açıklıyor. Hızlandırıcı tasarımında, ajanlar rol-uzmanlaşmıştır:
- Tarihçi: önceki denemeleri özetler, umut verici/başarısız yönlerin hafızasını tutar
- Planlayıcı: üst düzey arama yönleri önerir
- Yürütücü: ince taneli yerel değerlendirmeler yapar
Ve ortam ödülü, GEMMINI ResNet-50 çekirdeklerinde EDP'yi (enerji-gecikme ürünü) iyileştirmekle ilgilidir (daha düşük EDP daha iyidir)
Her rol-uzmanlaşmış ajan (Tarihçi, Planlayıcı, Yürütücü) servet taşır ve bu servet, bölümler ilerledikçe canlı bir kullanışlılık skor tablosu haline gelir.
Yeni en iyi kayıtların üretilmesine yardımcı olan ajanlar servet biriktirir. Periyodik kira herkesi istikrarlı bir şekilde cezalandırır (böylece vasat ajanlar yavaşça ölür) ve servet sıfırın altına düştüğünde ajan iflas eder ve kaldırılır.
Bu arada, en zengin ajanlar mutasyona uğramış "iyi doğum" torunları (kullanma) doğurur ve en zayıflar, değiştirilmiş "kötü doğum" torunları (keşif) doğurur.
Farklı çekirdekler arasında, piyasa baskısı hangi uzman soyunun gerçekten değerli olduğunu otomatik olarak keşfeder. Bazen Tarihçi tarzı hafıza, kalıtsal önyargı nedeniyle çöker, bazen bir Planlayıcı soyu, üst düzey arama yönü darboğaz olduğu için çoğalır ve bazen birden fazla rol birbirini tamamladıkları için bir arada bulunur.
Başka bir deyişle, koordinasyon ve kredi ataması, basit teşviklerden (servet akışı, kira, doğum, iflas) ortaya çıkar ve merkezi bir sistem olmadan uyarlanabilir bir popülasyon üretir! İşte bu nedenle yaklaşım, çoklu ajan sistemleri oluşturmak için harika bir yol gibi geliyor.
Makalenin Vurguladığı Ortaya Çıkan Davranışlar / "Aha anları"
Belirli bir ortam için (örneğin MATEMATİK), başlatma aşamasında ajanlarına belirli roller verdiklerini hatırlayın. Planlayıcılar, Yürütücüler, Doğrulayıcılar. Planlayıcı talimatına sahip bir ajan, bölümlerin başlarında teklif verme eğilimindeyken, doğrulayıcılar muhtemelen bir taslak çözüm yerine oturduktan sonra teklif verecektir.
Bu, bu makaleyi düşünmenin sezgisel bir yolu olsa da, pratikte doğru model bu değildir. EOM'yi okumanın faydalı bir yolu şudur: bir iş akışını kodlamazlar, bunun yerine ekonomik kurallar belirlerler ve ardından popülasyon, şaşırtıcı bir şekilde öğrenilmiş "algoritmalar" ve "kurumlar" gibi görünen davranışlara kendi kendine organize olur.
İşte makalenin bildirdiği bazı harika çıkarımlar:
1) Kredi ataması, tüm eylem zincirlerini seçen bir piyasa sinyali haline gelir
Temel bir gözlem, performansın iyileşmesidir çünkü ekonomi yararlı eylem zincirlerini seçer, onları çoğaltır ve katkıda bulunmayan ajanları siler. Dolayısıyla koordinasyon, mühendislik ürünü bir protokol değil, seçimin ortaya çıkan bir özelliğidir.
Bu bir "aha" anıdır çünkü sadece "ajanlar daha iyi talimatlar yapar" değildir; sistem hangi ajan dizilerinin hareket ettiği konusunda daha iyi hale gelir, yani etkileşim topolojisi zamanla keskinleşir. OpenAI Saklambaç makalesine benzer!
2) Monoton olmayan öğrenme eğrileri: erken kaos "üretkendir"
Finance-Agent-Bench'te açıkça bir model not ederler: EOM erken düşer (keşif alternatif uzmanları test ederken) ve ancak daha sonra toparlanır ve ilk performansı geçer. Bu biraz sinir ağı eğitimindeki Grokking'e benziyor (sanırım?)
Her durumda, bu çok "piyasa benzeri" bir olgudur: yazarlar (alıntı) "daha iyi uzmanlar/koordinasyon ararken erken ciro ve yeniden tahsis, geçici olarak manşet performansına zarar verebilir" der.
3) Servet yörüngeleri, "soyların" hakim olduğunu ve "kötü doğumların" öldüğünü gösterir
Hızlandırıcı tasarımında, yararlı soyların devam ettiğini, yavrular doğurduğunu ve açık artırmalara hakim olduğunu, başarısız varyantların ise iflas ettiğini ve kaldırıldığını kelimenin tam anlamıyla görebilirsiniz.
Başka bir deyişle, öğrenme birimi tek bir ajan talimatı değildir: servet seçim baskısı altında gelişen bir talimat aile ağacıdır.
4) Şablonlar olmadan yeniden kullanılabilir alan yapısının keşfi (aktarılabilir buluşsal yöntemler)
Özellikle çarpıcı bir ortaya çıkan davranış: en zor hızlandırıcı çekirdeklerinde, toplum tekrar tekrar belirli bir döşeme/veri akışı motifine (çıktı-sabit stil) yakınsar, ancak:
- bu motif bir şablon olarak verilmez ve
- ödül yalnızca "EDP rekor kırmaları"dır ("çıktı-sabit kullan" gibi etiketler yoktur)
Böylece sistem, seçim yoluyla yeniden kullanılabilir bir tasarım buluşsal yöntemi öğrenir.
5) Talimatlar, kompakt çok adımlı akıl yürütme rutinlerine (kendi kendini denetleyen "kontrol listeleri") dönüşür
Bilimsel araştırmada, daha önce diğer rollerin gerektirdiği şeyleri bir YÜRÜTÜCÜ'nün içselleştirdiği ve mutasyonların giderek daha açık kendi kendine kontroller eklediği (önce ilke, simetri kontrolleri, fizibilite kontrolleri, yanlışlamak için ikame) talimat evrimini bildirirler.
Bir ajan, genel bir metin üreteci olmaktan çıkar ve öğrenilmiş bir bilimsel türetme rutini çalıştıran prosedürel bir modül gibi olur.
6) Eylem disiplini: pahalı eylemlerin ne zaman kullanılmayacağını öğrenme (CloudCast)
CloudCast, ajan toplumunun, toplam veri aktarımını (çıkış maliyeti) en aza indirmek için çoklu bulut yayın yönlendirme topolojisi tasarlayan bir Python programını iyileştirmesi gereken yinelemeli bir kod optimizasyonu görevidir. Bu, test ortamlarından biriydi.
Bu CloudCast görevinde, ekonominin çalışma alanı durumuna bağlı olarak farklı iş akışı şekilleri seçtiğini gözlemlerler:
- yüksek puana yakın → kısa "oku-düzenle-değerlendir-kaydet"
- belirsiz/gerilemiş → daha uzun "düzenle-inşa et-değerlendir" döngüleri
Bu, merkezi kontrol olmadan ne zaman temkinli ne zaman agresif hareket edileceğine dair ortaya çıkan bir kaynak farkındalığı davranışıdır: toplum düzeyinde bir politika.
Tam makaleyi buradan okuyun: http://arxiv.org/abs/2606.02859
Ayrıca bu makaleyi incelemek için kullandığım Paper Breakdown'da: http://paperbreakdown.com/abs/2606.02859
Okuduğunuz için teşekkürler!
**
