ตื่นเถอะที่รัก มีบทความใหม่จาก哈佛แล้ว: Economy of Minds (EOM) พวกเขาสร้าง ระบบ Multi-Agent แบบ Decentralized ที่เอาไว้ให้ Agent ต่างๆ มาทำงานร่วมกันและพัฒนาตัวเองไปตามกาลเวลา โดยใช้ กลไกแบบตลาด (การประมูล การจ่ายเงิน การสะสมความมั่งคั่ง)
พวกเขารายงานว่าสภาพแวดล้อมแบบนี้ได้นำไปสู่ การใช้เหตุผลแบบหลายขั้นตอนที่เกิดขึ้นเอง (Emergent Multi-Step Reasoning) และมีประสิทธิภาพที่ยอดเยี่ยมในงานเชิง Agentic หลายๆ อย่าง!
หมายเหตุ: บทความนี้เขียนโดย AVB โดยใช้ GPT-5.2 ภายในระบบ Paper Breakdown
ทำไมฉันถึงต้องสนใจอะไรแบบนี้?
ถ้าคุณกำลังสร้างระบบ Multi-Agent เพื่อทำงานเฉพาะอย่างใดอย่างหนึ่ง - นี่เหมาะสำหรับคุณ ระบบ Multi-Agent ส่วนใหญ่ในปัจจุบันยังคงพึ่งพา การออกแบบ Orchestration ด้วยมือ เป็นจำนวนมาก คุณ (นักพัฒนา) จะต้องไปเขียน Prompt และ State Machine Graph ต่างๆ อย่างชัดเจนเพื่อกำหนดว่า "ใครทำอะไรและเมื่อไหร่"
งานที่ยาวนานจำเป็นต้องมีการสลับบทบาทที่แตกต่างกันไปตามสถานะและความคืบหน้าของงาน และมันมักจะดีที่สุดเสมอในการออกแบบระบบที่สามารถปรับเปลี่ยน System Prompts ของคุณได้อย่างเหมาะสม เพื่อให้งานมีความคืบหน้าไปข้างหน้าอยู่เสมอ
เป้าหมายของบทความนี้คือการทำสิ่งนี้ให้เกิดขึ้น เมื่อได้รับงานหนึ่งชิ้น คุณจะสร้างประชากรของ Multi-Agent ที่ถูกปรับให้เหมาะสมได้อย่างไร โดยแต่ละ Agent มีคำสั่งเฉพาะเกี่ยวกับวิธีการทำงาน และเวลาที่ควรลงมือทำ
และพวกเขาก็ทำมันได้ด้วยวิธีที่แปลกใหม่และสนุกมาก นั่นคือการจำลองระบบตลาดที่ควบคุมจากภายนอกว่า Agent ต่างๆ จะวิวัฒนาการไปอย่างไร
ผลลัพธ์สุดท้ายของการปรับให้เหมาะสมนี้คือกลุ่มของ Agent ที่เชี่ยวชาญเฉพาะด้าน และกลไกการกำหนดเส้นทางที่ชาญฉลาดเพื่อเลือกว่าพวกมันจะแก้ปัญหาอย่างไร
เมื่อเรานำ Agent ธรรมดาๆ ที่มีพื้นที่การทำงานพื้นฐาน ไปไว้ในสถานการณ์ Multi-Agent ที่ซับซ้อน คุณคิดว่าจะเกิดอะไรขึ้น? พฤติกรรมที่ซับซ้อนจะเกิดขึ้นโดยอัตโนมัติ เพราะ Agent ธรรมดาๆ เหล่านั้นจะเริ่มปรับชีวิตของพวกมันให้เหมาะสมกับความไม่แน่นอนที่เกิดจาก Agent ตัวอื่นๆ ในสถานการณ์นั้น นั่นคือส่วนที่ดีที่สุดของทั้งหมดนี้
อย่างไรก็ตาม ทฤษฎีที่ว่า "พฤติกรรมเกิดขึ้นเองตามธรรมชาติจากสถานการณ์ Multi-Agent" ไม่ใช่แนวคิดใหม่ แม้แต่งานวิจัย Multi-Agent รุ่นเก่าก่อนยุค LLM บางชิ้นก็เคยชี้ให้เห็นแล้ว เช่น งานวิจัยที่มีชื่อเสียงของ OpenAI เรื่อง Hide and Seek
https://openai.com/index/emergent-tool-use/
แม้ว่าบทความนี้จะทำให้ฉันนึกถึงแนวคิดบางอย่างจากบทความ Multi-Agent รุ่นเก่าเหล่านั้น แต่ก็มีข้อควรระวังอยู่บ้าง สิ่งสำคัญที่ควรทราบคือ:
- บทความนี้ไม่ได้กำลังฝึก Agent ให้พึ่งพาตนเองทางการเงิน หรือทำการซื้อขายหรือประมูล!
- อันที่จริง นี่คืออัลกอริทึมใหม่สำหรับการปรับ Agent ให้เหมาะสมในสภาพแวดล้อมที่ตรวจสอบได้ทั่วไป เช่น คณิตศาสตร์ การปรับโค้ดตัวเร่งความเร็ว การค้นหาเชิงลึก งานวิจัยทางวิทยาศาสตร์ ฯลฯ
- โดยส่วนใหญ่แล้ว Agent ไม่รู้ด้วยซ้ำว่าพวกมันอยู่ในเครื่องจำลองตลาดนี้ นี่คือระบบภายนอกที่ควบคุมว่า Agent ต่างๆ จะวิวัฒนาการอย่างไร (และตัวไหนจะไม่วิวัฒนาการ)
Agent ต่างๆ จะประมูลเพื่อสิทธิ์ในการก้าวเดินในสภาพแวดล้อมเป้าหมายเหล่านี้
การชนะการประมูลนี้จะหักจำนวนเงินจากกระเป๋าของพวกมัน และพวกมันจะได้ "เยี่ยมชม" สภาพแวดล้อมเพื่อดำเนินการจริงที่ทำให้สภาพแวดล้อมก้าวไปข้างหน้าจากขั้นตอน
t
ไปยังขั้นตอน
t+1
Agent ในอนาคตที่ดำเนินการในสภาพแวดล้อมเดียวกันจะจ่ายเงินประมูลคืนให้กับ Agent ก่อนหน้า (ผู้ชนะคนก่อน)
ทำแบบนี้ต่อไปสักพัก Agent ที่รวยที่สุดก็จะลงเอยด้วยนโยบายที่ดีที่สุดในการทำงานในสภาพแวดล้อมเป้าหมาย
มันเป็นมุมมองที่เจ๋งมากเกี่ยวกับการกำหนดเครดิตในระยะยาว (Long-Horizon Credit Assignment) และอัลกอริทึมการปรับ Prompt เชิงวิวัฒนาการ มาทำความเข้าใจอัลกอริทึมตั้งแต่เริ่มต้นเพื่อให้รู้ว่าพวกเขากำลังทำอะไรอยู่กันเถอะ
แนวทาง (The Approach)
ในบทความนี้ Agent ไม่ใช่โครงข่ายประสาทเทียมที่ถูกฝึกแยกต่างหาก แต่ละ Agent โดยพื้นฐานแล้วคือ นโยบาย LLM ที่ถูก Prompt ซึ่งประกอบด้วย:
- Prompt (System Prompt / เทมเพลตคำสั่งที่กำหนด "บทบาท" และขั้นตอนการทำงาน) บทบาทนี้จะเปลี่ยนไปตามสภาพแวดล้อมเป้าหมายที่เรากำลังปรับให้เหมาะสม ตัวอย่างเช่น สำหรับงาน MATH พวกเขากำหนดบทบาทเหล่านี้: planner, executor, verifier และสำหรับงานออกแบบตัวเร่งความเร็ว: historian, planner, executor
- เงื่อนไขการปลุก / การทำงาน (Trigger / Wake-Up Condition) ที่กำหนดว่าเมื่อไหร่ที่มันมีสิทธิ์เข้าร่วมประมูล
- มูลค่าการประมูล (Bid Value) แบบคงที่ ที่ใช้ในการประมูล
- และตัวแปร ความมั่งคั่ง (Wealth) ที่เปลี่ยนแปลงไปตามกาลเวลาและขับเคลื่อนการคัดเลือก
จากนั้น EOM จะทำงานใน สองลูปที่เชื่อมโยงกัน:
- การวางแผน (ภายใน Episode): Agent ต่างๆ ประมูล เพื่อสิทธิ์ในการดำเนินการในแต่ละขั้นตอน และความมั่งคั่งจะถูกอัปเดตผ่านกฎการจ่ายเงินแบบ Bucket-Brigade
- การปรับตัว (ข้าม Episode): ประชากรของ Agent วิวัฒนาการ Prompt โดยใช้การสำรวจ/ใช้ประโยชน์ ซึ่งขับเคลื่อนโดยความมั่งคั่งเท่านั้น
เป้าหมายของ EOM (ผลลัพธ์สุดท้ายที่ส่งมอบ) คือกลุ่มของ Agent แต่ละ Agent มี System Prompt ของตัวเองเกี่ยวกับวิธีการทำงานในสภาพแวดล้อมหนึ่งๆ และนโยบายเกี่ยวกับเวลาในการทำงาน เมื่อได้รับปัญหาใหม่ Agent ต่างๆ จะประมูลว่าใครจะลงมือทำ ดำเนินการนั้น และทำซ้ำขั้นตอนนี้จนกว่าจะได้คำตอบ
ลูปที่ 1: รวบรวมประสบการณ์ + ดำเนินการประมูล
ในแต่ละขั้นตอนของสภาพแวดล้อมภายใน Episode:
- จากการสังเกตสภาพแวดล้อมเป้าหมายในปัจจุบัน แต่ละ Agent จะรัน Prompt ที่กำหนดว่าพวกมันควร "ตื่น" หรือไม่ การตื่นขึ้นหมายถึงการเข้าร่วมในการประมูลที่กำลังจะมาถึงในขั้นตอนที่ 2
- Agent ที่ตัดสินใจตื่นจะส่งมูลค่าประมูลแบบคงที่ของพวกมันโดยอัตโนมัติ มันเป็นมูลค่าประมูลแบบคงที่เพราะว่ามูลค่าเหล่านี้ถูกกำหนดตายตัวระหว่างการเริ่มต้น (เช่น Agent ไม่ได้พยายามจัดสรรเงินประมูลอย่างชาญฉลาด)
- Agent ที่มีมูลค่าประมูลสูงที่สุดคือผู้ชนะการประมูล! พวกมันจะเสียเงินที่ประมูลไปทันที แต่พวกมันได้ควบคุมสภาพแวดล้อม
- Agent ที่ชนะจะสุ่มตัวอย่างการกระทำในสภาพแวดล้อมเป้าหมาย ณ สถานะปัจจุบันของมัน นี่จะเกี่ยวกับการดำเนินการขั้นตอนถัดไปในสภาพแวดล้อมเป้าหมาย เพื่อเดินนาฬิกาจาก s_t -> s_t+1
- สภาพแวดล้อมเปลี่ยนสถานะและให้รางวัล r_t
- การโอนความมั่งคั่งเกิดขึ้น พร้อมกับการกำหนดเครดิตแบบ Bucket-Brigade! มี 2 สิ่งที่เกิดขึ้น: ก) ผู้ชนะคนใหม่ จ่ายเงินประมูลของมัน ให้กับผู้ชนะคนก่อน ข) ผู้ชนะคนใหม่ยัง เก็บรางวัลจากสภาพแวดล้อม** r_t เข้าไว้ในกระเป๋าของพวกมันด้วย
สำหรับผู้ชนะคนแรก การจ่ายเงินจะไปที่ "บ้าน" (ไม่ใช่ Agent ตัวอื่น)
- ในขั้นตอนถัดไป ทั้งลูปจะทำซ้ำ แต่ในสภาพแวดล้อมที่อัปเดตแล้ว อย่างไรก็ตาม Agent จะ "ตื่น" ตามการสังเกตล่าสุด (ที่ได้จาก s_t+1 ) และผู้ชนะการประมูลนี้จะจ่ายเงินประมูลของมันให้กับผู้ชนะการประมูลครั้งก่อน เงินประมูลนี้จะถูกเพิ่มเข้าไปในกระเป๋าของผู้ชนะครั้งก่อน
- ถ้าเมื่อใดก็ตามที่ Agent หมดตัว พวกมันจะถูกไล่ออก นอกจากนี้ ถ้า Agent นั่งอยู่บนเงินในกระเป๋าและปฏิเสธที่จะเข้าร่วม กระเป๋าของพวกมันก็จะลดลงเรื่อยๆ เมื่อเวลาผ่านไป และในที่สุดพวกมันก็จะหมดตัว สิ่งนี้ช่วยเพิ่มความเร่งด่วนให้กับระบบทั้งหมด
ตอนนี้ สภาพแวดล้อมจำนวนมากไม่ได้ให้รางวัลระหว่างทางใดๆ และจะสร้างรางวัลขึ้นมาเพียงครั้งเดียวหลังจากทั้ง Episode สิ้นสุดลง ใน RL แบบดั้งเดิม นี่เป็นสาเหตุของอาการปวดหัวหลายครั้งเนื่องจากปัญหา "การกำหนดเครดิต" (Credit Assignment Problem) ที่มีชื่อเสียง โดยพื้นฐานแล้ว ถ้าห่วงโซ่การกระทำที่ยาวนานในที่สุดนำไปสู่รางวัลที่ดี คุณจะให้เครดิตบางส่วนแก่แต่ละขั้นตอนในห่วงโซ่นั้นได้อย่างไร?
วิธีการนี้จัดการกับปัญหานี้โดยใช้กฎ "จ่ายเงินประมูลของคุณให้กับผู้ชนะการประมูลคนสุดท้าย"
การตัดสินใจในการออกแบบนั้นมีผลลัพธ์สำคัญที่เกี่ยวข้องกับ การไหลย้อนกลับของมูลค่า: Agent สามารถทำกำไรได้โดยการย้ายระบบไปสู่สถานะที่ Agent ในขั้นปลายน้ำยินดีที่จะ "จ่ายเงินประมูล" ของพวกมันเพื่อเข้ามาทำงานต่อ สิ่งนี้กลายเป็นการกำหนดเครดิตแบบกระจายศูนย์ (Decentralized Credit Assignment) ไปตามเส้นทาง (Trajectory)
ถ้าการกระทำของคุณทำให้เกิดการกระทำในอนาคตที่มีคุณค่า Agent ในภายหลังจะ "ซื้อ" ความต่อเนื่องจากคุณผ่านการประมูล ดังนั้นคุณจะได้รับรางวัลแม้ว่าคุณจะไม่ได้รับ rt โดยตรงในขั้นตอนการกระทำของคุณก็ตาม
ถัดไป หลังจากที่ Episode ดำเนินไปเสร็จสิ้น ก็ถึงเวลาอัปเดตนโยบายต่างๆ
ลูปที่ 2: วิวัฒนาการของ Agent
หลังจาก Episode สิ้นสุดลง ประชากรของนโยบาย Agent จะถูกอัปเดตโดยใช้ การคัดเลือกทางเศรษฐกิจ (Economic Selection) และ กลไกการกลายพันธุ์ของ Prompt (Prompt Mutation) โดยพื้นฐานแล้ว เราจะตัด Agent ที่ปัจจุบันยากจนออกไป และกลายพันธุ์ Agent ที่รวยสำหรับรอบต่อไป
จำไว้ว่า Agent ที่มีความมั่งคั่งต่ำนั้นแย่เพราะพวกมันอาจ:
- ไม่ได้เข้าร่วมประมูล (เฉื่อยเกินไป)
- เข้าร่วมแต่ดำเนินการที่นำไปสู่สถานะที่ไม่ดีในอนาคต ซึ่ง Agent อื่นๆ ไม่ได้เข้าร่วมด้วย
หลังจากที่เราตัดผู้ที่ด้อยประสิทธิภาพเหล่านี้ออกไปแล้ว เราจะเพิ่ม Agent ใหม่จนกว่าประชากรจะถึงข้อจำกัดด้านขนาด โดยใช้สองแหล่ง:
- การใช้ประโยชน์ (Exploitation): เลือก Agent "พ่อแม่" ที่ร่ำรวยและ กลายพันธุ์ Prompt ของพวกมันเล็กน้อยเพื่อสร้างลูกหลานที่เก็บรักษาพฤติกรรมที่มีประโยชน์ไว้ แต่มีความหลากหลายบ้าง สิ่งนี้ขยายกลยุทธ์ที่ประสบความสำเร็จและส่งเสริมความเชี่ยวชาญเฉพาะด้าน
- การสำรวจ (Exploration): แทนที่ Agent ที่ล้มละลาย/อ่อนแอด้วยตัวแปรใหม่ที่สร้างขึ้นโดยการแก้ไข Prompt เพื่อแก้ไขรูปแบบความล้มเหลวหรือสำรวจบริเวณพฤติกรรมที่แตกต่างกัน
การอนุมาน (Inference) และคุณจะส่งมอบอะไรจริงๆ?
คุณส่งมอบ Agent ตัวเดียวหรือไม่? ผู้ชนะเพียงคนเดียว? ไม่!
ใน EOM สิ่งที่คุณ "ฝึก" แล้ว "ส่งมอบ" เพื่อแก้ปัญหาคือ สังคม/ประชากร ของ Agent โดยที่ แต่ละ Agent มี Prompt ของตัวเอง และตรรกะ "เมื่อไหร่ควรลงมือ" ในพื้นที่ของตัวเอง
ในช่วงเวลาของการประเมิน พวกเขาจะประเมินโดยใช้ สำเนาเฉพาะเธรดของประชากรที่ได้รับการฝึกแล้ว และ นโยบายการตื่น (Wake-Up Policy) จะถูกใช้เพื่อเลือกว่า Agent ตัวใดจะลงมือทำ ประชากรจะถูก "หยุดนิ่ง" (ไม่มีการฝึกเพิ่มเติม)
เรื่องตลกๆ ของการจำลองตลาดทั้งหมด เช่น กระเป๋าเงินและการโอนความมั่งคั่ง เป็นเพียงสิ่งของในช่วงการฝึกเท่านั้น เมื่อประชากรได้รับการปรับให้เหมาะสมแล้ว เราจะไม่ใช้มันจริงๆ ในระหว่างการอนุมาน
โปรดทราบว่าระบบการประมูลยังคงใช้เพื่อกำหนดว่าใครควร "ลงมือทำ" ในขั้นตอนหนึ่งเมื่อมีผู้ร่วมแสดงหลายคนต้องการ "ตื่น" พร้อมกัน
กรณีศึกษาเพื่ออธิบายทุกอย่าง
ดูรูปที่ 5 ด้านบน มันอธิบายความเจ๋งของแนวคิด "Economy of Minds" นี้ในงาน Accelerator Design ในการออกแบบตัวเร่งความเร็ว Agent จะ มีความเชี่ยวชาญเฉพาะด้านตามบทบาท:
- Historian: สรุปการทดลองก่อนหน้านี้ เก็บความทรงจำของทิศทางที่ประสบความสำเร็จ/ล้มเหลว
- Planner: เสนอทิศทางการค้นหาระดับสูง
- Executor: ดำเนินการประเมินในพื้นที่แบบละเอียด
และรางวัลของสภาพแวดล้อมเกี่ยวข้องกับการปรับปรุง EDP (Energy-Delay Product) บนเคอร์เนล GEMMINI ResNet-50 (ค่า EDP ยิ่งต่ำยิ่งดี)
Agent ที่เชี่ยวชาญเฉพาะด้านตามบทบาทแต่ละตัว (Historian, Planner, Executor) จะพกพาความมั่งคั่ง และความมั่งคั่งนี้จะกลายเป็นกระดานคะแนนสดของ ประโยชน์ เมื่อ Episode ดำเนินไป
Agent ที่ช่วยสร้างสถิติที่ดีที่สุดใหม่ๆ จะสะสมความมั่งคั่ง ค่าเช่าเป็นระยะ (Periodic Rent) จะคอยลงโทษทุกคนอย่างต่อเนื่อง (ดังนั้น Agent ระดับกลางๆ ก็จะค่อยๆ ตายไป) และเมื่อความมั่งคั่งลดลงต่ำกว่าศูนย์ Agent จะล้มละลายและถูกกำจัดออกไป
ในขณะเดียวกัน Agent ที่ร่ำรวยที่สุดจะให้กำเนิดลูกหลานที่กลายพันธุ์ "เกิดมาดี" (Exploitation) และ Agent ที่อ่อนแอที่สุดจะให้กำเนิดลูกหลานที่ถูกแก้ไข "เกิดมาไม่ดี" (Exploration)
ข้ามเคอร์เนลต่างๆ แรงกดดันจากตลาดจะค้นพบโดยอัตโนมัติว่า สายเลือดผู้เชี่ยวชาญ ตัวไหนมีคุณค่าจริงๆ บางครั้ง ความทรงจำแบบ Historian ก็ล่มสลายเนื่องจากอคติที่สืบทอดมา บางครั้ง สายเลือด Planner ก็แพร่พันธุ์เพราะทิศทางการค้นหาระดับสูงเป็นคอขวด และบางครั้งหลายบทบาทก็อยู่ร่วมกันเพราะพวกมันเสริมซึ่งกันและกัน
พูดอีกอย่างคือ การประสานงานและการกำหนดเครดิตเกิดขึ้นจากแรงจูงใจง่ายๆ (การไหลของความมั่งคั่ง ค่าเช่า การเกิด การล้มละลาย) ทำให้เกิดประชากรที่ปรับตัวได้โดยไม่มีระบบส่วนกลาง! และนั่นคือเหตุผลว่าทำไมแนวทางนี้จึงให้ความรู้สึกเหมือนเป็นวิธีที่เจ๋งในการสร้างระบบ Multi-Agent
พฤติกรรมที่เกิดขึ้น / "ช่วงอ๋อ" ที่บทความเน้นย้ำ
จำไว้ว่าสำหรับสภาพแวดล้อมเฉพาะ (เช่น MATH) พวกเขาใส่ Agent ด้วยบทบาทเฉพาะในระหว่างขั้นตอนการเริ่มต้น: Planners, Executors, Verifiers Agent ที่มี Prompt แบบ Planner มีแนวโน้มที่จะประมูลในช่วงต้นของ Episode ในขณะที่ Verifiers มักจะประมูลหลังจากมีร่างคำตอบพร้อมแล้ว
แม้ว่านั่นจะเป็นวิธีคิดที่ตรงไปตรงมาเกี่ยวกับบทความนี้ แต่ในทางปฏิบัติ มันไม่ใช่โมเดลที่ถูกต้อง วิธีที่มีประโยชน์ในการอ่าน EOM คือ: พวกเขาไม่ได้เขียนขั้นตอนการทำงานแบบตายตัว (Hard-Code) แต่พวกเขาตั้ง กฎทางเศรษฐกิจ แล้วประชากรก็จะจัดระเบียบตัวเองเป็นพฤติกรรมที่ดูน่าประหลาดใจเหมือนกับ "อัลกอริทึม" และ "สถาบัน" ที่เรียนรู้มา
นี่คือข้อสรุปเจ๋งๆ ที่บทความรายงานไว้:
1) การกำหนดเครดิตกลายเป็น สัญญาณตลาด ที่เลือกห่วงโซ่การกระทำทั้งหมด
ข้อสังเกตหลักประการหนึ่งคือประสิทธิภาพดีขึ้นเพราะเศรษฐกิจ เลือกห่วงโซ่การกระทำที่มีประโยชน์ ทำซ้ำพวกมัน และลบ Agent ที่ไม่ได้มีส่วนร่วม ดังนั้นการประสานงานจึงเป็น สมบัติที่เกิดขึ้นเองจากการคัดเลือก ไม่ใช่โปรโตคอลที่ถูกออกแบบทางวิศวกรรม
นี่คือ "ช่วงอ๋อ" เพราะมันไม่ใช่แค่ "Agent ทำ Prompt ได้ดีขึ้น" แต่ระบบจะดีขึ้นในการ เลือกลำดับของ Agent ที่ลงมือทำ นั่นคือ โทโพโลยีปฏิสัมพันธ์ จะคมชัดขึ้นเมื่อเวลาผ่านไป คล้ายกับงานวิจัย OpenAI Hide-and-Seek!
2) เส้นโค้งการเรียนรู้ที่ไม่ใช่แบบโมโนโทนิก: ความโกลาหลในช่วงแรกนั้น "เกิดผล"
ใน Finance-Agent-Bench พวกเขาสังเกตรูปแบบอย่างชัดเจน: EOM ลดลงในช่วงแรก (เนื่องจากการสำรวจทดสอบผู้เชี่ยวชาญทางเลือก) และหลังจากนั้นก็ฟื้นตัวและแซงหน้าประสิทธิภาพเริ่มต้น นี่คล้ายกับ Grokking ในการฝึกโครงข่ายประสาทเทียม (ฉันเดานะ?)
ยังไงก็ตาม นั่นเป็นปรากฏการณ์ที่ "เหมือนตลาด" มาก ผู้เขียนกล่าว (ถอดความ) ว่า "การหมุนเวียนและการจัดสรรใหม่ในช่วงแรกอาจทำให้ประสิทธิภาพโดยรวมลดลงชั่วคราวในขณะที่มันกำลังค้นหาผู้เชี่ยวชาญ/การประสานงานที่ดีกว่า"
3) เส้นทางความมั่งคั่งแสดงให้เห็น "สายเลือด" ที่ครอบงำ และ "การเกิดที่ไม่ดี" ที่ค่อยๆ ตายไป
ในการออกแบบตัวเร่งความเร็ว คุณสามารถเห็น สายเลือดที่มีประโยชน์ ดำรงอยู่ ให้กำเนิดลูกหลาน และครอบงำการประมูลได้อย่างชัดเจน ในขณะที่ตัวแปรที่ล้มเหลวจะล้มละลายและถูกกำจัดออกไป
พูดอีกอย่างคือ หน่วยของการเรียนรู้ไม่ใช่ Prompt ของ Agent ตัวเดียว: มันคือ แผนผังตระกูลของ Prompt ที่กำลังวิวัฒนาการ ภายใต้แรงกดดันจากการคัดเลือกตามความมั่งคั่ง
4) การค้นพบโครงสร้างโดเมนที่นำกลับมาใช้ใหม่ได้โดยไม่ต้องมีเทมเพลต (ฮิวริสติกที่ถ่ายโอนได้)
พฤติกรรมที่เกิดขึ้นใหม่อย่างโดดเด่นเป็นพิเศษ: บนเคอร์เนลตัวเร่งความเร็วที่ยากที่สุด สังคมมักจะลู่เข้าสู่ รูปแบบการปูกระเบื้อง/การไหลของข้อมูลที่เฉพาะเจาะจง (รูปแบบ Output-Stationary) แม้ว่า:
- ไม่ได้กำหนดรูปแบบนั้นเป็นเทมเพลต และ
- รางวัลเป็นเพียง "การทำลายสถิติ EDP" เท่านั้น (ไม่มีป้ายกำกับเช่น "ใช้ Output-Stationary")
ดังนั้นระบบจึงเรียนรู้ ฮิวริสติกการออกแบบที่นำกลับมาใช้ใหม่ได้ ผ่านการคัดเลือก
5) Prompt พัฒนาไปเป็นกิจวัตรการใช้เหตุผลแบบหลายขั้นตอนที่กะทัดรัด ("รายการตรวจสอบ" การตรวจสอบตนเอง)
ในงานวิจัยทางวิทยาศาสตร์ พวกเขารายงานถึงวิวัฒนาการของ Prompt โดยที่ EXECUTER ซึมซับสิ่งที่ก่อนหน้านี้ต้องใช้บทบาทอื่นเข้ามาทำ และการกลายพันธุ์จะเพิ่มการตรวจสอบตนเองที่ชัดเจนมากขึ้นเรื่อยๆ (หลักการก่อน การตรวจสอบสมมาตร การตรวจสอบความเป็นไปได้ การแทนที่เพื่อพิสูจน์ว่าเป็นเท็จ)
Agent จะกลายเป็นน้อยกว่าเครื่องสร้างข้อความทั่วไป และมากขึ้นเป็นเหมือน โมดูลเชิงขั้นตอน ที่รันกิจวัตรการได้มาซึ่งความรู้ทางวิทยาศาสตร์ที่เรียนรู้มา
6) วินัยในการดำเนินการ: การเรียนรู้ว่า เมื่อไหร่ ที่จะไม่ใช้การดำเนินการที่มีค่าใช้จ่ายสูง (CloudCast)
CloudCast คืองานปรับโค้ดแบบวนซ้ำ โดยสังคมของ Agent จะต้องปรับปรุงโปรแกรม Python ที่ออกแบบโทโพโลยีการกำหนดเส้นทางแบบกระจายเสียงบนคลาวด์หลายแห่ง เพื่อลดต้นทุนการถ่ายโอนข้อมูล (Egress) ทั้งหมด นี่คือหนึ่งในสนามทดสอบของพวกเขา
ในงาน CloudCast นี้ พวกเขาสังเกตว่าเศรษฐกิจเลือกรูปแบบขั้นตอนการทำงานที่แตกต่างกันขึ้นอยู่กับสถานะของพื้นที่ทำงาน:
- ใกล้คะแนนสูง → วงจร "อ่าน-แก้ไข-ประเมิน-คอมมิต" สั้นๆ
- ไม่แน่นอน/ถดถอย → วงจร "แก้ไข-สร้าง-ประเมิน" ที่ยาวขึ้น
นั่นคือพฤติกรรม การตระหนักถึงทรัพยากร ที่เกิดขึ้นเอง: นโยบายระดับสังคมเกี่ยวกับ เมื่อไหร่ควรลงมืออย่างระมัดระวังเทียบกับเชิงรุก โดยไม่ต้องมีการควบคุมจากส่วนกลาง
อ่านบทความเต็มได้ที่นี่: http://arxiv.org/abs/2606.02859
และยังมีที่ Paper Breakdown ซึ่งฉันใช้ศึกษาเกี่ยวกับบทความนี้: http://paperbreakdown.com/abs/2606.02859
ขอบคุณที่อ่าน!
