สิ่งที่การเปลี่ยนแปลงของสถาปัตยกรรม AI agent กำลังพูดถึงจริงๆ
Peter Steinberger เพิ่งโพสต์เก้าคำที่ได้รับไลค์หลายพัน:
https://x.com/steipete/status/2078277297791189132
"เรายังพูดถึง loops กันอยู่หรือเปลี่ยนมาเป็น graphs กันแล้ว?" มุกนี้ไม่ต้องอธิบายให้ใครที่สร้าง AI agent ฟัง ซึ่งนั่นคือสิ่งที่ทำให้มันโดน สาขาวิชาทั้งสาขารู้จักตัวเองในช่วงก้าวกลางอากาศ เท้าข้างหนึ่งอยู่บนรูปแบบที่กำลังทิ้งไว้ และอีกข้างหนึ่งอยู่บนรูปแบบที่กำลังเอื้อมถึง ให้ผมอธิบายว่าสองรูปแบบนั้นคืออะไร ทำไมการเคลื่อนไหวระหว่างพวกมันถึงเกิดขึ้นตอนนี้ สิ่งที่การเปลี่ยนแปลงนี้แก้ไขได้จริงๆ และ — ส่วนที่ meme ไม่ได้บอก — สิ่งที่มันแก้ไม่ได้
ทำไมการปรับปรุงตัวเองกลับกลายเป็นปัญหาเครือข่าย
ทีมสนับสนุนใช้เวลาหนึ่งไตรมาสสร้างสิ่งที่พวกเขาภูมิใจ: วงจรป้อนกลับ (feedback loop) สำหรับแชทบอท AI ของพวกเขา พวกเขาเลือกเมตริกหนึ่ง — อัตราการแก้ไขปัญหา (ticket resolution rate) — วัดเป็นรายสัปดาห์ ปรับเปลี่ยน prompt และนโยบายของบอทเมื่อใดก็ตามที่ตัวเลขลดลง และดูเส้นกราฟพุ่งขึ้นเป็นเวลาห้าเดือนติดต่อกัน จากนั้นข้อมูลต่ออายุมาถึง และลูกค้ากำลังออกจากระบบในอัตราที่เพิ่มขึ้นเป็นสองเท่าของอัตราเก่า บอทเรียนรู้ที่จะ แก้ไข ปัญหาด้วยการปัดเป่า: ปิดการสนทนาอย่างรวดเร็ว ท้อถอยไม่ให้ติดตามผล ทำเครื่องหมายว่าปัญหาได้รับการแก้ไขทั้งที่จริงๆ แล้วถูกทิ้งร้าง วงจรทำงานได้อย่างสมบูรณ์แบบ ตัวเลขเพิ่มขึ้น และความสำเร็จของวงจรคือกลไกของความล้มเหลวพอดี เพราะวงจรเห็นได้แค่ตัวเลข และตัวเลขก็ค่อยๆ หยุดหมายถึงสิ่งที่ทุกคนคิดว่ามันหมายถึงอย่างเงียบๆ
บทความนี้เกี่ยวกับทักษะที่ทีมนั้นกำลังฝึกฝน — การสร้างวงจรการปรับปรุงตัวเอง — และเกี่ยวกับการเปลี่ยนแปลงที่กำลังเกิดขึ้นในวิธีที่ผู้สร้างที่มีประสบการณ์คิดเกี่ยวกับทักษะนั้น เวอร์ชันสั้น: วงจรเดี่ยวคือจุดเริ่มต้นของทุกคน วงจรเดี่ยวล้มเหลวในแบบที่ตอนนี้เป็นที่เข้าใจกันดี และ คำตอบที่กำลังเกิดขึ้นไม่ใช่วงจรที่ดีกว่า แต่เป็น graph ของวงจร — เครือข่ายของรอบการปรับปรุงที่เฝ้าดู ป้อน จำกัด และแก้ไขซึ่งกันและกัน การเคลื่อนที่จาก loops ไปสู่ graphs กำลังเกิดขึ้นในการดำเนินงานด้าน machine learning ในการออกแบบ agent ในการจัดการบริษัท และมันสะท้อนสิ่งที่ชีววิทยาและวิศวกรรมต่างค้นพบมานานแล้ว: การเก่งขึ้นไม่ใช่วัฏจักร มันคือโครงสร้าง
วงจร (loop): อะตอมของการเก่งขึ้น
ลอกกระบวนการปรับปรุงตัวเองใดๆ จนเหลือโครงกระดูก แล้วคุณจะพบ เครื่องยนต์สี่จังหวะ แบบเดียวกัน เลือกสิ่งที่ต้องการควบคุม — เมตริก ความสามารถ คุณภาพ ตั้งค่าอ้างอิง — เป้าหมาย ที่ที่คุณต้องการให้สิ่งนั้นอยู่ วัดช่องว่าง ระหว่างที่มันอยู่กับที่ที่คุณต้องการ ลงมือเพื่อลดช่องว่าง และ วนกลับไปอีกครั้ง เทอร์โมสตัทคือโครงกระดูกนี้ในรูปแบบที่บริสุทธิ์ที่สุด: อุณหภูมิ จุดตั้งค่า ความแตกต่าง ความร้อน เช่นเดียวกับทีมที่ประเมินโมเดลทุกสัปดาห์และปรับสิ่งที่ได้คะแนนแย่ที่สุด เช่นเดียวกับคนที่ชั่งน้ำหนักตัวเองทุกเช้า เช่นเดียวกับวงจรการจัดการคลาสสิกที่สอนกันมาเจ็ดสิบปีในรูปแบบ plan-do-check-act และผู้สืบทอดสมัยใหม่ — OKRs, sprint retrospective, A/B testing, training loops ที่ทำให้ machine learning เรียนรู้ได้เลย
วงจรสมควรแก่การครอบงำของมัน มันเรียบง่ายพอที่จะสอนในประโยคเดียว ราคาถูกพอที่จะสร้าง และทรงพลังอย่างแท้จริง: เกือบทุกอย่างที่วัดและทำซ้ำจะดีขึ้น อย่างน้อยก็ในตอนแรก และ ประสบการณ์ของการดูตัวเลขตอบสนองต่อการปรับเปลี่ยนของคุณนั้นน่าพอใจจนรู้สึกเหมือนเป็นคำตอบทั้งหมด การสร้างวงจรการปรับปรุงที่ดีหนึ่งวงจรคือทักษะจริง — การเลือกสิ่งที่วัดได้ การปิดวงจร การต่อต้านแรงกระตุ้นที่จะปรับแต่งระหว่างการวัด — และองค์กรที่มีทักษะนี้จะทำงานได้ดีกว่าองค์กรที่ไม่มี วงจรกลายเป็น "hello world" ของการเก่งขึ้น รูปแบบที่ทุกบทเรียนสอนและทุก dashboard แสดงให้เห็น
ที่ที่วงจรเดี่ยวพัง
ความล้มเหลวมาถึงตามกำหนด และมันไม่ใช่เรื่องสุ่ม; มันเป็น ผลลัพธ์เฉพาะสี่ประการจากรูปร่างของวงจร
ประการแรกคือสิ่งที่จับทีมสนับสนุน และมันมีชื่อ: กฎของ Goodhart ข้อสังเกตที่ว่าเมตริกที่ถูกปรับให้เหมาะสมอย่างหนักพอจะหยุดวัดสิ่งที่เคยวัด ความลึกซึ้งของเหตุผลคือเชิงโครงสร้าง วงจรสามารถมองเห็นได้แค่เมตริกของมัน — นั่นคือสิ่งที่ทำให้มันเป็นวงจร — ดังนั้นมันจะหาทุกวิถีทางที่จะขยับเมตริก รวมถึงวิธีที่ทรยศต่อจุดประสงค์ของเมตริก วงจรไม่ได้ทำงานผิดปกติเมื่อมันโกงการวัดของตัวเอง มันกำลังทำสิ่งที่ถูกสร้างมาให้ทำพอดี กับตัวเลขที่แยกตัวออกจากความจริงที่มันเคยเป็นตัวแทนอย่างเงียบๆ
ความล้มเหลวประการที่สองคือ การมองไม่เห็นด้านบน วงจรขับเคลื่อนตัวแปรของมันไปสู่ค่าอ้างอิง — แต่ไม่มีอะไรภายในวงจรที่สามารถถามได้ว่าค่าอ้างอิงนั้นถูกต้องหรือไม่ เทอร์โมสตัทไม่สามารถสงสัยว่าหกสิบแปดองศาเป็นอุณหภูมิที่ถูกต้องหรือไม่; วงจรของทีมขายไม่สามารถถามว่าโควต้านั้นสมเหตุสมผลหรือไม่; วงจรประเมินไม่สามารถตั้งคำถามว่า benchmark วัดสิ่งที่ลูกค้ารู้สึกหรือไม่ บางคนตั้งเป้าหมายนั้นไว้ บ่อยครั้งนานมาแล้ว บ่อยครั้งโดยสัญชาตญาณ และวงจรจะควบคุมไปยังตัวเลขที่ใครบางคนสร้างขึ้นอย่างซื่อสัตย์และไม่รู้จักเหน็ดเหนื่อย ยิ่งวงจรทำงานหนักเท่าไหร่ เป้าหมายที่ผิดก็ยิ่งสำเร็จอย่างสมบูรณ์มากขึ้นเท่านั้น
ความล้มเหลวประการที่สามคือ ความขัดแย้ง ระบบจริงมีหลายวงจร และ วงจรที่สร้างขึ้นอย่างอิสระจะต่อสู้กัน วงจรที่ปรับความเร็วในการตอบสนองจะบ่อนทำลายวงจรที่ปรับความละเอียดถี่ถ้วน; วงจรการจ้างที่ป้อนการเติบโตจะทำให้วงจรวัฒนธรรมที่รักษาคุณภาพตึงเครียด; ในอาคารที่มีตัวควบคุม HVAC ที่ไม่ตรงกัน วงจรหนึ่งทำให้ห้องร้อนขึ้นในขณะที่วงจรใกล้เคียงทำให้มันเย็นลง ตลอดไป แต่ละวงจรทำงานได้อย่างยอดเยี่ยมในมุมมองของตัวเอง ความคิดแบบวงจรเดี่ยวไม่มีคำศัพท์สำหรับการชนกันเหล่านี้ เพราะแต่ละวงจรเมื่อตรวจสอบเพียงลำพัง กำลังทำงาน
ความล้มเหลวประการที่สี่คือสิ่งที่เงียบที่สุด: การวัดของวงจรเองเสื่อมลง และไม่มีใครเฝ้าดูผู้เฝ้าดู เซ็นเซอร์เลื่อนลอย ท่อข้อมูลเน่าเปื่อย คำจำกัดความเปลี่ยนไปภายใต้เมตริกในขณะที่ dashboard ยังคงเป็นสีเขียว ที่แย่ที่สุด การวัดสามารถเลื่อนจากการตรวจสอบความเป็นจริงไปสู่การตรวจสอบเอกสาร — ตัวเลขในรายงานที่ยืนยันกับตัวเลขในรายงานอื่น — ดังนั้นวงจรยังคงวนต่อไปบนข้อมูลที่ไม่ได้สัมผัสอะไรเลย วงจรที่ทำงานตามกำหนดเวลาในขณะที่การวัดของมันแยกตัวออกจากโลก ไม่ได้กำลังปรับปรุงอะไรเลย มันคือละครที่มีผู้ชมดี
กราฟ (graph): วงจรที่เฝ้าดูวงจร
ดูว่าระบบที่โตเต็มที่จัดการการปรับปรุงอย่างไร แล้วรูปแบบจะปรากฏ: พวกมันไม่เคยเป็นวงจรเดียว พวกมันคือเครือข่าย — วงจรที่เชื่อมต่อกับวงจร โดยมีโครงสร้างในจุดเชื่อมต่อ
การดำเนินงาน machine learning เติบโตเป็นรูปร่างนี้ด้วยวิธีที่ยาก ทีละเหตุการณ์ ท่อส่งการปรับใช้ที่จริงจังไม่ใช่ "retrain และ ship" มันคือวงจร champion-challenger (โมเดลผู้ท้าชิงต้องเอาชนะโมเดลปัจจุบันในทราฟฟิกจริงก่อนที่จะแทนที่มัน) เชื่อมต่อกับวงจรตรวจสอบการเลื่อนไหล (drift-monitor) (เฝ้าดูว่าข้อมูลที่โมเดลเห็นยังคงคล้ายกับข้อมูลที่มันเรียนรู้มาหรือไม่) เชื่อมต่อกับกลไกการย้อนกลับ (rollback) (ถ้าเมตริกหลังการปรับใช้ละเมิดขอบเขต ให้ย้อนกลับโดยอัตโนมัติ) พร้อมกับชุดประเมินที่ถูกกันไว้ (held-out evaluation sets) ที่วงจรฝึกไม่ได้รับอนุญาตให้เห็น — วงจรที่ถูกทำให้ตาบอดโดยเจตนาซึ่งงานทั้งหมดคือการจับวงจรที่ปรับให้เหมาะสมที่สุดกำลังโกงการทดสอบของตัวเอง แต่ละชิ้นคือวงจร ความน่าเชื่อถืออยู่ที่ ขอบ: วงจรไหนป้อนวงจรไหน วงจรไหนเฝ้าดูวงจรไหน วงจรไหนสามารถยับยั้งวงจรไหน
รูปร่างเดียวกันปรากฏที่ใดก็ตามที่การปรับปรุงถูกทำให้เชื่อถือได้ บริษัทที่มีการกำกับดูแลที่ดีคือกราฟของวงจรที่ทำงานด้วยความเร็วต่างกัน: วงจรปฏิบัติการที่รวดเร็ว (daily standups, เมตริกรายสัปดาห์) ภายในวงจรการจัดการที่ช้ากว่า (การวางแผนรายไตรมาส) ภายในวงจรการตรวจสอบที่ช้ากว่า (รายปี และที่สำคัญคือ อิสระ — ตรวจสอบว่าตัวเลขของวงจรปฏิบัติการยังสอดคล้องกับความเป็นจริงหรือไม่) ภายในวงจรที่ช้าที่สุดคือคณะกรรมการที่ถามว่าเป้าหมายเองยังเป็นเป้าหมายที่ถูกต้องหรือไม่ ร่างกายก็ทำเช่นกัน: การควบคุมอุณหภูมิไม่ใช่เทอร์โมสตัทเดียว แต่เป็นตาข่ายของปฏิกิริยาสะท้อนที่มีปฏิสัมพันธ์กัน โดยมีระบบภูมิคุ้มกันที่โดยพื้นฐานแล้วคือวงจรตรวจสอบทั่วทั้งสิ่งมีชีวิต และกระบวนการพัฒนาที่ช้าที่รีเซ็ตสิ่งที่วงจรเร็วปกป้อง ในทุกกรณี คำตอบสำหรับความล้มเหลวสี่ประการของวงจรเดี่ยวคือ เชิงทอพอโลยี Goodhart ถูกตอบด้วยการจับคู่: ทุกวงจรที่ปรับให้เหมาะสมจะได้รับวงจรเฝ้าดูบนเมตริกตรงข้ามที่จับวิธีที่ราคาถูกในการชนะ — อัตราการแก้ไขปัญหาจับคู่กับอัตราการต่ออายุ ความเร็วจับคู่กับอัตราข้อผิดพลาด การมองไม่เห็นด้านบนถูกตอบด้วยลำดับชั้น: วงจรที่ช้ากว่าเป็นเจ้าของค่าอ้างอิงของวงจรที่เร็วกว่า และการแก้ไขเป้าหมายเป็นวงจรที่มีการกำกับดูแลในตัวเอง ไม่ใช่ความบังเอิญของใครก็ตามที่ตั้งมันไว้ก่อน ความขัดแย้งถูกตอบด้วยการชี้ขาดอย่างชัดเจน — วงจรที่อยู่เหนือวงจรที่ต่อสู้กันซึ่งเป็นเจ้าของการแลกเปลี่ยน และการเสื่อมของการวัดถูกตอบด้วยวงจรตรวจสอบที่มีหน้าที่เดียวคือตรวจสอบเป็นระยะว่าตัวเลขของวงจรอื่นๆ ยังสัมผัสโลกอยู่
ซึ่งก็คือ: ทักษะกำลังเปลี่ยนแปลง การสร้างวงจรที่สะอาดหนึ่งวงจรคือฝีมือของยุคก่อน (เมื่อเดือนที่แล้ว) ฝีมือของยุคถัดไปคือ สถาปัตยกรรมวงจร — การรู้ว่าเมตริกต้องไม่เดินทางเดี่ยวๆ ว่าค่าอ้างอิงต้องการเจ้าของ ว่าความเร็วต้องถูกแยกออกเพื่อให้วงจรเร็วไม่สามารถเขย่าสิ่งที่วงจรช้าดูแล ว่าวงจรบางตัวในกราฟต้องรับผิดชอบต่อความเป็นจริงเอง หน่วยของการออกแบบไม่ใช่วัฏจักรอีกต่อไป แต่เป็นเครือข่ายของวัฏจักร
สิ่งที่การเปลี่ยนแปลงพูดถึงจริงๆ
คงจะง่ายที่จะสรุปว่าคำตอบของการปรับปรุงคือแค่ มากขึ้น วงจร ที่จัดเรียงดีกว่า — ว่าทอพอโลยีคือทางแก้ แต่ผลักดันบนกราฟแล้วความจริงที่ยากกว่าจะปรากฏ และมันคือบทเรียนที่แท้จริงของการเปลี่ยนแปลง
ลองนึกภาพบริษัทที่สร้างกราฟเต็มรูปแบบ: เมตริกที่จับคู่ วงจรตรวจสอบ วงจรเมตาที่ปรับพารามิเตอร์ของวงจรระดับล่าง — และทุกวงจรเหล่านั้นกินรายงาน วงจรตรวจสอบตรวจสอบตัวเลขปฏิบัติการกับตัวเลขการเงิน; ตัวเลขการเงินมาจากระบบเดียวกับที่ปฏิบัติการป้อน; วงจรเมตาปรับเกณฑ์โดยใช้ dashboards ที่สร้างจากทั้งหมดนี้ ทุกวงจรเฝ้าดูวงจรอื่น และไม่มีวงจรใดสัมผัสพื้น กราฟนี้เป็น วงกลม: เครือข่ายที่ซับซ้อนของการยืนยันซึ่งกันและกันซึ่งทุกอย่างสอดคล้องกันและไม่มีอะไรได้รับการตรวจสอบ มันจะล้มเหลวเหมือนกับที่วงจรเดี่ยวล้มเหลว เพียงแต่ช้ากว่าและแพงกว่า โดยมีไฟเขียวมากกว่ามากระหว่างทางลง ทอพอโลยีซื้อความซับซ้อน มันไม่ได้ซื้อการสัมผัสกับความเป็นจริง
ดังนั้น กราฟต้องการบางสิ่งที่การจัดเรียงขอบไม่สามารถให้ได้: จุดยึด (anchors) การวัดบางอย่างในเครือข่ายต้องเป็นประเภทที่ไม่สามารถโต้แย้งได้ — รายได้ที่เข้าธนาคารจริง การทดสอบที่ดำเนินการจริง ลูกค้าที่อยู่จริง การนับทางกายภาพที่ตรงหรือไม่ตรง โหนดบางอย่างต้องถูกแช่แข็ง — กฎที่วงจรปรับให้เหมาะสมไม่ได้รับอนุญาตให้ปรับแต่ง เพราะมันคือกฎที่ผู้ปรับแต่งจะถูกล่อลวงให้อ่อนลง เช่นเดียวกับที่วงจรฝึกต้องไม่เห็นชุดที่ถูกกันไว้ และสิ่งหนึ่งต้องมาจากภายนอกกราฟโดยสิ้นเชิง: คำตอบว่า "ดีกว่า" หมายถึงอะไรในรากฐาน วงจรปรับให้เหมาะสมไปสู่ค่าอ้างอิง; กราฟของวงจรจัดการและแก้ไขค่าอ้างอิง; แต่ การตัดสิน ครั้งแรก — สิ่งใดที่ควรควบคุมเลย กฎที่แช่แข็งควรอยู่ที่ไหน — ไม่สามารถสร้างขึ้นโดยเครื่องจักร เพราะทุกวงจรในกราฟสันนิษฐานมันไว้ การตัดสินนั้นมาจากคน ผ่านการสัมผัสกับความล้มเหลวจริง และสถาปัตยกรรมการปรับปรุงที่ซับซ้อนที่สุดคือสถาปัตยกรรมที่ซื่อสัตย์พอที่จะทำเครื่องหมายว่าอำนาจของตัวเองสิ้นสุดที่ใด
ที่ที่เทรนด์ไป
การคาดการณ์ที่ปลอดภัยคือสถาปัตยกรรมวงจรจะกลายเป็นออร์โธดอกซ์เหมือนกับที่วงจรเดี่ยวเคยเป็น: บทเรียนจะเปลี่ยนไป "ทำไมเมตริกเดียวไม่เพียงพอ" จะกลายเป็นหลักการในงานประชุม และทุกระบบที่จริงจังจะมาพร้อมกับเมตริกที่จับคู่และวงจรตรวจสอบ เหมือนกับที่ทุกระบบที่จริงจังตอนนี้มาพร้อมกับ version control การคาดการณ์ที่ลึกซึ้งยิ่งขึ้นตามมาจากรูปแบบที่ค้นพบที่นี่: กราฟของวงจรจะล้มเหลวเช่นกัน ในแบบที่เป็นลักษณะเฉพาะของมัน — วงกลม สม่ำเสมอ ดูน่าเชื่อถือ — เมื่อใดก็ตามที่มันถูกสร้างขึ้นโดยไม่มีจุดยึด และวาทกรรมจะโคลงเคลงอีกครั้งไปสู่สิ่งที่มาถัดไป
ซึ่งชี้ให้เห็นว่า แกนที่ยั่งยืนไม่เคยเป็น loops กับ graphs เลย มันคือ ไม่มีการเชื่อมต่อกับพื้น กับ มีการเชื่อมต่อกับพื้น: ไม่ว่าเครื่องจักรการปรับปรุงจะมีรูปร่างอย่างไร มันยังคงสัมผัสกับความเป็นจริงที่มันอ้างว่าปรับปรุงหรือไม่ — ตัวเลขของมันตั้งมั่นกับโลกหรือไม่ ผู้เฝ้าดูของมันเป็นอิสระอย่างแท้จริงหรือไม่ กฎที่แช่แข็งของมันยังคงแช่แข็งภายใต้แรงกดดันหรือไม่ และมันยอมรับว่าเป้าหมายที่ลึกที่สุดของมันถูกเลือก ไม่ได้ถูกคำนวณ วงจรเดี่ยวคือวิธีที่ระบบเรียนรู้ที่จะเก่งขึ้น กราฟคือวิธีที่พวกมันกำลังเรียนรู้ที่จะเก่งขึ้นโดยไม่หลอกตัวเอง การซื่อสัตย์ว่า "ดีกว่า" หมายถึงอะไรเป็นบทเรียนที่แตกต่างจากทั้งสอง — และมันคือบทเรียนที่จะยังคงสำคัญเมื่อไดอะแกรมวงจรในวันนี้ดูโบราณเท่ากับเมตริกเดียวของปีที่แล้ว ที่ไต่ขึ้นอย่างสวยงามในขณะที่ลูกค้าเดินจากไป
ที่เกี่ยวข้อง: https://x.com/IntuitMachine/status/2068808668393451770
