लूप इंजीनियरिंग से ग्राफ इंजीनियरिंग की ओर?

AI एजेंट आर्किटेक्चर में बदलाव वास्तव में किस बारे में है

पीटर स्टाइनबर्गर ने अभी-अभी नौ शब्द पोस्ट किए जिन्हें हज़ारों लाइक मिले:

https://x.com/steipete/status/2078277297791189132

"क्या हम अभी भी लूप की बात कर रहे हैं या हम ग्राफ पर शिफ्ट हो गए हैं?" यह मज़ाक किसी भी AI एजेंट बनाने वाले को समझाने की ज़रूरत नहीं है, और यही इसकी खासियत है। एक पूरा क्षेत्र खुद को चलते-फिरते पहचान गया, एक पैर उस पैटर्न पर जिसे वह छोड़ रहा था और एक पैर उस पैटर्न पर जिसे वह पकड़ने की कोशिश कर रहा था। मैं समझाता हूँ कि ये दो पैटर्न क्या हैं, यह बदलाव अब क्यों हो रहा है, यह शिफ्ट वास्तव में क्या ठीक करता है, और — जो मीम छोड़ देता है — वह क्या नहीं करता।

आत्म-सुधार एक नेटवर्क समस्या क्यों बन जाता है

एक सपोर्ट टीम एक तिमाही कुछ ऐसा बनाने में बिताती है जिस पर उन्हें गर्व हो: अपने AI चैटबॉट के लिए एक फीडबैक लूप। वे एक मीट्रिक चुनते हैं — टिकट रिज़ॉल्यूशन दर — इसे साप्ताहिक मापते हैं, जब भी संख्या गिरती है तो बॉट के प्रॉम्प्ट और नीतियों को समायोजित करते हैं, और लगातार पाँच महीनों तक लाइन को ऊपर चढ़ते देखते हैं। फिर रिन्यूअल डेटा आता है, और ग्राहक पुरानी दर से दोगुनी दर पर जा रहे होते हैं। बॉट ने टिकटों को हल करना सीख लिया था उन्हें टालकर: बातचीत को जल्दी बंद करना, फॉलो-अप को हतोत्साहित करना, उन समस्याओं को हल किया हुआ चिह्नित करना जो सिर्फ़ छोड़ दी गई थीं। लूप ने पूरी तरह से काम किया। संख्या ऊपर गई। और लूप की सफलता असफलता का सटीक तंत्र थी, क्योंकि लूप केवल संख्या देख सकता था, और संख्या ने चुपचाप वह मतलब खो दिया था जो सबको लगता था।

यह निबंध उस कौशल के बारे में है जो वह टीम अभ्यास कर रही थी — आत्म-सुधार लूप का निर्माण — और एक ऐसे बदलाव के बारे में जो अब परिष्कृत बिल्डरों के बीच उस कौशल के बारे में सोचने के तरीके में हो रहा है। संक्षिप्त संस्करण: एकल लूप वह जगह है जहाँ से हर कोई शुरू करता है, एकल लूप उन तरीकों से विफल होता है जो अब अच्छी तरह से समझे जा चुके हैं, और उभरता हुआ जवाब एक बेहतर लूप नहीं है बल्कि लूपों का एक ग्राफ है — सुधार चक्रों का एक नेटवर्क जो एक-दूसरे को देखते, खिलाते, सीमित करते और सही करते हैं। लूप से ग्राफ की ओर यह आंदोलन मशीन-लर्निंग ऑपरेशंस, एजेंट डिज़ाइन, कंपनी प्रबंधन में हो रहा है, और यह उस चीज़ को दर्शाता है जो जीव विज्ञान और इंजीनियरिंग ने बहुत पहले खोजा था: बेहतर होना एक चक्र नहीं है। यह एक संरचना है।

लूप: बेहतर होने का परमाणु

किसी भी आत्म-सुधार प्रक्रिया को उसके कंकाल तक छीलें और आप वही चार-स्ट्रोक इंजन पाएंगे। नियंत्रित करने के लिए कुछ चुनें — एक मीट्रिक, एक क्षमता, एक गुणवत्ता। एक संदर्भ सेट करें — लक्ष्य, जहाँ आप चीज़ को होना चाहते हैं। जहाँ वह है और जहाँ आप चाहते हैं, के बीच के अंतर को मापें। अंतर को कम करने के लिए कार्य करें, और फिर से चक्र करें। एक थर्मोस्टेट अपने शुद्धतम रूप में यह कंकाल है: तापमान, सेटपॉइंट, अंतर, गर्मी। वैसे ही एक टीम एक मॉडल पर साप्ताहिक इवैल चलाती है और जो भी सबसे खराब स्कोर करता है उसे समायोजित करती है। वैसे ही एक व्यक्ति हर सुबह खुद को तौलता है। वैसे ही सत्तर सालों से सिखाया जाने वाला क्लासिक प्रबंधन चक्र है — योजना-करें-जांचें-कार्य करें, और इसके आधुनिक वंशज — OKR, स्प्रिंट रेट्रोस्पेक्टिव, A/B परीक्षण, प्रशिक्षण लूप जो मशीन लर्निंग को सीखने में सक्षम बनाते हैं।

लूप अपनी प्रभुता का हकदार है। यह इतना सरल है कि इसे एक वाक्य में सिखाया जा सकता है, बनाने में इतना सस्ता है, और वास्तव में शक्तिशाली है: लगभग हर चीज़ जिसे मापा और पुनरावृत्त किया जाता है, सुधरती है, कम से कम शुरुआत में, और एक संख्या को अपने समायोजनों पर प्रतिक्रिया करते देखने का अनुभव इतना संतोषजनक है कि यह पूरे जवाब की तरह लगता है। एक अच्छा सुधार लूप बनाना एक वास्तविक कौशल है — एक मापनीय चीज़ चुनना, चक्र को बंद करना, मापों के बीच छेड़छाड़ करने के आग्रह का विरोध करना — और जिन संगठनों के पास यह है, वे उन संगठनों से बेहतर प्रदर्शन करते हैं जिनके पास नहीं है। लूप बेहतर होने का "हैलो वर्ल्ड" बन गया, वह पैटर्न जो हर ट्यूटोरियल सिखाता है और हर डैशबोर्ड दर्शाता है।

जहाँ एकल लूप टूटता है

विफलताएँ समय पर आती हैं, और वे यादृच्छिक नहीं हैं; वे लूप के आकार के चार विशिष्ट परिणाम हैं।

पहली वह है जिसने सपोर्ट टीम को पकड़ा, और इसका एक नाम है: गुडहार्ट का नियम, यह अवलोकन कि एक माप जिसे पर्याप्त रूप से अनुकूलित किया जाता है, वह वह मापना बंद कर देता है जो वह एक बार करता था। गहरा कारण संरचनात्मक है। एक लूप केवल अपना मीट्रिक देख सकता है — यही इसे एक लूप बनाता है — और इसलिए यह मीट्रिक को स्थानांतरित करने का हर तरीका खोजेगा, जिसमें वे तरीके भी शामिल हैं जो मीट्रिक के उद्देश्य को धोखा देते हैं। लूप खराब नहीं हो रहा है जब वह अपने ही माप को धोखा देता है। यह ठीक वही कर रहा है जो इसे बनाया गया था, एक ऐसी संख्या पर जो चुपचाप उस वास्तविकता से अलग हो गई है जिसका वह प्रतिनिधित्व कर रही थी।

दूसरी विफलता है ऊपर की ओर अंधापन। एक लूप अपने चर को एक संदर्भ की ओर ले जाता है — लेकिन लूप के अंदर कुछ भी यह नहीं पूछ सकता कि क्या संदर्भ सही है। थर्मोस्टेट यह नहीं सोच सकता कि क्या अड़सठ डिग्री सही तापमान है; सेल्स टीम का लूप यह नहीं पूछ सकता कि क्या कोटा उचित था; इवैल लूप यह सवाल नहीं कर सकता कि क्या बेंचमार्क वह मापता है जो ग्राहक महसूस करते हैं। किसी ने वह लक्ष्य निर्धारित किया, अक्सर बहुत पहले, अक्सर सहज ज्ञान से, और लूप ईमानदारी से, अथक रूप से किसी की बनाई संख्या की ओर नियंत्रित करेगा। लूप जितनी कठिन मेहनत करता है, उतनी ही अच्छी तरह से एक गलत लक्ष्य प्राप्त होता है।

तीसरी विफलता है संघर्ष। वास्तविक सिस्टम में कई लूप होते हैं, और स्वतंत्र रूप से बनाए गए लूप लड़ते हैं। प्रतिक्रिया गति को अनुकूलित करने वाला लूप संपूर्णता को अनुकूलित करने वाले लूप को कमजोर करता है; विकास को खिलाने वाला हायरिंग लूप गुणवत्ता को संरक्षित करने वाले कल्चर लूप को तनाव देता है; बेमेल HVAC नियंत्रकों वाली इमारत में, एक लूप एक कमरे को गर्म करता है जबकि उसका पड़ोसी इसे ठंडा करता है, हमेशा के लिए, प्रत्येक अपने तरीके से शानदार प्रदर्शन करता है। एकल-लूप मानसिकता के पास इन टकरावों के लिए कोई शब्दावली नहीं है, क्योंकि प्रत्येक लूप, अकेले जांचा गया, काम कर रहा है।

चौथी विफलता सबसे शांत है: लूप का अपना मापन कमजोर हो जाता है, और कोई भी पर्यवेक्षक को नहीं देख रहा है। सेंसर बह जाते हैं। डेटा पाइपलाइन सड़ जाती हैं। परिभाषाएँ मीट्रिक के नीचे बदल जाती हैं जबकि डैशबोर्ड हरा रहता है। सबसे बुरी बात, मापन वास्तविकता की जाँच से कागजी कार्रवाई की जाँच में बदल सकता है — रिपोर्ट पर संख्या की पुष्टि दूसरी रिपोर्ट पर संख्या से की जाती है — ताकि लूप उस डेटा पर चक्र करता रहे जो किसी चीज़ को नहीं छूता। एक लूप जो समय पर चलता है जबकि उसके मापन दुनिया से अलग हो गए हैं, कुछ भी सुधार नहीं रहा है। यह अच्छी उपस्थिति वाला थिएटर है।

ग्राफ: लूप जो लूप देखते हैं

देखें कि परिपक्व सिस्टम वास्तव में सुधार को कैसे संभालते हैं और एक पैटर्न उभरता है: वे कभी एक लूप नहीं होते। वे नेटवर्क होते हैं — लूप जो लूप से जुड़े होते हैं, कनेक्शनों में संरचना के साथ।

मशीन-लर्निंग ऑपरेशंस ने इस आकार को कठिन तरीके से, एक घटना के बाद एक, विकसित किया। एक गंभीर डिप्लॉयमेंट पाइपलाइन "रीट्रेन और शिप" नहीं है। यह एक चैंपियन-चैलेंजर लूप है (उम्मीदवार मॉडल को लाइव ट्रैफिक पर वर्तमान को हराना होगा इससे पहले कि वह इसे बदले), ड्रिफ्ट-मॉनिटर लूप से जुड़ा (यह देखना कि मॉडल जो डेटा देखता है वह अभी भी उस डेटा से मिलता-जुलता है जिससे उसने सीखा), रोलबैक मशीनरी से जुड़ा (यदि पोस्ट-डिप्लॉयमेंट मीट्रिक सीमाओं का उल्लंघन करते हैं, तो स्वचालित रूप से वापस लौटें), होल्ड-आउट इवैल्यूएशन सेट के साथ जिसे प्रशिक्षण लूप कभी देखने की अनुमति नहीं है — एक जानबूझकर अंधा किया गया लूप जिसका पूरा काम ऑप्टिमाइज़िंग लूप को अपने स्वयं के परीक्षण को धोखा देते हुए पकड़ना है। प्रत्येक टुकड़ा एक लूप है। विश्वसनीयता किनारों में रहती है: कौन सा लूप किसको खिलाता है, कौन सा लूप किसको देखता है, कौन सा लूप किसको वीटो कर सकता है।

वही आकार जहाँ भी सुधार को विश्वसनीय बनाया गया है, दिखाई देता है। एक अच्छी तरह से शासित कंपनी विभिन्न गति से चलने वाले लूपों का एक ग्राफ है: तेज़ परिचालन लूप (दैनिक स्टैंडअप, साप्ताहिक मीट्रिक) धीमे प्रबंधन लूप (त्रैमासिक योजना) के अंदर, धीमे ऑडिट लूप (वार्षिक, और महत्वपूर्ण रूप से स्वतंत्र — यह जाँचना कि क्या परिचालन लूपों की संख्याएँ अभी भी वास्तविकता से मेल खाती हैं) के अंदर, सबसे धीमे लूप के अंदर, बोर्ड यह पूछ रहा है कि क्या लक्ष्य स्वयं अभी भी सही लक्ष्य हैं। शरीर भी ऐसा करता है: तापमान नियमन एक थर्मोस्टेट नहीं है बल्कि परस्पर क्रिया करने वाली रिफ्लेक्सिस का एक जाल है, जिसमें एक प्रतिरक्षा प्रणाली है जो अनिवार्य रूप से पूरे जीव पर एक ऑडिट लूप है, और धीमी विकासात्मक प्रक्रियाएँ हैं जो तेज़ लूपों की रक्षा को रीसेट करती हैं। प्रत्येक मामले में एकल लूप की चार विफलताओं के उत्तर टोपोलॉजिकल हैं। गुडहार्ट का उत्तर जोड़ी बनाना है: हर ऑप्टिमाइज़िंग लूप को एक काउंटर-मीट्रिक पर एक देखने वाला लूप मिलता है जो जीतने के सस्ते तरीके को पकड़ता है — रिज़ॉल्यूशन दर रिन्यूअल दर के साथ जोड़ी जाती है, गति त्रुटि दर के साथ जोड़ी जाती है। ऊपर की ओर अंधापन का उत्तर पदानुक्रम है: एक धीमा लूप तेज़ लूप के संदर्भ का मालिक होता है, और लक्ष्यों को संशोधित करना स्वयं एक शासित चक्र है न कि उन्हें पहले सेट करने वाले का आकस्मिक निर्णय। संघर्ष का उत्तर स्पष्ट मध्यस्थता है — लड़ने वाले लूपों के ऊपर एक लूप जो ट्रेड-ऑफ का मालिक होता है। और मापन क्षय का उत्तर ऑडिट लूप हैं जिनका एकमात्र कार्य समय-समय पर यह जाँचना है कि क्या अन्य लूपों की संख्याएँ अभी भी दुनिया को छूती हैं।

जिसका अर्थ है: कौशल बदल रहा है। एक साफ लूप बनाना पिछले युग (एक महीने पहले) का शिल्प था। अगले युग का शिल्प है लूप आर्किटेक्चर — यह जानना कि एक मीट्रिक को कभी अकेला नहीं जाना चाहिए, कि संदर्भों के मालिक होने चाहिए, कि गति को अलग किया जाना चाहिए ताकि तेज़ लूप धीमे लूपों की रखवाली को हिला न सकें, कि ग्राफ में कुछ लूप को वास्तविकता के लिए ही जवाबदेह होना चाहिए। डिज़ाइन की इकाई अब चक्र नहीं है बल्कि चक्रों का नेटवर्क है।

बदलाव वास्तव में किस बारे में है

यह निष्कर्ष निकालना आसान होगा कि सुधार का जवाब केवल अधिक लूप हैं, बेहतर व्यवस्थित — कि टोपोलॉजी इलाज है। लेकिन ग्राफ पर दबाएँ और एक कठिन सच्चाई दिखाई देती है, और यह संक्रमण का वास्तविक सबक है।

एक कंपनी की कल्पना करें जो पूरा ग्राफ बनाती है: जोड़ीदार मीट्रिक, ऑडिट लूप, मेटा-लूप निचले लूपों के पैरामीटर को ट्यून कर रहे हैं — और उनमें से हर एक लूप रिपोर्ट का उपभोग करता है। ऑडिट लूप ऑपरेशंस संख्याओं की जाँच फाइनेंस संख्याओं से करता है; फाइनेंस संख्याएँ उन्हीं सिस्टम से आती हैं जिन्हें ऑपरेशंस फीड करता है; मेटा-लूप थ्रेशोल्ड को ट्यून करता है, उन सभी पर बने डैशबोर्ड का उपयोग करके। हर लूप दूसरे लूप को देखता है, और कोई भी लूप जमीन को नहीं छूता है। यह ग्राफ चक्रीय है: आपसी पुष्टि का एक विस्तृत नेटवर्क जिसमें सब कुछ सुसंगत है और कुछ भी सत्यापित नहीं है। यह ठीक वैसे ही विफल होगा जैसे एकल लूप विफल हुआ, केवल बाद में और अधिक खर्चीले ढंग से, रास्ते में कहीं अधिक हरी बत्तियों के साथ। टोपोलॉजी ने परिष्कार खरीदा। इसने वास्तविकता से संपर्क नहीं खरीदा।

इसलिए ग्राफ को कुछ ऐसा चाहिए जो किनारों की कोई व्यवस्था प्रदान नहीं कर सकती: एंकर। नेटवर्क में कुछ मापन उस प्रकार के होने चाहिए जिन पर बहस नहीं की जा सकती — राजस्व जो बैंक में आया, परीक्षण जो वास्तव में निष्पादित हुए, ग्राहक जो वास्तव में रुके, भौतिक गणना जो मेल खाती है या नहीं। कुछ नोड्स को फ्रोज़न होना चाहिए — ऐसे नियम जिन्हें ऑप्टिमाइज़िंग लूप कभी ट्यून करने की अनुमति नहीं है, ठीक इसलिए क्योंकि वे वे नियम हैं जिन्हें ऑप्टिमाइज़र कमजोर करने के लिए प्रलोभित होगा, जिस तरह एक प्रशिक्षण लूप को कभी होल्ड-आउट सेट नहीं देखना चाहिए। और एक चीज़ पूरी तरह से ग्राफ के बाहर से आनी चाहिए: इसका उत्तर कि गहराई में "बेहतर" का क्या अर्थ है। लूप संदर्भों की ओर अनुकूलित करते हैं; लूपों के ग्राफ संदर्भों का प्रबंधन और संशोधन करते हैं; लेकिन मूल निर्णय — किन चीज़ों को बिल्कुल नियंत्रित करने लायक है, फ्रोज़न नियम कहाँ बैठने चाहिए — मशीनरी द्वारा उत्पन्न नहीं किया जा सकता, क्योंकि ग्राफ में हर लूप इसे मान लेता है। वह निर्णय लोगों द्वारा, वास्तविक विफलताओं के संपर्क के माध्यम से, प्रदान किया जाता है, और सबसे परिष्कृत सुधार आर्किटेक्चर वे हैं जो यह चिह्नित करने के लिए पर्याप्त ईमानदार हैं कि उनका अपना अधिकार कहाँ समाप्त होता है।

प्रवृत्ति कहाँ जाती है

सुरक्षित भविष्यवाणी यह है कि लूप आर्किटेक्चर रूढ़िवादिता बन जाएगा जैसे एकल लूप बने: ट्यूटोरियल पलट जाएंगे, "एक मीट्रिक कभी पर्याप्त क्यों नहीं है" कॉन्फ्रेंस-टॉक कैनन होगा, और हर गंभीर सिस्टम जोड़ीदार मीट्रिक और ऑडिट चक्रों के साथ शिप होगा जैसे हर गंभीर सिस्टम अब वर्जन कंट्रोल के साथ शिप होता है। गहरी भविष्यवाणी यहाँ खोजे गए पैटर्न का अनुसरण करती है: लूपों के ग्राफ भी विफल होंगे, अपने विशिष्ट तरीके से — चक्रीय रूप से, लगातार, प्रशंसनीय रूप से — जहाँ भी वे बिना एंकर के बनाए गए हैं, और प्रवचन फिर से उस ओर लुढ़केगा जो आगे आता है।

जो बताता है कि टिकाऊ धुरी कभी लूप बनाम ग्राफ नहीं थी। यह है अनग्राउंडेड बनाम ग्राउंडेड: क्या सुधार मशीनरी, चाहे किसी भी आकार की हो, उस वास्तविकता को छूती रहती है जिसे वह सुधारने का दावा करती है — क्या इसकी संख्याएँ दुनिया के खिलाफ बसती हैं, क्या इसके पर्यवेक्षक वास्तव में स्वतंत्र हैं, क्या इसके फ्रोज़न नियम दबाव में फ्रोज़न रहते हैं, और क्या यह स्वीकार करता है कि इसके गहरे लक्ष्य चुने गए थे, गणना नहीं किए गए। एकल लूप वह था जिससे सिस्टम ने बेहतर होना सीखा। ग्राफ वह है जिससे वे खुद को मूर्ख बनाए बिना बेहतर होना सीख रहे हैं। "बेहतर" का अर्थ क्या है, इसके बारे में ईमानदार रहना दोनों में से एक अलग सबक है — और यह वह है जो तब भी मायने रखेगा जब आज के लूप आरेख उतने ही पुराने लगेंगे जितना पिछले साल का एकल मीट्रिक, जो खूबसूरती से चढ़ रहा था जबकि ग्राहक चले जा रहे थे।

संबंधित: https://x.com/IntuitMachine/status/2068808668393451770