AI एजेंट्स को कार्रवाई से पहले गवर्नेंस की आवश्यकता क्यों है

AI एजेंट सवालों के जवाब देने से आगे बढ़कर कार्रवाई करने लगे हैं।

यह एक छोटा सा बदलाव पूरे जोखिम मॉडल को बदल देता है।

चैटबॉट टेक्स्ट प्रोड्यूस करते हैं। एजेंट सिस्टम को ऑपरेट करते हैं।

वे ईमेल पढ़ सकते हैं, API कॉल कर सकते हैं, कस्टमर रिकॉर्ड अपडेट कर सकते हैं, कोड डिप्लॉय कर सकते हैं, टिकट बना सकते हैं, वर्कफ़्लो स्टेप्स को अप्रूव कर सकते हैं, दूसरे एजेंट्स के साथ कोऑर्डिनेट कर सकते हैं, और लॉन्ग-टर्म मेमोरी में नया नॉलेज स्टोर कर सकते हैं।

इसका मतलब है कि मुख्य सवाल अब यह नहीं रहा:

क्या यह जवाब सही है?

बल्कि अब सवाल यह है:

क्या इस एजेंट को अभी कार्रवाई करने की अनुमति दी जानी चाहिए?

यह वह सवाल है जिसका जवाब देने के लिए एक गवर्नेंस लेयर मौजूद है।

1. मेमोरी उपयोगी है। यह गवर्नेंस नहीं है।

मेमोरी एजेंटों को सेशन के दौरान कॉन्टेक्स्ट बनाए रखने में मदद करती है।

यह उन्हें यूज़र की पसंद, पिछले काम, टूल आउटपुट और पिछले फैसलों को याद रखने में मदद करती है। यह महत्वपूर्ण है। लेकिन मेमोरी यह तय नहीं करती:

• कौन से तथ्य मेमोरी में जा सकते हैं
• कौन सी यादें पुरानी या दूषित हैं
• किन कार्रवाइयों के लिए मंज़ूरी चाहिए
• वर्कफ़्लो का कौन सा चरण आगे आना चाहिए
• एक्ज़ीक्यूशन से पहले कौन सा प्रूफ चाहिए
• कौन सा एजेंट किस जानकारी का उपयोग कर सकता है

प्रोडक्शन एजेंट सिस्टम में, अक्सर सबसे कठिन समस्या रिट्रीवल नहीं, बल्कि अथॉरिटी होती है।

मेमोरी एक एजेंट को याद रखने में मदद करती है।

गवर्नेंस उसे यह चुनने में मदद करती है कि उसे क्या करने की अनुमति है।

यही वह अंतर है जहाँ Marrow स्थित है।

Marrow सिर्फ एक मेमोरी लेयर नहीं है। यह AI एजेंट फ्लीट के लिए एक जजमेंट लेयर है।

2. ऑब्ज़र्वेबिलिटी अतीत की व्याख्या करती है। एजेंटों को भविष्य से पहले नियंत्रण की आवश्यकता है।

ऑब्ज़र्वेबिलिटी आवश्यक है। टीमों को ट्रेसेस, लॉग, इवैलुएशन, एनोटेशन, अलर्ट और डैशबोर्ड की आवश्यकता है।

लेकिन पोस्ट-हॉक विज़िबिलिटी किसी बुरी कार्रवाई को होने से पहले नहीं रोकती।

अगर कोई एजेंट असुरक्षित कोड डिप्लॉय करता है, संवेदनशील ईमेल भेजता है, गलत पेमेंट अप्रूव करता है, या किसी आवश्यक वर्कफ़्लो स्टेप को छोड़ देता है, तो डैशबोर्ड बाद में घटना की व्याख्या कर सकता है, लेकिन यह ज़रूरी नहीं कि इसे रोक सके।

उच्च-प्रभाव वाले वर्कफ़्लो के लिए, सिग्नल को एजेंट तक कार्रवाई से पहले पहुँचना होगा:

• जोखिम स्तर
• आवश्यक प्रूफ़
• पॉलिसी बाधाएँ
• मालिक की मंज़ूरी
• रोलबैक योजना
• सटीक अगला चरण
• अनुमति दें, चेतावनी दें, समीक्षा करें, या ब्लॉक करें

यह ऑब्ज़र्वेबिलिटी और गवर्नेंस के बीच का अंतर है।

डैशबोर्ड मनुष्यों को सूचित करते हैं।

गवर्नेंस एजेंटों को उनके कार्य करने से पहले सूचित करती है।

3. इवैलुएशन एक स्नैपशॉट है। प्रोडक्शन एक स्ट्रीम है।

पूर्व-डिप्लॉयमेंट इवैलुएशन कई विफलताओं को पकड़ लेता है। लेकिन प्रोडक्शन एजेंट बदलते परिवेश में रहते हैं।

प्रॉम्प्ट बदलते हैं। टूल बदलते हैं। API बदलते हैं। डेटा बदलता है। पॉलिसी बदलती है। फ्लीट में अन्य एजेंट बदलते हैं।

एक बेंचमार्क यह दिखा सकता है कि एक एजेंट कुछ शर्तों के तहत अच्छा प्रदर्शन करता है। प्रोडक्शन एक अलग सवाल पूछता है:

क्या यह एजेंट पर्यावरण बदलने पर भी सही निर्णय लेता रहेगा?

टूल-यूज़िंग एजेंटों पर रिसर्च भी इसी दिशा में इशारा करती है।

ToolEmu हाई-स्टेक टूल का उपयोग करने वाले लैंग्वेज-मॉडल एजेंटों का अध्ययन करता है और दिखाता है कि एजेंट की विफलताएँ गंभीर वास्तविक दुनिया के परिणाम पैदा कर सकती हैं। AgentHarm और CUAHarm टूल का उपयोग करने या कंप्यूटर चलाने वाले एजेंटों के हानिकारक व्यवहार पर ध्यान केंद्रित करते हैं। अन्य शोध दर्शाते हैं कि एजेंट जोखिम को अमूर्त रूप में समझ सकते हैं, लेकिन फिर भी ठोस परिदृश्यों में जोखिम भरी कार्रवाइयों से बचने में विफल हो सकते हैं।

सबक व्यावहारिक है:

सुरक्षा केवल मॉडल में या केवल एक बेंचमार्क में नहीं रह सकती।

प्रोडक्शन एजेंटों को रनटाइम नियंत्रण की आवश्यकता होती है।

4. गवर्नेंस AI इंफ्रास्ट्रक्चर बन रही है।

प्रमुख AI गवर्नेंस फ्रेमवर्क एक ही विचार पर एकत्रित हो रहे हैं: जिम्मेदार AI को परिचालनात्मक बनना होगा।

सिर्फ सिद्धांत नहीं।

सिर्फ पॉलिसी PDF नहीं।

सिर्फ डैशबोर्ड नहीं।

परिचालनात्मक गवर्नेंस के लिए आवश्यक है:

1. दस्तावेजीकृत जोखिम प्रबंधन
2. स्वचालित लॉगिंग
3. उच्च-प्रभाव वाले निर्णयों के लिए मानवीय निगरानी
4. जीवनचक्र भर गुणवत्ता प्रबंधन
5. सिस्टम व्यवहार की ट्रेसेबिलिटी
6. पोस्ट-मार्केट निगरानी
7. प्रतिकूल परिणामों के लिए जवाबदेही

यह NIST AI RMF, NIST के Generative AI Profile, ISO/IEC 42001, OECD AI Principles, EU AI Act, OWASP की agentic AI जोखिम टैक्सोनॉमी, और 2026 Five Eyes की agentic AI सेवाओं पर मार्गदर्शन में स्पष्ट दिखता है।

दिशा स्पष्ट है।

एंटरप्राइज़ AI सिस्टम को अपने ऑपरेटिंग जीवन के दौरान साक्ष्य, नियंत्रण, ट्रेसेबिलिटी और जवाबदेही की आवश्यकता होती है।

AI एजेंटों के लिए, इसका मतलब है कि गवर्नेंस को रनटाइम में जाना होगा।

5. एक एजेंट गवर्नेंस लेयर को क्या करना चाहिए

एक गवर्नेंस लेयर एजेंट रनटाइम और उन सिस्टम के बीच एक कंट्रोल प्लेन होती है जिन्हें एजेंट प्रभावित कर सकता है।

यह एजेंट के इच्छित कार्य को प्राप्त करता है, पॉलिसी, अनुमति, जोखिम, प्रूफ और पिछले परिणामों के विरुद्ध इसका मूल्यांकन करता है, और फिर एक प्रवर्तनीय निर्णय देता है:

अनुमति दें

चेतावनी दें

समीक्षा आवश्यक

ब्लॉक करें

एक गंभीर गवर्नेंस लेयर में नौ कार्य होने चाहिए।

1. पहचान और दायरे वाला अधिकार

हर एजेंट को एक स्पष्ट पहचान, सीमित अनुमतियाँ और दायरे वाली क्रेडेंशियल्स की आवश्यकता होती है।

एक फ्लीट को शासित नहीं किया जा सकता अगर हर एजेंट एक ही API की साझा करता है।

1. रनटाइम पॉलिसी

पॉलिसियों को क्रियान्वयन योग्य रनटाइम शर्तें बनना चाहिए।

कौन सा चरण पहले आता है?

कौन सा प्रूफ आवश्यक है?

किस कार्रवाई की हमेशा समीक्षा की आवश्यकता है?

किस कार्रवाई को कभी स्वचालित रूप से नहीं चलना चाहिए?

1. जोखिम द्वार

सिस्टम को प्रभाव, प्रतिवर्तीता, संवेदनशीलता और व्यावसायिक संदर्भ के आधार पर कार्रवाइयों को वर्गीकृत करना चाहिए।

कम जोखिम वाला काम स्वचालित रूप से चल सकता है। उच्च जोखिम वाले काम के लिए प्रूफ, अनुमोदन या ब्लॉकिंग की आवश्यकता हो सकती है।

1. प्रूफ पैक

कार्रवाई से पहले, एजेंट को सबूत संलग्न करना चाहिए।

उदाहरण:

• टेस्ट कवरेज
• रोलबैक योजना
• पॉलिसी क्लॉज़
• पहचान सत्यापन
• क्लिनिकल अनुमोदन
• बिल समीक्षा
• पर्यवेक्षक की मंज़ूरी

1. अनुमोदन रूटिंग

मानवीय समीक्षा हर चीज़ के लिए मैन्युअल कतार नहीं होनी चाहिए।

यह उन कार्यों के लिए एक सशर्त जाँच बिंदु होना चाहिए जहाँ त्रुटि की लागत अधिक है।

1. ऑडिट और प्रोवेनेंस

हर निर्णय ट्रेसेबल होना चाहिए।

इसे किसने शुरू किया?

इसे क्यों अनुमति दी गई या ब्लॉक किया गया?

कौन सी पॉलिसी लागू हुई?

कौन सा प्रूफ संलग्न था?

इसे किसने मंज़ूरी दी?

आगे क्या हुआ?

1. परिणाम समापन

गवर्नेंस अनुमति या ब्लॉक पर समाप्त नहीं होती।

सिस्टम को लूप बंद करना होगा:

• क्या कार्रवाई सफल हुई?
• क्या यह विफल हुई?
• क्या रोलबैक की आवश्यकता थी?
• इसे किसने मंज़ूरी दी?
• क्या सबक संग्रहीत किया जाना चाहिए?

1. मेमोरी राइट गवर्नेंस

हर लॉग ज्ञान नहीं होता।

ज्ञान का हर टुकड़ा हर एजेंट को प्रभावित नहीं करना चाहिए।

वास्तविक परिणाम केवल नियंत्रित लेखन के माध्यम से मेमोरी बनने चाहिए।

1. फ्लीट-स्तरीय सीखना

गवर्नेंस लेयर को फ्लीट भर में व्यवहार को ट्रैक करना चाहिए:

• बेसलाइन वर्कफ़्लो से विचलन
• रीट्री लूप्स
• बार-बार विफलताएँ
• ऐसे पैटर्न जो भविष्य के एजेंटों को चेतावनी दें

यह वह जगह है जहाँ गवर्नेंस प्रतिबंध से अधिक हो जाती है। यह सीखना बन जाती है।

6. एक गवर्नेंस केस स्टडी के रूप में Marrow

Marrow एक सरल ऑपरेटिंग लूप के आसपास डिज़ाइन किया गया है:

orient−>think−>act−>check−>commitorient -> think -> act -> check -> commit

प्रत्येक चरण का एक गवर्नेंस फंक्शन है।

Orient प्रासंगिक इतिहास, चेतावनी और बाधाओं को सतह पर लाता है।

Think इच्छित कार्रवाई के होने से पहले उसका मूल्यांकन करता है।

Act संदर्भ और सुरक्षा रेलिंग के साथ निष्पादित होता है।

Check निरीक्षण करता है कि क्या प्रूफ या समापन गायब है।

Commit परिणाम रिकॉर्ड करता है ताकि अगला निर्णय बेहतर हो।

यह मेमोरी और जजमेंट के बीच मुख्य अंतर है।

मेमोरी पूछती है:

एजेंट क्या जानता है?

Marrow पूछता है:

क्या एजेंट को कार्य करना चाहिए, और किन शर्तों के तहत?

इसके उत्पाद सतहें सीधे रनटाइम गवर्नेंस से मैप होती हैं:

• decisionBrief() एजेंट को कार्रवाई-पूर्व संदर्भ देता है।
• workflowGate() अनुमति, चेतावनी, समीक्षा आवश्यक, या ब्लॉक लौटाता है।
• runGuarded() जोखिम भरे काम को कार्रवाई-पूर्व मार्गदर्शन और परिणाम समापन के साथ लपेटता है।
• agentRuntime() एजेंट संदर्भ में सबक और प्रूफ आवश्यकताओं को इंजेक्ट करता है।
• agentStatus() दिखाता है कि क्या Marrow सक्रिय है और उपयोगी सिग्नल एकत्र कर रहा है।
• valueReport() गवर्नेंस को मालिक-दृश्य प्रूफ में बदल देता है।

दूसरे शब्दों में:

Marrow पिछले परिणामों को कार्रवाई-पूर्व निर्णय में बदल देता है।

7. एक ठोस उदाहरण: बुरा डिप्लॉय

एक CI/CD एजेंट की कल्पना करें जो पेमेंट वेबहुक परिवर्तन डिप्लॉय करने वाला है।

बिल्ड पास हो जाता है।

ब्रांच तैयार है।

एजेंट प्रोडक्शन में पुश करने वाला है।

लेकिन पुल रिक्वेस्ट में तीन चीज़ें गायब हैं:

1. टेस्ट कवरेज
2. रोलबैक योजना
3. स्मोक टेस्ट

गवर्नेंस के बिना, डिप्लॉय हो सकता है।

पेमेंट विफलताएँ घंटों बाद दिखाई देती हैं। ग्राहक प्रभावित होते हैं। ऑन-कॉल इंजीनियर मैन्युअल रूप से रोलबैक करता है। यह घटना एक और पोस्टमार्टम बन जाती है।

गवर्नेंस के साथ, वर्कफ़्लो गेट डिप्लॉय से पहले चलता है।

यह लौटाता है:

जोखिम स्तर: उच्च

प्रूफ़ पैक गायब

डिप्लॉयमेंट ब्लॉक किया गया

एजेंट सिर्फ अधिक लॉग नहीं कर रहा है। इसे सही बिंदु पर रुकने के लिए मजबूर किया जा रहा है।

यह कार्रवाई-पूर्व गवर्नेंस का मूल्य है।

8. एजेंट गवर्नेंस के लिए सही मीट्रिक्स

एक गवर्नेंस लेयर को केवल लॉग नहीं गिनने चाहिए।

इसे मापना चाहिए कि क्या फ्लीट सुरक्षित, अधिक सुसंगत और ऑडिट करने में आसान हो रहा है।

उपयोगी मीट्रिक्स में शामिल हैं:

• एक्शन कवरेज: कितनी उच्च-प्रभाव वाली कार्रवाइयाँ एक गेट से गुज़रती हैं
• प्रूफ़ कम्पलीशन रेट: निष्पादन से पहले कितनी कार्रवाइयों में आवश्यक प्रूफ़ शामिल है
• आउटकम क्लोज़र रेट: कितने निर्णय वास्तविक परिणाम के साथ बंद होते हैं
• रोके गए दोहराव वाले विफलताएँ: कितनी बार ज्ञात विफलता पैटर्न से बचा जाता है
• ड्रिफ्ट गंभीरता: एजेंट अनुमोदित वर्कफ़्लो से कितनी दूर चले जाते हैं
• फ़ॉल्स पॉज़िटिव रेट: गेट कितनी बार बहुत अधिक ब्लॉक करता है
• फ़ॉल्स नेगेटिव रेट: कितनी बार खतरनाक कार्रवाइयाँ फिसल जाती हैं
• ऑडिट रिकंस्ट्रक्शन टाइम: किसी निर्णय की व्याख्या करने में कितना समय लगता है
• ह्यूमन रिव्यू प्रेसिजन: क्या मानवीय अनुमोदन का उपयोग सही कार्यों के लिए किया जाता है

गवर्नेंस उपयोगी है जब यह रोलबैक को कम करता है, बार-बार होने वाली घटनाओं को रोकता है, अनावश्यक समीक्षा को कम करता है, और एजेंट व्यवहार को साबित करना आसान बनाता है।

अन्यथा यह अनुपालन थिएटर बन जाता है।

9. गवर्नेंस लेयर के भी जोखिम हैं

एक गवर्नेंस लेयर भी विफल हो सकती है।

इसे गलत तरीके से कॉन्फ़िगर किया जा सकता है। पॉलिसियाँ पुरानी हो सकती हैं। प्रूफ़ अधूरा हो सकता है। गेट्स ओवरब्लॉक कर सकते हैं। हमलावर कंट्रोल प्लेन को टार्गेट कर सकते हैं। अगर यह बहुत अधिक संवेदनशील डेटा स्टोर करता है, तो यह एक जोखिम एकाग्रता बिंदु बन जाता है।

इसलिए गवर्नेंस लेयर को खुद अनुशासन की आवश्यकता है:

1. डिफ़ॉल्ट रूप से न्यूनतम विशेषाधिकार एजेंटों को केवल उन्हीं अनुमतियों की आवश्यकता होनी चाहिए जिनकी उन्हें आवश्यकता है, उस समय के लिए जब उन्हें उनकी आवश्यकता है।
2. उच्च-प्रभाव वाली कार्रवाइयों के लिए फ़ेल क्लोज़्ड यदि कार्रवाई गंभीर नुकसान पहुंचा सकती है, तो गायब प्रूफ़ को निष्पादन रोक देना चाहिए।
3. कम जोखिम वाले ऑटोमेशन के लिए फ़ेल सॉफ्ट हर कार्रवाई समान स्तर के घर्षण की हकदार नहीं है।
4. मानव-पठनीय साक्ष्य, मशीन-पठनीय पॉलिसी ऑपरेटरों को निर्णय को समझने की आवश्यकता है। सिस्टम को इसे लागू करने की आवश्यकता है।
5. वास्तविक परिणामों से सीखना परिणाम समापन के बिना, सिस्टम लॉग जमा करता है, निर्णय नहीं।

10. निष्कर्ष

AI एजेंट सॉफ्टवेयर को एक नए ऑपरेटिंग मॉडल में धकेल रहे हैं।

वे टूल चुन सकते हैं, अन्य एजेंटों के साथ समन्वय कर सकते हैं, सिस्टम को संशोधित कर सकते हैं, और परिणाम बना सकते हैं।

उस मॉडल में, गवर्नेंस डिप्लॉयमेंट के बाद जोड़ी गई एक लेयर नहीं है। यह रनटाइम के अंदर है।

मेमोरी, ऑब्ज़र्वेबिलिटी, इवैलुएशन और मानवीय समीक्षा सभी मायने रखते हैं। लेकिन प्रत्येक समस्या के केवल एक भाग को हल करता है।

एक गवर्नेंस लेयर उन्हें एक जवाबदेह कार्रवाई लूप में जोड़ती है:

कार्रवाई से पहले पॉलिसी, निष्पादन से पहले प्रूफ़, कार्रवाई के दौरान अधिकार, कार्रवाई के बाद परिणाम, पूरे फ्लीट में सीखना

यही Marrow के पीछे की थीसिस है।

AI एजेंट फ्लीट को केवल अधिक याद रखने की आवश्यकता नहीं है।

उन्हें कार्रवाई करने से पहले बेहतर निर्णय की आवश्यकता है।

संदर्भ

1. NIST. AI जोखिम प्रबंधन ढांचा
2. NIST. जनरेटिव AI प्रोफ़ाइल, NIST AI 600-1
3. OECD. OECD AI सिद्धांत
4. यूरोपीय आयोग AI अधिनियम सेवा डेस्क। अनुच्छेद 9: जोखिम प्रबंधन प्रणाली
5. यूरोपीय आयोग AI अधिनियम सेवा डेस्क। अनुच्छेद 12: रिकॉर्ड-कीपिंग
6. यूरोपीय आयोग AI अधिनियम सेवा डेस्क। अनुच्छेद 14: मानवीय निगरानी
7. यूरोपीय आयोग AI अधिनियम सेवा डेस्क। अनुच्छेद 17: गुणवत्ता प्रबंधन प्रणाली