हमने पिछले कुछ महीनों में सैकड़ों कार्यकारी अधिकारियों से बात की है, और हम एक स्पष्ट स्वर सुन रहे हैं: "AI अभी तक ROI नहीं दे रहा है, लेकिन हम इसमें पूरी तरह से शामिल हैं, इसलिए हमें इसे समझना होगा।"
कार्यकारी अधिकारी जानते हैं कि अब पीछे मुड़ना संभव नहीं है। लेकिन अधिकांश बड़ी कंपनियों में, उनके AI प्रोग्राम पायलट चरण में ही अटक रहे हैं, जिसके कारण हैं: असंगत आउटपुट गुणवत्ता, वास्तविक काम करने के लिए आवश्यक आत्मविश्वास तक पहुँचने में असमर्थता, सुरक्षा जोखिमों के बारे में अनिश्चितता, और टोकन लागत में वृद्धि। दूसरे शब्दों में: कितने व्यावसायिक नेता वास्तव में यह माप सकते हैं कि उनके AI प्रोग्राम कितने सटीक हैं?
हर कोई एक ही निष्कर्ष पर पहुँच रहा है: यदि आप प्रोडक्शन-गुणवत्ता वाले एजेंट चाहते हैं जो वास्तव में काम कर सकें, तो इसकी शुरुआत इवैल्स से होती है।
Satya नवीनतम नेता हैं जिन्होंने इवैल्स को रणनीतिक IP के रूप में पहचाना है। वे इसे प्रभावशाली और सशक्त रूप से प्रस्तुत करते हैं: "कंपनियों को अपने वर्कफ़्लो, डोमेन ज्ञान और संचित निर्णय को AI सिस्टम में बदलने की आवश्यकता है जो प्रत्येक उपयोग के साथ बेहतर होते हैं। प्राइवेट इवैल्स को यह पकड़ना चाहिए कि क्या कोई मॉडल वास्तव में उन परिणामों के खिलाफ सुधार कर रहा है जो व्यवसाय के लिए मायने रखते हैं (न कि केवल बाहरी बेंचमार्क!)" (https://x.com/satyanadella/status/2066182223213293753).
तो इवैल्स क्या हैं? "इवैल्यूएशन" का संक्षिप्त रूप, यह एक व्यापक, कठोर ढाँचा है जो किसी AI सिस्टम को व्यवस्थित रूप से मापने और सुधारने के लिए उपयोग किया जाता है। हम थम्स अप/डाउन या एजेंट आउटपुट की मानवीय समीक्षा की बात नहीं कर रहे हैं। एक मजबूत इवैल्यूएशन सूट निर्णय, स्वर और रुचि की बारीकियों को पकड़ता है; टूल के एजेंटिक उपयोग का आकलन करता है; कार्यों को विशिष्ट, स्कोर करने योग्य आयामों (एक "रूब्रिक") में विभाजित करता है; और आमतौर पर एक सिमुलेशन या रीइन्फोर्समेंट लर्निंग वातावरण में तैनात किया जाता है, जहाँ एजेंटों को बार-बार चलाया जा सकता है और समय के साथ प्रदर्शन में सुधार के लिए प्रशिक्षित किया जा सकता है।
सर्वश्रेष्ठ कंपनियाँ एजेंटिक इवैल्स को एक मुख्य गुणवत्ता, विश्वसनीयता और शासन परत के रूप में मानती हैं; जो आज अधिकांश टीमों द्वारा उपयोग किए जाने वाले तदर्थ परीक्षण या लॉन्च-पूर्व जाँच से कहीं आगे है।
पिछले 2 वर्षों में हमने Handshake को एक AI कंपनी के रूप में 'पुनः स्थापित' किया। आज हम फ्रंटियर LLM लैब्स और Fortune 500 उद्यमों दोनों के लिए इवैल्स के एक अग्रणी प्रदाता हैं। हमारी Handshake AI रिसर्च टीम वेरिफायर्स पर नए शोध का बीड़ा उठा रही है, और हम दुनिया के सबसे बड़े उद्यमों में दूरदर्शी नेताओं के साथ उनकी AI रणनीति को आकार देने के लिए काम कर रहे हैं। कुछ विषय स्पष्ट हो रहे हैं।
AI से व्यावसायिक प्रभाव प्राप्त करने के लिए इवैल्स एक व्यापक दृष्टिकोण की आधारशिला होनी चाहिए। यहाँ पाँच स्तंभ हैं जो हम देख रहे हैं, जिनका मैं भविष्य के पोस्ट में विस्तार से वर्णन करूँगा:
1. यह सब इवैल्स से शुरू होता है। AI प्रदर्शन पूरी तरह से उपयोग किए जाने वाले इवैल्यूएशन सूट द्वारा परिभाषित होता है: आप केवल उस हद तक प्रदर्शन को ट्रैक कर सकते हैं जिस हद तक आपने सटीक रूप से परिभाषित किया है कि "अच्छा" कैसा दिखता है। अग्रणी संगठन अब वास्तविक दुनिया में तैनाती से पहले एक नियंत्रित वातावरण में AI को बेहतर बनाने के लिए इवैल्यूएशन को एक सिमुलेशन में बनाते हैं। डोमेन विशेषज्ञ ऐतिहासिक डेटा को क्यूरेट करते हैं और मॉडल का दबाव-परीक्षण करने के लिए जानबूझकर एज केस (दूषित टेक्स्ट, विरोधाभासी निर्देश) लगाते हैं। फिर सिमुलेशन प्रत्येक अपडेट को उद्देश्यपूर्ण रूब्रिक्स के खिलाफ स्कोर करता है, चाहे वह एक्सैक्ट-मैच स्ट्रिंग पार्सिंग हो, कोड-स्तरीय अभिकथन, या LLM-एज़-जज मानदंड, AI विकास को एक अनुमान लगाने वाले खेल से एक पूर्वानुमानित इंजीनियरिंग अनुशासन में बदल देता है।
2. प्रत्येक फ़ंक्शन को एक अलग AI रणनीति की आवश्यकता होती है। एक जटिल उद्यम को एक खंडित दृष्टिकोण की आवश्यकता होती है: व्यावसायिक इकाई के अनुसार कहाँ बनाना है, खरीदना है, अनुकूलित करना है, या प्रशिक्षित करना है। एक मध्यम आकार की बीमा कंपनी को शायद एक कोडिंग एजेंट तैयार-तैयार खरीद लेना चाहिए और फ्रंटियर टोकन के लिए भुगतान करना चाहिए, साथ ही मालिकाना एजेंट भी बनाने चाहिए जो उसके अद्वितीय अंडरराइटिंग निर्णयों को एक संप्रभु IP संपत्ति के रूप में एन्कोड करते हैं। ग्राहक सेवा में, RAG के लिए अनुकूलित वर्टिकल समाधान अक्सर अधिक समझ में आते हैं, लेकिन उन्हें अभी भी वास्तविक सेटअप, रखरखाव और चालू इवैल्स की आवश्यकता होती है। एजेंटों की दुनिया में, प्रदर्शन प्रबंधन ही इवैल्स है।
3. सुरक्षा को नज़रअंदाज़ न करें। कई नेता मानते हैं कि उनका साइबर जोखिम संभाल लिया गया है क्योंकि उन्होंने SaaS युग के दौरान क्लाउड इंफ्रास्ट्रक्चर और ऐप्स को सुरक्षित कर लिया था। एजेंटिक AI युग नई कमज़ोरियाँ लाता है: मानक फ़ायरवॉल प्रॉम्प्ट इंजेक्शन हमलों को नहीं रोकते हैं या मालिकाना डेटा को सार्वजनिक प्रशिक्षण लूप में लीक होने से नहीं रोकते हैं। एक मध्यम आकार के उद्यम को सुरक्षित करने का अर्थ है क्वेरी के नेटवर्क छोड़ने से पहले पहचानकर्ताओं को हटाने के लिए डेटा-स्क्रबिंग पाइपलाइन तैनात करना, और आपके मॉडल तक पहुँचने से पहले दुर्भावनापूर्ण प्रॉम्प्ट को बेअसर करने के लिए इनपुट-वैलिडेशन परतें तैनात करना।
4. ऑप्टिमाइज़्ड मॉडल रूटिंग नया सैलरी बैंडिंग है। आप डेटा एंट्री के लिए कार्यकारी वेतन नहीं देंगे, फिर भी अधिकांश उद्यम सरल कार्यों को महंगे फ्रंटियर मॉडल पर रूट करते हैं। एक रूटिंग परत जो मॉडल लागत को कार्य जटिलता से मिलाती है, आवश्यक है, लेकिन यह तभी काम करती है जब आपके पास यह जानने के लिए इवैल्स हों कि क्या कोई सस्ता मॉडल वास्तव में डिलीवर कर सकता है। हमने कंपनियों को लागत के लिए अति-अनुकूलन करते और गुणवत्ता में इसकी कीमत चुकाते देखा है। LLM में, आप जितना भुगतान करते हैं, उतना ही मिलता है; अनुशासन यह है कि टोकन वहीं खर्च करें जहाँ कार्य वास्तव में जटिल हो।
5. फाइन-ट्यूनिंग एंटरप्राइज़ प्लेबुक में वापस आ गई है। महत्वपूर्ण पैमाने पर, सबसे अधिक लागत प्रभावी रणनीति अक्सर केवल एजेंट पुनरावृत्ति या रूटिंग नहीं होती है, बल्कि छोटे ओपन-वेट मॉडल को विशिष्ट कार्यों के लिए तैयार करना होता है। फाइन-ट्यूनिंग को मॉडल को नई जानकारी नहीं सिखानी चाहिए (इसके लिए RAG है), लेकिन यह वर्कफ़्लो, संचार शैली और टूल-कॉलिंग को मानकीकृत कर सकता है। वास्तविक मूल्य परिणामी मॉडल को किसी भी अन्य सॉफ़्टवेयर संपत्ति की तरह मानने से आता है: बहाव को पकड़ने के लिए रिग्रेशन टेस्टिंग और फीडबैक लूप। अनुशासन और डेटा गुणवत्ता कंप्यूट बजट से अधिक मायने रखती है।
इवैल-फर्स्ट मानसिकता में यह बदलाव केवल तकनीकी प्लंबिंग नहीं है। यह AI के लिए सफलता को परिभाषित करने के तरीके में एक बदलाव है: "देखते हैं यह क्या करता है" से "आइए सटीक रूप से मापें कि इसे क्या करना चाहिए, और इसे तब तक सुधारें जब तक यह करता है।" जो संगठन अब इसे समझ लेंगे, वे AI को एक लागत केंद्र से एक टिकाऊ, संयोजित संपत्ति में बदल देंगे।
फ्रंटियर मॉडल को बेहतर बनाने का हमारा काम हमें इस अनुशासन के लिए एक अग्रिम सीट प्रदान करता है। एंटरप्राइज़ पार्टनर्स के साथ हमारा साझा लक्ष्य "यह लैब में काम करता है" और "यह ठोस मूल्य के लिए वास्तविक काम करता है" के बीच की खाई को पाटना है।
यदि आप इस संक्रमण के माध्यम से काम कर रहे हैं, या अपने AI प्रोग्राम को पायलट से आगे बढ़ाने की कोशिश कर रहे हैं, तो मुझे यह सुनकर अच्छा लगेगा कि आप चुनौती को कैसे तैयार कर रहे हैं। यह 2026 में हमारे द्वारा हल की जा रही सबसे महत्वपूर्ण समस्या है।
