हम यह देखना शुरू कर रहे हैं कि जब कोई कंपनी खुद को संचालित करना सीखती है तो क्या होता है।
पिछले छह महीनों में, Replit के इंजीनियरों ने कोड आउटपुट को लगभग तीन गुना कर दिया है। समीक्षा का समय स्थिर रहा। रिवर्ज़न और उत्पाद घटनाएँ स्थिर रहीं। गुणवत्ता मेट्रिक्स में सुधार हुआ, और रिलीज़ में तेज़ी आई। वे सभी सामान्य ट्रेड-ऑफ़ जिनकी आप उम्मीद कर सकते हैं, नहीं हुए हैं।
जबकि कोड दृश्य भाग है, सतह के नीचे जो हो रहा है वह कहीं अधिक दिलचस्प है।
एजेंट अब उत्पादन घटनाओं की जाँच करते हैं, पुल रिक्वेस्ट की समीक्षा करते हैं, सवालों के जवाब देते हैं, व्यावसायिक डेटा का विश्लेषण करते हैं, सपोर्ट टिकटों को ट्राइएज करते हैं, सेल्स अकाउंट पर शोध करते हैं, और उन सिस्टम को बेहतर बनाते हैं जो Replit Agent को ही संचालित करते हैं।
ऐसा लगता है जैसे एक एकल मास्टर इंटेलिजेंस हर कर्मचारी के माध्यम से पिरोया गया है, भले ही ऐसा नहीं है। यह कंपनी भर में काम करने वाले एजेंटों की एक विस्तारित प्रणाली है: लोगों से लक्ष्य लेना, संदर्भ इकट्ठा करना, काम करना, परिणामों की जाँच करना, और जब मानवीय निर्णय की आवश्यकता होती है तो एस्केलेट करना।
हमें लगता है कि यह एक नए प्रकार के संगठन की शुरुआत का प्रतिनिधित्व करता है: सेल्फ-ड्राइविंग कंपनी।
सेल्फ-ड्राइविंग कंपनी बिना लोगों वाली कंपनी नहीं है। लोग अभी भी गंतव्य चुनते हैं। वे तय करते हैं कि कौन सी समस्याएँ मायने रखती हैं, मुश्किल ट्रेड-ऑफ़ करते हैं, स्वाद का प्रयोग करते हैं, और परिणाम की जिम्मेदारी लेते हैं।
लेकिन धीरे-धीरे, वे वहाँ पहुँचने के लिए आवश्यक हर कदम नहीं उठाते हैं।
यह बदलाव पिछले साल के अंत में शुरू हुआ। AI में काम करने वाले कई लोगों की तरह, हम क्रिसमस की छुट्टी से यह महसूस करते हुए लौटे कि कुछ मौलिक बदल गया है। मॉडल बहुत लंबे क्षितिज पर काम बनाए रख सकते थे।
जो कार्य बार-बार विफल हो रहे थे, जैसे अलर्ट ट्राइएज और रूट-कॉज़ इन्वेस्टिगेशन, काम करने लगे। AI ने हमारे कुछ सबसे जिद्दी बग्स को हल करना शुरू कर दिया। इसलिए हमने एजेंटों को ऐसे उपकरणों के रूप में मानना बंद कर दिया जो किसी एडिटर या चैट विंडो के अंदर रहते हैं। हमने उन्हें सावधानीपूर्वक कंपनी के ताने-बाने में बुना।
एक बार जब इंजीनियरिंग ने मूल्य साबित कर दिया, तो अपनाने ने अपनी जान ले ली। टीम के बाद टीम ने अपने सबसे थकाऊ काम को ऑफलोड करना शुरू कर दिया, रणनीतिक और रचनात्मक सोच के लिए समय वापस पा लिया जो वास्तव में व्यवसाय को आगे बढ़ाता है। लोगों को ऐसा नहीं लगता कि उन्हें ऑटोमेटेड कर दिया गया है। उन्हें ऐसा लगता है कि उन्हें प्रमोटेड कर दिया गया है।
यह कहानी है कि कैसे AI ने Replit में हमारे काम करने के तरीके को पूरी तरह से बदल दिया है।
इंजीनियरिंग ने सबसे पहले प्रभाव देखा
जनवरी के अंत में हमने आंतरिक एजेंट उपयोग मामलों के साथ तेज़ी से प्रयोग करने के लिए बुनियादी ढाँचा चालू किया। हमने अपने एजेंट हार्नेस, microVMs, और रिमोट फ़ाइलसिस्टम बुनियादी ढाँचे का लाभ उठाया ताकि कोई भी इंजीनियर समानांतर में एजेंटों के झुंड को ऑर्केस्ट्रेट कर सके। फिर हमने पूरी चीज़ को एक्सेस पॉलिसी, टोकन प्रॉक्सी, ऑडिट लॉगिंग और अपने ZeroTrust नेटवर्क के पीछे लॉक कर दिया। उस बिंदु पर हमने एजेंट को वे सभी चीज़ें एक्सेस करने देने में सुरक्षित महसूस किया जिनका उपयोग हम अपना काम करने के लिए करते हैं: GitHub, GCP, Azure, Linear, Notion, Slack, ZenDesk, और बहुत कुछ।
सिस्टम में संदर्भ के साथ, हमने उत्पादकता में एक छलांग देखी। पिछले प्रयोग जो विफल हो रहे थे, आसान हो गए। सबसे तत्काल प्रभाव कोडिंग आँकड़ों में था।
हम मार्च में Agent 4 रिलीज़ से पहले स्प्रिंट सप्ताह में थे, जहाँ हम आमतौर पर एक बड़ी वृद्धि देखते हैं। मीटिंग्स गायब हो जाती हैं, दायरा ज्ञात होता है, और इंजीनियरिंग शुद्ध निष्पादन मोड में आ जाती है (अक्सर प्रति दिन 16 घंटे तक)। लेकिन इस बार अलग था। हमारी उत्पादकता वक्र ऊपर की ओर मुड़ी जैसा हममें से किसी ने पहले नहीं देखा था, जिसे हमारी नई आंतरिक एजेंटिक प्रणाली को अपनाने के लिए जिम्मेदार ठहराया जा सकता है। जनवरी की शुरुआत से जून के अंत तक, योगदान की गई कोड की पंक्तियों में 5.8 गुना वृद्धि हुई।
प्रति सप्ताह बदली गई कोड की पंक्तियाँ, मौजूदा बनाम नए एजेंट वर्कफ़्लो
इस वृद्धि का एक हिस्सा अच्छी हायरिंग के लिए जिम्मेदार ठहराया जा सकता है। हमारा नया एजेंट उत्पादकता के लिए समय को तेज़ करता है, जो बहुत अच्छा है, लेकिन हम साफ़ डेटा के लिए हायरिंग प्रभाव को हटा सकते हैं। लेखकों का एक सुसंगत समूह रखते हुए, हम पहले की तुलना में 2.9 गुना अधिक कोड देखते हैं। परंपरागत रूप से, इसे उत्कृष्ट माना जाता है यदि आप टीम को स्केल करते समय प्रति इंजीनियर आउटपुट को स्थिर रखते हैं। हमने टीम को दोगुना करते हुए प्रति इंजीनियर दर को तीन गुना कर दिया।
आप सोच रहे होंगे कि यह सब नया कोड कौन समीक्षा कर रहा है और क्या हमने समीक्षा प्रक्रिया में एक नई अड़चन पैदा कर दी है। हमारी कोड समीक्षा विलंबता स्थिर है, मुख्यतः क्योंकि हमने अपने एजेंट को कोड की समीक्षा करने में लगा दिया है। यह अब जोखिम के स्तर का आकलन करने में सक्षम है और केवल ज़रूरत पड़ने पर दूसरे मानव समीक्षक को बुलाता है। इसका मतलब है कि 30% (और बढ़ रहा है) मानव PR समीक्षा समय बच गया है।
हमारे एजेंट के अधिक कोड लिखने और समीक्षा करने के साथ, हमें गुणवत्ता के बारे में चिंतित होना चाहिए। यदि हम PR रिवर्ज़न दरों (बाएँ) और खोली गई घटनाओं को देखें, तो रुझान स्थिर हैं। इसका मतलब है कि हम वास्तव में सापेक्ष आधार पर सुधार कर रहे हैं।
एक कारण यह है कि ये प्रक्रियाएँ भी एजेंट-सहायता प्राप्त हैं। मानव कोड समीक्षाओं को एक एजेंटिक सह-समीक्षक का लाभ मिलता है, इसलिए अधिक बग पकड़े जाते हैं। घटना जाँच (सार्थक बग या वास्तविक घटनाएँ) एक एजेंट द्वारा सहायता प्राप्त होती है जो मूल कारण खोजने का प्रयास करता है, इसलिए शमन का औसत समय (MTTM) कम हो रहा है।
अंतिम परीक्षण यह है कि क्या अतिरिक्त कोड इनपुट वास्तविक मूल्य आउटपुट का प्रतिनिधित्व करते हैं। दिन के अंत में, इंजीनियरिंग उपयोगकर्ताओं के लिए सुविधाएँ प्रदान कर रही है। हम Linear में प्रोजेक्ट ट्रैक करते हैं ताकि सेल्स और मार्केटिंग टीमों को पता चले कि नई सुविधाओं के बारे में उपयोगकर्ताओं से कब संवाद करना है। आप देख सकते हैं कि प्रोजेक्ट पूर्णता दर हमारी कोडिंग मात्रा के साथ तेज़ी से बढ़ रही है।
एक सेल्फ-ड्राइविंग इंजीनियरिंग टीम अधिक भेज सकती है, साथ ही गुणवत्ता भी बढ़ा सकती है।
हमारा एजेंट ऑफ एजेंट्स बड़े पैमाने पर लूप इंजीनियरिंग को सक्षम कर रहा है
ज़ूम इन करने से हमें यह अंदाज़ा मिलता है कि यह कैसा दिखता है। जब इंजीनियर लूप उत्पन्न करने के तरीके खोजते हैं, एक सत्यापनीय कार्य को पूरा करने के लिए एजेंटों का एक बेड़ा भेजते हैं, तो हम सबसे नाटकीय बदलाव देखते हैं। प्रत्येक कर्मचारी को एक मैनेजर एजेंट तक पहुँच मिलती है जो कई एजेंटों को जन्म दे सकता है, जो आपकी ओर से लूप में काम करने वाले एजेंटों के ऑर्केस्ट्रेशन को सक्षम बनाता है। लूप के परिणामस्वरूप कुछ बहुत ही अनोखे PR ग्राफ़ बने, जैसे ये:
एक इंजीनियर ने हमारे CSS सिस्टम के एक लंबे समय से अटके माइग्रेशन को पूरा किया और अपनी सीख साझा की। एक अन्य इंजीनियर ने एक माइग्रेशन को स्वचालित किया जिसने हमें उत्पाद को स्थानीयकृत करने में सक्षम बनाया। एक तिहाई ने फ़्लिकी टेस्ट रखरखाव को स्वचालित किया। हमारे CTO ने अंततः PSC और fd शटडाउन से संबंधित हमारे सबसे कठिन नेटवर्किंग बग्स में से एक को एजेंटों के एक झुंड के साथ क्रैक किया। संभव के बारे में हमारी सभी धारणाएँ बदल गई हैं।
सबसे रोमांचक सेल्फ-ड्राइविंग उदाहरण हमारी AI टीम से आता है। उन्होंने एक निरंतर सीखने की प्रणाली बनाई जो उपयोगकर्ता प्रतिक्रिया का विश्लेषण करती है, सुधार प्रस्तावित करती है, और जीत को मान्य करने के लिए बेंचमार्क और A/B परीक्षणों के संयोजन का उपयोग करती है। Replit Agent स्वयं में सुधार कर रहा है!
बिल्ड बनाम खरीदारी की बातचीत बदल गई है
हमारे नए आंतरिक एजेंट ने इस बारे में बातचीत को भी बदल दिया कि हम सॉफ़्टवेयर बनाते हैं या खरीदते हैं। हम नियमित रूप से नए AI टूलिंग आज़माते हैं। समाधान खरीदने से हमें तेज़ी से आगे बढ़ने में मदद मिल सकती है, और हम बाज़ार का लगातार आकलन भी करते हैं। लेकिन जितना अधिक हम बनाते हैं, हमें यह उतना ही कम करने की आवश्यकता होगी। हमारा आंतरिक एजेंट अब उन उत्पादों से बेहतर प्रदर्शन करता है जिनका हम परीक्षण करते हैं और जिन्हें बाज़ार में अग्रणी माना जाता है। हमने अभी-अभी एक सात-अंकीय SaaS समाधान से नाता तोड़ा क्योंकि हमारा आंतरिक ऐप, जो पूरी तरह से Replit में बनाया गया था, बेहतर था और कर्मचारी उस पर स्थानांतरित हो गए थे।
अचानक, उपकरण ऐसा लगने लगे जैसे वे हमारे लिए बनाए गए हों। हमारे ज्ञानकोषों के साथ गहरा एकीकरण, और हमने जो अनुकूलन किया है, उसने अन्य समाधानों को घटिया महसूस कराया।
जिस बात ने हमें अधिक आश्चर्यचकित किया वह यह थी कि हमारे आंतरिक एजेंट ने हमारे द्वारा मूल्यांकन किए गए विशिष्ट उत्पादों को भी पीछे छोड़ दिया। इंजीनियरों को अलर्ट ट्राइएज और रूट-कॉज़ घटनाओं में मदद करने का एक उपकरण समान गुणवत्ता के साथ आया लेकिन हमारे एजेंट पर इसे चलाने की लागत से 10 गुना अधिक। एक उपकरण जो स्वचालित पैठ परीक्षण चलाता है, उसने हमारे आंतरिक संस्करण की तुलना में 10 गुना अधिक लागत पर कम कमज़ोरियाँ पाईं। हमारे दोनों संस्करणों को आसानी से उत्पादन में लगाया गया, जिससे घटनाओं में MTTM कम हुआ और हमले के खिलाफ महत्वपूर्ण प्रणालियों को कठोर बनाया गया।
हम अभी भी कितना सीख रहे हैं, और मॉडल कैसे सुधर रहे हैं, इसके साथ यह स्पष्ट है कि यह केवल शुरुआत है।
इंजीनियरिंग से परे और पूरे व्यवसाय में
एक सेल्फ-ड्राइविंग कंपनी इंजीनियरिंग पर नहीं रुकती। Replit का हर कार्य बदल रहा है।
उपयोग इंजीनियरिंग से तेज़ी से फैल गया, मुख्यतः Slack इंटरफ़ेस के कारण। बाकी कंपनी ने देखा कि इंजीनियर हमारे एजेंट को कार्यों के साथ टैग कर रहे हैं और उन्होंने स्वयं इसे आज़माया। शुरुआत में, सबसे लोकप्रिय उपयोग मामला सवाल पूछना था। हमारे ज्ञानकोष को कोड बेस की स्थिति के साथ जोड़कर, कोई भी इंजीनियरिंग इनपुट की प्रतीक्षा किए बिना उत्पाद अपेक्षाओं को स्पष्ट कर सकता था। वे कर्मचारी फिर एक अनुवर्ती के रूप में कॉपी या दस्तावेज़ीकरण को ठीक कर सकते थे। यह उपयोगकर्ताओं को तेज़ी से जवाब देने में सक्षम होने में तत्काल बढ़ावा था।
लेकिन यह सिर्फ शुरुआत थी। वहाँ से, कंपनी के सभी हिस्सों से नए कौशल और एकीकरण के योगदान आने लगे।
पहला बड़ा अनलॉक हमारी डेटा टीम से आया। उन्होंने एजेंट को हमारे डेटा वेयरहाउस पर एक सिमेंटिक लेयर दिया, ताकि उसे पता चले कि कौन सी टेबल सत्य के स्रोत हैं और वे एक दूसरे से कैसे संबंधित हैं।
अब Replit में कोई भी बिज़नेस इंटेलिजेंस प्रश्न पूछ सकता है और एक विश्वसनीय उत्तर प्राप्त कर सकता है। वे लाइव डेटा से चार्ट और प्रस्तुतियाँ बना सकते हैं (इस पोस्ट में हर चार्ट सहित)। डेटा टीम अपना समय सबसे कठिन समस्याओं पर गहराई से जाने में बिताती है, अनुरोधों को संभालने के बजाय। हाल ही में, एक PM जटिल लॉन्च विश्लेषण स्वयं-सेवा करने में सक्षम था क्योंकि हमारा एजेंट कोडबेस में घटनाओं को समझता है, वे हमारे ग्राहक डेटा प्लेटफ़ॉर्म में कैसे दिखाई देते हैं, और उन्हें जटिल सब्सक्रिप्शन स्थितियों के साथ कैसे जोड़ा जाए।
सेल्स को भी वही लाभ मिला। सेल्स डेवलपमेंट टीम एजेंट का उपयोग उत्पाद योग्य लीड खोजने और समृद्ध करने के लिए करती है, आंतरिक ज्ञान पर आकर्षित करती है जिसे अधिक सामान्य उपकरण नहीं देख सकते, ताकि आउटरीच अधिक संदर्भ के साथ पहुँचे। अकाउंट एग्जीक्यूटिव इसका उपयोग ग्राहक वार्तालापों की तैयारी के लिए करते हैं ताकि यह समझ सकें कि किसे सबसे अधिक मूल्य मिल रहा है, कौन से प्रोजेक्ट सबसे अधिक सक्रिय हैं, और क्रेडिट उपयोग उनके अनुबंध के विरुद्ध कैसे ट्रैक करता है। यह सब फिर खाते के अनुकूल ब्रांडेड Slides में पैक किया जाता है। एक सेल्फ-ड्राइविंग सेल्स टीम के अपने ग्राहकों के साथ अधिक, उच्च गुणवत्ता वाले टचपॉइंट होते हैं।
हमारी मार्केटिंग टीम एजेंट का उपयोग इंजीनियरिंग और उत्पाद के प्रोडक्ट्स में बातचीत और दस्तावेज़ों के आधार पर एक ही प्रॉम्प्ट के साथ स्क्रैच से प्रोडक्ट स्पेक तैयार करने के लिए कर सकती है। यह उन्हें हर एक मीटिंग में रहे बिना, लॉन्च पर जल्दी चलना शुरू करने और अप-टू-डेट रहने की क्षमता देता है। उनके पास योजना बनाने और रचनात्मक होने के लिए अधिक समय होता है, जो यह सुनिश्चित करेगा कि जब हमारे रिलीज़ दुनिया में हों तो उनका अधिक प्रभाव हो।
हमारी सपोर्ट टीम ने एजेंट को मुद्दों की जाँच करने और मानक प्लेबुक का पालन करने का कौशल दिया। यह हमारी मानक ग्राहक सेवा आवाज़ में प्रतिक्रिया देने, या टिकट और जाँच के सारांश के साथ इंजीनियरिंग को एस्केलेट करने का विकल्प चुन सकता है। एक सेल्फ-ड्राइविंग सपोर्ट टीम सबसे कठिन टिकट (जो मनुष्यों को एस्केलेट किए गए हैं) को 60% तेज़ी से बंद करती है। उपयोगकर्ता जल्दी निर्माण पर वापस आ जाते हैं।
हर उदाहरण में, मानव को स्वचालित नहीं किया गया। उन्हें प्रमोट किया गया। सेल्फ-ड्राइविंग करने वालों को निर्देशकों में बदल देता है, और जो लोग फल-फूल रहे हैं वे हैं जो परिणामों में सोचते हैं और दिशा निर्धारित करते हैं। यह अब सबसे मूल्यवान काम है।
—
आगे कहाँ?
खुद को अधिक उत्पादक बनाना रोमांचक है, लेकिन जो चीज़ वास्तव में Replit के लोगों को प्रेरित करती है वह है प्रौद्योगिकी का लोकतंत्रीकरण।
हम काम करने के इस नए तरीके को अपने सभी उपयोगकर्ताओं तक लाना चाहते हैं। हम यह सुनिश्चित करने के लिए कड़ी मेहनत कर रहे हैं कि हम इसे बड़े पैमाने पर तैनात करने के लिए आवश्यक नीति, अनुमतियाँ, सुरक्षा और लागत नियंत्रण के साथ कर सकें। Replit के सबसे सक्रिय उपयोगकर्ता उद्यमी और एंटरप्राइज़ उपयोगकर्ता हैं जो वास्तविक व्यवसाय बना रहे हैं। सेल्फ-ड्राइविंग को सुरक्षा उपायों की आवश्यकता है जो उन उपयोगकर्ताओं को पूरा करने के लिए स्केल कर सकें।
हम अभी वह बनाने के लिए कड़ी मेहनत कर रहे हैं।
उपरोक्त सभी ग्राफ़ को देखते हुए, आपको लंबा इंतज़ार नहीं करना पड़ेगा।
