तो आप AI रिसर्च करना चाहते हैं? यह सच है कि कोई वास्तव में आपको यह नहीं सिखाता कि यह कैसे करना है। सीधे तौर पर तो नहीं ही। लेकिन पता चलता है कि शुरुआत करने का तरीका काफी सरल है: (i) पढ़ना और (ii) चीज़ें बनाना, इन दोनों का कुछ संयोजन। आप एक के बिना दूसरा नहीं कर सकते। आप इन दोनों के संयोजन से एक शोधकर्ता बनते हैं।
पता चलता है कि एक महान शोधकर्ता बनने की प्रक्रिया ध्यान करना सीखने से बहुत अलग नहीं है:
I.
एक पुरानी ज़ेन कहावत है जो कुछ इस तरह है –
*जिन दिनों हमें अंतर्दृष्टि मिलती है, हम बैठते हैं। जिन दिनों हमें अंतर्दृष्टि नहीं मिलती, हम बैठते हैं।*
शोध करना मूल रूप से इसी तरह है। वैज्ञानिक अंतर्दृष्टियाँ बेतरतीब ढंग से आ सकती हैं। ज़्यादातर दिन वे नहीं आएँगी। सफलता के लिए एक महत्वपूर्ण गुण केवल समय और प्रयास लगाना है। किसी भी अन्य प्रयास (संगीत, खेल, बिक्री, आदि) की तरह, अगर आप विश्व स्तरीय बनना चाहते हैं, तो इसमें जबरदस्त अनुशासन लगेगा।
Noam Shazeer ने SwiGLU पेपर में सफल शोध विचारों की अंतर्निहित यादृच्छिकता के प्रति एक अच्छा संकेत दिया है:
“हम इस बात का कोई स्पष्टीकरण नहीं देते कि ये आर्किटेक्चर काम क्यों करते प्रतीत होते हैं; हम उनकी सफलता का श्रेय, बाकी सब चीज़ों की तरह, दैवीय कृपा को देते हैं।”
एक संबंधित टिप्पणी यह है कि बहुत सारे पेपर पढ़ना भी संभव है। यदि आप किसी समस्या को हल करना चाहते हैं, तो सफलता का आजमाया हुआ रास्ता यह है कि एक समाधान का प्रयास करें, उसे आज़माएँ, एक अड़चन पर पहुँचें, उसे हल करने का प्रयास करें, और तभी साहित्य की ओर रुख करें जब आपके पास खुद कोई विचार न बचे।
II.
अच्छा, तो मुझे किस पर काम करना चाहिए?
अगर आप अभी शुरुआत कर रहे हैं, तो यहाँ मेरा ईमानदार जवाब है: मुझे नहीं लगता कि सटीक विषय ज़्यादा मायने रखता है।
लेकिन, मैं आपको छह महीने से कम समय से लोकप्रिय चीज़ों को चुनने के खिलाफ चेतावनी दूँगा। AI तेज़ी से आगे बढ़ता है, लेकिन मौलिक विचार चालीस वर्षों में नहीं बदले हैं। अगर आप इससे करियर बनाना चाहते हैं, तो मैं आपको 2026 की अवधारणाओं: हार्नेस, एजेंट, कॉन्टेक्स्ट इंजीनियरिंग, आदि के बारे में बहुत ज़्यादा सोचने की सलाह नहीं दूँगा। ये बदल जाएँगी।
इसके बजाय, आप बुनियादी बातों पर वापस जाकर और अधिक सीखेंगे: जानें क्रॉस-एंट्रॉपी क्या है। एक छोटे वितरण के लिए इसे हाथ से गणना करें। SVD को गहराई से समझें, इस हद तक कि आप इसे अपने दिमाग में देखना शुरू कर सकें। विशेष रूप से कोडिंग के लिए RL के बारे में बहुत मत सोचिए, इसके बजाय पॉलिसी ग्रेडिएंट्स के पीछे के विचारों को सीखें, वे क्यों उपयोगी हैं, और वे दशकों से लोकप्रिय क्यों हैं।
एक और मेटा-टिप्पणी: यदि आपके शोध प्रोजेक्ट का सबसे अच्छा संभावित परिणाम किसी मौजूदा बेंचमार्क पर उच्च स्कोर है, तो आप पर्याप्त गहराई तक नहीं जा रहे हैं। अक्सर, मौजूदा डेटासेट नई दिलचस्प क्षमताओं का परीक्षण नहीं करेंगे।
Jason Wei इसी तरह की बात कहते हैं:
AI शोध में एक कम सराहा गया लेकिन कभी-कभी निर्णायक कौशल (जो दस साल पहले वास्तव में अस्तित्व में नहीं था) एक ऐसा डेटासेट खोजने की क्षमता है जो वास्तव में आपके द्वारा काम किए जा रहे एक नए तरीके का अभ्यास करता है।
एक ठोस सुझाव के लिए, मैं एक नहीं दे सकता; वह आपको ही आना होगा। गहराई में जाएँ, बुनियादी बातों पर ध्यान दें, और बेंचमार्क का पीछा न करें। पानी में रहें और विचार आएँगे।
III.
शुरुआती के मन में कई संभावनाएँ होती हैं; विशेषज्ञ के मन में कुछ होती हैं – सुजुकी
इन दिनों सिलिकॉन वैली में अक्सर यह दोहराया जाता है कि AI शोध में अनुभव वास्तव में आधुनिक समय में अच्छे शोध अंतर्ज्ञान के लिए प्रतिकूल हो सकता है। मैंने इसका कुछ हिस्सा करीब से देखा है; प्री-स्केलिंग-युग के कई शोधकर्ता ऐसी विधियाँ डिज़ाइन करने में रुचि रखते हैं जो छोटे पैमाने पर काम करती हैं लेकिन बड़े पैमाने पर परीक्षण करने पर स्पष्ट रूप से विफल हो जाएँगी।
OpenAI के बारे में एक वास्तव में प्रभावशाली बात यह है कि कंपनी चलाने वाले अधिकांश लोग (कम से कम तकनीकी पक्ष पर) 35 वर्ष से कम उम्र के हैं। ChatGPT के पीछे कई महत्वपूर्ण निर्णयकर्ता 30 वर्ष से कम उम्र के हैं। इससे हम एक बात सीख सकते हैं कि चूँकि AI इतना नया क्षेत्र है (ChatGPT चार साल से भी कम पुराना है!) किसी को कोई बड़ा लाभ नहीं है, क्योंकि कोई भी इस पर बहुत लंबे समय से काम नहीं कर रहा है।
संक्षेप में, विचारों को बहुत लंबे समय तक पकड़े रहना वास्तव में प्रतिकूल हो सकता है। शुरुआती के मन का अभ्यास करें। खुले रहें और अहंकार को अपने निर्णय को धूमिल न करने दें।
IV.
प्रेरणा तब आती है जब आपको इसकी कम से कम उम्मीद होती है।
यहाँ इतिहास से दो उदाहरण हैं:
- बेंजीन रिंग की संरचना की खोज प्रसिद्ध रूप से एक सपने में हुई थी: यह संरचना पहले कभी नहीं देखी गई थी, लेकिन एक साँप के रूप में कल्पना की गई थी जो अपनी ही पूंछ काट रहा हो।
- Ozempic मूल रूप से छिपकलियों से आता है। जिस GLP-1 हार्मोन की यह नकल करता है, वह पहली बार गिला मॉन्स्टर के जहर में पाया गया था, जो एक रेगिस्तानी छिपकली है जो साल में केवल कुछ ही बार खाती है। किसी तरह हमने यह पता लगा लिया कि इसे मनुष्यों के लिए भी कैसे काम में लाया जाए।
एक महत्वपूर्ण सीख यह है कि अच्छा शोध करने के लिए, आपको शोध के अलावा अन्य काम भी करने चाहिए। मेरी अधिकांश व्यक्तिगत "अहा पल" कीबोर्ड से दूर हुए, खासकर जब मैं सैर पर जाता था।
डार्विन, टेस्ला, फेनमैन, अरस्तू। इतिहास के कई महान विचारकों ने पैर फैलाने और थोड़ी सैर पर जाने के अत्यधिक लाभों की घोषणा की। भले ही आप शोध न करें, आपको शायद अधिक सैर पर जाना चाहिए।
V.
भले ही प्रेरणा मिले, प्रकृति दयालु नहीं हो सकती: एक आदर्श कार्यान्वयन के बावजूद, हमारा विचार किसी मौलिक अर्थ में सत्य नहीं हो सकता है। या शायद वह था, या प्रतीत होता है। जब परिणाम आते हैं, तो हमें कैसे प्रतिक्रिया देनी चाहिए?
एक और सिद्धांत जो हम ज़ेन से उधार ले सकते हैं, वह है (प्रयोगात्मक) समभाव।
एक प्रयोग का विश्लेषण करते समय:
क्या यह अच्छा रहा? बढ़िया!
क्या यह खराब रहा? बढ़िया ही!
दोनों परिणाम आपको समान मात्रा में जानकारी सिखाते हैं। वास्तव में, नकारात्मक परिणामों की एक श्रृंखला से एक सकारात्मक परिणाम की तुलना में अधिक सीखना अक्सर संभव होता है। "वाह, यह अभी भी काम नहीं कर रहा है – अविश्वसनीय!" अब यह शोध के लिए एक स्वस्थ दृष्टिकोण है।
इसका विपरीत यह है कि आपको अच्छे परिणामों को लेकर इतना उत्साहित नहीं होना चाहिए। वास्तव में, अधिकांश अच्छे परिणाम किसी बग के कारण आते हैं; ऐसा नहीं है कि परिणाम स्वयं अच्छे थे, बल्कि यह है कि आपने गलत माप किया, और खुद को आश्वस्त कर लिया। हर कोई चाहता है कि उनके विचार काम करें – और यह एक अच्छी बात है! – लेकिन एक चीज जो सभी अनुभवी शोधकर्ता साझा करते हैं, वह है अत्यधिक संशयवाद, विशेष रूप से उन परिणामों के सामने जो सच होने के लिए बहुत अच्छे लगते हैं। दुर्भाग्य से, वे लगभग हमेशा होते हैं।
VI.
एक फूल अपने बगल के फूल से प्रतिस्पर्धा करने के बारे में नहीं सोचता। वह बस खिलता है।
शोध अत्यंत परिणाम-उन्मुख है। विशेष रूप से शिक्षा जगत में, कागज पर दूसरों की सफलताओं को देखना और भावनाओं में बहना आसान है।
लोग विभिन्न कारणों से सफल होते हैं। कुछ लोग भाग्यशाली होते हैं। विशेष रूप से शैक्षणिक समीक्षा प्रक्रिया, न तो सुसंगत है और न ही निष्पक्ष। जब आपके क्षेत्र में कोई नया शोध सामने आता है जिसकी आप प्रशंसा करते हैं, तो अपने आप से निम्नलिखित प्रश्न पूछें:
क्या मैं स्वयं यह अंतर्दृष्टि प्राप्त करने के लिए गहराई के उचित स्तर पर काम कर रहा हूँ?
अब दो संभावित परिणाम हैं। यदि उत्तर हाँ है – बढ़िया। आपकी प्रक्रिया सही है, लेकिन आपने यह खोज नहीं की; आप व्यस्त थे, आप कुछ और कर रहे थे, लेकिन आप कर सकते थे।
और यदि उत्तर नहीं है – तो इसे और गहराई में जाने की प्रेरणा के रूप में लें। .5प्टर…… तोड़ो, पानी ढोओ। ज्ञान के बाद भी लकड़ी तोड़ो, पानी ढोओ। पीछे घंटों की कड़ी मेहनत शामिल होती है। Andrej Karpathy ने ImageNet का एक गैर-तुच्छ हिस्सा हाथ से लेबल किया। SWEBench के रचनाकारों ने, जो कई मायनों में अपने समय से आगे थे, मूल्यांकन के लिए उपयोगी GitHub मुद्दों का एक छोटा, प्रबंधनीय सेट प्राप्त करने के लिए GitHub डेटा को श्रमपूर्वक फ़िल्टर करने में सैकड़ों घंटे बिताए।
यदि आप महान शोधकर्ताओं के करियर को देखते हैं, तो संभावना है कि उन्होंने सफलता पाने से पहले गुमनामी में काम करते हुए बहुत समय बिताया। इसकी आदत डालें। कोई विचार जितना अधिक महत्वाकांक्षी और दूरदर्शी होता है, उसे पूरी तरह से लागू करने और मूल्यांकन करने में उतना ही अधिक काम लग सकता है। यह कठिनाई एक विशेषता है, बग नहीं।
VIII.
Collin Raffel, एक अद्भुत शोधकर्ता जिनका मैं गहराई से सम्मान करता हूँ, ने एक बार उल्लेख किया था कि उन्हें लगता है कि कई विचार इसलिए विफल होते हैं क्योंकि वे बुरे विचार हैं, बल्कि इसलिए कि कोड में एक बग है जो शोधकर्ता को कभी नहीं मिला।
सामान्य तौर पर यह वास्तव में एक कठिन समस्या है, विशेष रूप से LLM की दुनिया में। एक आधुनिक डीप लर्निंग सॉफ्टवेयर स्टैक अत्यंत जटिल है, और बग कहीं भी हो सकते हैं: प्रशिक्षण में, अनुमान में, हार्नेस में, डेटा में।
यदि कुछ गलत लगता है, तो आप आगे नहीं बढ़ सकते। आप कई मीट्रिक को लॉग कर सकते हैं और उन सभी को समझने का प्रयास करना चाहिए। यदि कुछ मीट्रिक आपकी अपेक्षा से भिन्न दिखते हैं, तो आपको यह पता लगाने की आवश्यकता है कि क्यों, क्योंकि कुछ गलत हो सकता है। मैंने पहले ट्वीट किया है कि एक शोधकर्ता में सबसे महत्वपूर्ण गुणों में से एक स्वस्थ व्यामोह है। व्यामोही बनें!
IX.
एक व्यावहारिक बात यह है कि डीप लर्निंग से जुड़े अधिकांश प्रयोगों में बहुत समय लगता है। मॉडलों को प्रशिक्षित करने में हफ्ते या महीने लग सकते हैं। इन दिनों, एक ही कार्य पर एक मॉडल का मूल्यांकन करने में कई दिन लग सकते हैं।
विशेष रूप से एजेंटों के साथ कोडिंग करते समय, हमारी प्रवृत्ति समानांतर में कई प्रयोग शुरू करने और उन सभी को धीमी गति से चलने देने की हो सकती है। यद्यपि सरल समानांतरीकरण कुछ हद तक मदद करता है, संदर्भ स्विचिंग एक हानिकारक पैटर्न है।
यह अत्यंत महत्वपूर्ण है कि आप एर्गोनोमिक शोध वर्कफ़्लो डिज़ाइन करें जो तेज़ प्रयोगात्मक फीडबैक का समर्थन करते हैं। प्रशिक्षण के लिए कोल्ड-स्टार्ट समय को छोटा करें, छोटे मूल्यांकन बनाएं जो जल्दी से परिणाम लौटाते हैं। मैं वास्तव में Keller Jordan के nanoGPT स्पीडरन की प्रशंसा करता हूँ, जो इस बात का उदाहरण है कि हम तेज़ पुनरावृत्ति चक्रों से कितना कुछ सीख सकते हैं।
(हालांकि, अंत में, कुछ परिणामों में अपरिहार्य रूप से लंबा समय लगता है। जब आप कर सकते हैं, तो कई दिनों तक स्थिति बनाए रखना और पिछले सप्ताह के प्रयोगों को समझना जब वे आज समाप्त होते हैं, एक अविश्वसनीय रूप से उपयोगी कौशल है।)
X.
कोडिंग एजेंट आपको तेज़ी से आगे बढ़ने में मदद करते हैं, लेकिन वे दो समस्याओं को और खराब करते हैं: हमारे लिए बुनियादी विवरणों को समझना कठिन हो जाता है, और हम अधिक बार संदर्भ स्विच करते हैं। एक अच्छा शोधकर्ता सक्रिय रूप से दोनों बलों के खिलाफ लड़ने का काम करता है।
Codex आपके लिए एक प्रशिक्षण स्क्रिप्ट लिख सकता है; यह स्क्रिप्ट को निष्पादित भी कर सकता है, चलने के दौरान उसकी देखभाल कर सकता है, परिणामों की व्याख्या कर सकता है, और उन्हें आपको एक ईमेल में भेज सकता है। लेकिन हो सकता है कि उसे एक त्रुटि का सामना करना पड़ा हो और उसने आपसे पूछे बिना सिस्टम प्रॉम्प्ट को छोटा कर दिया हो। हो सकता है कि उसने एक उचित समय में मूल्यांकन चलाने के लिए अनुक्रम लंबाई कम कर दी हो। हो सकता है कि उसने गलत कॉन्फ़िगरेशन चलाया हो क्योंकि आपने निर्दिष्ट नहीं किया था।
इंजीनियरिंग के दृष्टिकोण से, ये सभी छोटी त्रुटियाँ हैं जिनका आसान समाधान है। लेकिन वैज्ञानिक दृष्टिकोण से, ये गंभीर हैं: इस तरह की छोटी चूकें पेपरों के महत्वपूर्ण परिणामों को भौतिक रूप से बदल सकती हैं और इसलिए स्वीकार्य नहीं हैं। ड्रैगन से सावधान रहें। भले ही आपने कोड नहीं लिखा हो, यदि आप अपने परिणामों को समझना चाहते हैं, तो आपको उस सिस्टम को समझने की आवश्यकता है जिसने उन्हें उत्पन्न किया।
मैं आपसे सीधे बात करूँगा – यह कठिन है! समझ को मशीन को आउटसोर्स करना आकर्षक है। कई अनुप्रयोगों के लिए, यह तेज़ है। लेकिन अच्छा विज्ञान करने के लिए यह सीखना आवश्यक है कि पूरा सिस्टम कैसे काम करता है, ताकि आप सुनिश्चित हो सकें कि इसके बारे में अवलोकन सत्य हैं। इसके आसपास कोई आसान तरीका नहीं है।
XI.
संक्षेप में: सफल शोधकर्ता बनने के लिए केवल प्रतिभा ही पर्याप्त नहीं है। स्वभाव की बहुत कम सराहना की जाती है। जिज्ञासु और दृढ़ रहें, विचारशील और सावधान रहें, और विचार आएँगे।
