वर्तमान में प्रचलित कहानी यह है कि ओपन सोर्स एंटरप्राइज को खा रहा है। सबसे अच्छे क्लोज्ड और ओपन मॉडल के बीच क्षमता का अंतर कम होकर एकल अंकों में आ गया है। Fortune 500 की एक तिहाई कंपनियों के Hugging Face पर सत्यापित खाते हैं, चीनी लैब हर कुछ हफ्तों में फ्रंटियर-एडजेसेंट मॉडल ओपन वेट के साथ जारी कर रही हैं, और इन्फ्रेंस प्रदाता जबरदस्त काम कर रहे हैं।
इस बीच, Decagon में, हम अब अपने ~90% वर्कलोड OpenAI या Anthropic के बजाय ओपन सोर्स मॉडल पर चलाते हैं। यह अधिकांश हाइपरग्रोथ ऐप कंपनियों के अनुरूप है और हम देख रहे हैं कि हम जिन बड़े एंटरप्राइजेज के साथ काम करते हैं, वे भी इस दिशा में आगे बढ़ रहे हैं।
और फिर भी समग्र एंटरप्राइज खर्च विपरीत दिशा में जा रहा है। ओपन सोर्स मॉडल एंटरप्राइज LLM खर्च में गिरकर सिर्फ 11% रह गए हैं, जो एक साल पहले 19% था।
लोकप्रिय कथा के विपरीत, रुझान वास्तव में दूसरी दिशा में जा रहा है। ऐसा क्यों है और भविष्य के लिए इसका क्या मतलब है?
पहले, कुछ संदर्भ कि हम 90% ओपन सोर्स क्यों हैं। यह लागत के कारण नहीं था, और ऐसा इसलिए नहीं था क्योंकि हमारे ग्राहकों ने इसकी मांग की थी (हालांकि उन्हें इससे कोई आपत्ति नहीं है)। ऐसा इसलिए था क्योंकि हमारे पास कोई दूसरा विकल्प नहीं था।
जब आप ग्राहक सेवा के लिए प्रोडक्शन में AI एजेंट चला रहे हैं, तो विलंबता उत्पाद को बना या बिगाड़ देती है। एक ऐसी बातचीत जहां हर बारी में 8 सेकंड लगते हैं, कोई भी उत्पाद का उपयोग नहीं करेगा। इसलिए आपको छोटे, तेज़ मॉडल चाहिए। प्रत्येक मॉडल कॉल को लिथुआनिया की राजधानी या हाई स्कूल भौतिकी जानने की आवश्यकता नहीं है।
लेकिन आउट ऑफ द बॉक्स छोटे मॉडल उस गुणवत्ता स्तर के लिए पर्याप्त नहीं हैं जिसके लिए हमारे ग्राहक हमें जिम्मेदार ठहराते हैं। वे केवल सटीक कार्य पर भारी फाइन-ट्यूनिंग के माध्यम से वहां पहुंचते हैं। फ्रंटियर लैब वास्तव में यह संयोजन नहीं बेचते हैं। आप उनके सबसे अच्छे मॉडल को उस तरह से फाइन-ट्यून नहीं कर सकते जिस तरह हमें चाहिए, और उनके छोटे मॉडल हमारे आकार देने के लिए नहीं हैं। छोटा + फाइन-ट्यून का मतलब है ओपन वेट। लागत बचत वास्तविक है लेकिन गौण है, और सेल्फ-होस्टेड मॉडल के साथ एंटरप्राइज की सहजता एक अच्छा साइड इफेक्ट है, कारण नहीं।
तो हमारी जैसी कंपनी 90% ओपन सोर्स क्यों है जबकि व्यापक एंटरप्राइज संख्या घट रही है?
इसका उत्तर उपयोग के मामले की परिपक्वता है। जब कोई उपयोग का मामला नया होता है, तो आप सबसे स्मार्ट सामान्य-उद्देश्य वाला मॉडल चाहते हैं जो आपको मिल सके। आप अभी तक समस्या का आकार नहीं जानते हैं, इसलिए आप उस बुद्धिमत्ता के लिए प्रीमियम का भुगतान करते हैं जिसकी आपको अंततः आवश्यकता नहीं हो सकती है। उस चरण में यह सही व्यापार है। लेकिन एक बार जब उपयोग का मामला पूरी तरह से विकसित हो जाता है, जब आप इनपुट के वितरण, आवश्यक व्यवहार और विफलता मोड को जानते हैं जिनसे बचाव करना है, तो व्यापार उलट जाता है। अब सामान्य बुद्धिमत्ता ओवरहेड है, और आप सबसे छोटा, सबसे तेज़ मॉडल चाहते हैं जो आपके विशिष्ट काम को बेहद अच्छी तरह से करने के लिए फाइन-ट्यून किया गया हो।
ग्राहक सेवा उद्योग में सबसे स्पष्ट AI उपयोग के मामलों में से एक है। अच्छी तरह से समझे जाने वाले वर्कफ़्लो, भारी मात्रा में बातचीत, कड़े गुणवत्ता मानक। जिसका मतलब है कि हम जैसी कंपनियां औसत एंटरप्राइज डिप्लॉयमेंट की तुलना में वक्र पर बस आगे हैं।
और यही विरोधाभास का समाधान है। ओपन सोर्स शेयर के गिरने का कारण यह नहीं है कि ओपन सोर्स हार रहा है। यह है कि एंटरप्राइज AI समग्र रूप से परिपक्वता वक्र की शुरुआत में है। पिछले साल एंटरप्राइजेज ने निर्माण करना बंद कर दिया और खरीदना शुरू कर दिया, और एक साथ हजारों ब्रांड नए उपयोग के मामले शुरू हो गए। नए उपयोग के मामले फ्रंटियर मॉडल पर चलते हैं, इसलिए क्लोज्ड शेयर में विस्फोट हुआ। 11% एक हर समस्या है: अपरिपक्व उपयोग के मामलों का पूल परिपक्व लोगों की तुलना में तेजी से बढ़ रहा है।
यदि यह सही है, तो आज फ्रंटियर मॉडल पर प्रोटोटाइप किया जा रहा हर उपयोग का मामला भविष्य का ओपन सोर्स माइग्रेशन है। जैसे-जैसे डिप्लॉयमेंट परिपक्व होते हैं, कंपनियां वही करेंगी जो हमने किया: डिस्टिल, फाइन-ट्यून, स्पेशलाइज। फ्रंटियर लैब डिस्कवरी का मालिक बना रहेगा। ओपन सोर्स तेजी से प्रोडक्शन का मालिक बनेगा।
हालांकि, इसमें लोगों के विचार से अधिक समय लगेगा। अधिकांश उपयोग के मामले उस बिंदु पर नहीं हैं जहां एजेंट का "आकार" अंतिम रूप दिया गया हो ताकि ओपन सोर्स मॉडल को फाइन-ट्यून करना शुरू करना समझ में आए।
फाइन-ट्यूनिंग में प्रयास लगता है, और अधिकांश संगठनों के पास इसे करने के लिए संसाधन या विशेषज्ञता नहीं है। उपयोग के मामले में बहुत अधिक ROI होना चाहिए और पहले से ही पैमाने पर पूरी तरह से तैनात होना चाहिए ताकि यह इसके लायक हो। आपको यह सुनिश्चित करने के लिए पर्याप्त डेटा की भी आवश्यकता है कि छोटे मॉडल किसी दिए गए कार्य पर फ्रंटियर मॉडल के समान स्तर पर प्रदर्शन कर सकें।
अन्यथा, फ्रंटियर क्लोज्ड-सोर्स मॉडल में से किसी एक को प्लग इन करना बहुत आसान है। आपको किसी भी बुनियादी ढांचे के मालिक होने की चिंता नहीं करनी पड़ती है और आपको स्वतंत्र रूप से पुनरावृत्ति और प्रयोग करने की स्वतंत्रता मिलती है।
इसलिए, ओपन सोर्स पर LLM खर्च का हिस्सा अंततः ऊपर की ओर बढ़ेगा लेकिन यह कई वर्षों तक नहीं होगा।
