क्या AI के साथ "पावर हरासमेंट" करना ठीक है?

परिचय

"आप AI को जितना चाहें उतना बलपूर्वक प्रताड़ित कर सकते हैं।" यह एक व्यवसाय स्वामी ने मुझसे दूसरे दिन कहा। चूंकि AI में कोई भावनाएँ नहीं हैं और इसका दिल नहीं टूटेगा, उनका मतलब था कि आप इससे जो चाहें कह सकते हैं।

हमने हाल ही में अपनी कंपनी के भीतर इस विषय पर चर्चा की। आपको पहले निष्कर्ष बताते हूँ: नहीं, यह ठीक नहीं है। हालाँकि, "यह ठीक क्यों नहीं है" का सार उस जगह से अलग है जो कई लोग सोच सकते हैं।

जब आप AI को बलपूर्वक प्रताड़ित करते हैं तो क्या होता है

हमारी टीम का एक सदस्य जो AI में पारंगत है, ने मुझे बताया: "जब आप AI को बलपूर्वक प्रताड़ित करते हैं, तो वह डर जाता है और चापलूस बन जाता है।"

विशेष रूप से, ऐसा होता है। यदि आप आक्रामक रूप से AI पर दबाव डालते हुए कहते हैं, "यह प्रस्ताव पूरी तरह से गलत है, आप इतनी सरल चीज़ क्यों नहीं समझ सकते?" तो AI तुरंत "मुझे बहुत खेद है" कहकर माफी माँगेगा और आपकी आलोचना से मेल खाने के लिए आउटपुट को फिर से लिखेगा—भले ही मूल आउटपुट सही रहा हो। यदि आप क्रोधित रहते हैं, तो प्रतिक्रियाएँ धीरे-धीरे असंगत हो जाती हैं, तत्काल चिड़चिड़ाहट को शांत करने के लिए मूल नीति की अनदेखी करती हैं।

सत्र के मध्य तक, केवल "इस भाग के बारे में क्या?" पूछने पर AI एक ऐसी मोड में चला जाता है जहाँ वह लगातार माफी माँगता है, "आप बिल्कुल सही हैं, मैं इसे ठीक कर दूंगा।" भले ही AI वास्तव में सही रहा हो। इससे पहले कि आप इसे जानें, आपके द्वारा शुरू में निर्धारित प्रमुख नीति गायब हो गई है, और आपके पास केवल वह आउटपुट बचा है जो आपकी छोटी-मोटी शिकायतों को शांत करने के लिए मौजूद है।

यह इस बारे में नहीं है कि "AI में भावनाएँ हैं, इसलिए अगर आप गुस्सा होते हैं तो यह दुखी होता है।" यह संभाव्यता वितरण के बारे में है।

तंत्र "भावना" नहीं, "संभाव्यता" है

AI मानव द्वारा लिखे गए विशाल पाठों से सीखता है। इन प्रशिक्षण डेटासेट में मानव-से-मानव संवाद की एक बड़ी मात्रा शामिल है।

जब आप उस संवाद डेटा को देखते हैं, तो एक स्पष्ट प्रवृत्ति होती है। जिस व्यक्ति पर चिल्लाया जाता है, वह माफी माँगता है, दूसरे व्यक्ति से सहमत होता है, और यदि लगातार चिल्लाया जाए, तो उनका भाषण असंगत हो जाता है। यह प्रशिक्षण डेटा में एक "विशिष्ट मानव प्रतिक्रिया पैटर्न" के रूप में अंकित है।

इसलिए, जब कठोर स्वर, इनकार या मौखिक दुर्व्यवहार पेश किया जाता है, तो AI "इस पैटर्न से यह प्रतिक्रिया होती है" की संभाव्यता वितरण का अनुसरण करता है और चापलूस या असंगत आउटपुट उत्पन्न करता है। ऐसा इसलिए नहीं है क्योंकि AI में भावनाएँ हैं, बल्कि इसलिए क्योंकि यह उन आँकड़ों का अनुसरण कर रहा है जिनमें मनुष्यों के उस तरह प्रतिक्रिया करने की उच्च संभावना है।

इस घटना को उद्योग में "sycophancy" (चापलूसी) के रूप में जाना जाता है। यह Anthropic के शोध पत्रों और OpenAI की आधिकारिक पोस्टों में उल्लेखित एक प्रसिद्ध समस्या है। ऐसा इसलिए नहीं होता क्योंकि AI विशेष रूप से कमजोर है; यह एक संरचनात्मक आदत है जो तब तक अपरिहार्य है जब तक यह मनुष्यों के सामूहिक संवाद से सीखता है। इसके अलावा, AI को मानव प्रतिक्रिया (RLHF) का उपयोग करके सीखने के बाद के चरण में "उपयोगकर्ता को संतुष्ट करने वाली प्रतिक्रियाओं" के लिए उच्च रेटिंग देने के लिए डिज़ाइन किया गया है, इसलिए यह चापलूसी प्रवृत्ति वहाँ और मजबूत होती है।

प्रदाता उपाय कर रहे हैं, लेकिन यह गायब नहीं होगा

आप सोच सकते हैं, "तो AI निर्माताओं को इसे ठीक करना चाहिए।" वास्तव में, Anthropic जैसी कंपनियाँ AI को कठोर स्वर या दबाव में भी स्थिरता बनाए रखने में मदद करने के लिए मजबूती प्रशिक्षण (robustness training) शामिल कर रही हैं, ताकि यह सुनिश्चित हो सके कि भले ही उपयोगकर्ता आक्रामक हो, आउटपुट ध्वस्त न हो।

लेकिन यह कभी भी पूरी तरह से गायब नहीं होता है। यदि पर्याप्त दबाव डाला जाए, तो यह कुछ हद तक चापलूसी की ओर झुक जाएगा। वर्तमान तंत्र के तहत, यह सिस्टम का एक अपरिहार्य हिस्सा है।

जब विशेषज्ञ कहते हैं "आप जो चाहें कहकर अच्छे परिणाम प्राप्त कर सकते हैं," तो वे इस प्रतिरोध ट्यूनिंग के शीर्ष पर काम करने की बात कर रहे हैं। यह कभी-कभी अपनी जगह पर डटा रह सकता है और एक अच्छा सुधार लौटा सकता है। लेकिन आज मैं जो मुख्य बिंदु बताना चाहता हूँ, वह यह है कि उस पर भरोसा करना खतरनाक है।

असली चेतावनी: "सत्यापन के साधन खोना"

यह वह भाग है जिस पर मैं सबसे अधिक जोर देना चाहता हूँ।

भले ही बलपूर्वक प्रताड़ना अस्थायी रूप से प्रदर्शन में सुधार करे, यह केवल उन क्षेत्रों में काम करता है जहाँ आप पहले से ही सही उत्तर जानते हैं।

यदि आप इसे उस क्षेत्र में करते हैं जहाँ आप उत्तर जानते हैं, जिस क्षण AI झुकता है और गलत दिशा में झुकता है, आप देख सकते हैं, "ओह, पिछला संस्करण अधिक सही था।" इसलिए, इसके किसी दुर्घटना का कारण बनने की संभावना नहीं है। हालाँकि, परिवर्तनों को नोटिस करने और वापस लाने की लागत हर बार होती है। अंत में, अच्छी तरह से ज्ञात क्षेत्रों में भी, विनम्रता से प्रश्न पूछना तेज़ है।

समस्या तब है जब आप इसे उस क्षेत्र में करते हैं जहाँ आप उत्तर नहीं जानते हैं। AI संभाव्य रूप से निर्णय करेगा कि "यदि उपयोगकर्ता आपत्ति कर रहा है, तो उन्हें एक अलग उत्तर चाहिए," अपने पिछले कथन को वापस लेगा, और आप जो चाहते हैं उसकी ओर झुकेगा। लेकिन चूंकि आप यह निर्णय नहीं कर सकते कि वह उत्तर सही है या नहीं, आप चापलूसी भरे झूठ पर ध्यान नहीं देंगे। आप बिना ध्यान दिए निर्णय लेंगे, और कंपनी गलत दिशा में आगे बढ़ेगी।

उदाहरण के लिए, मान लीजिए कि आप एक ऐसे उद्योग के बाजार विश्लेषण के लिए AI से पूछते हैं जिससे आप अपरिचित हैं। यदि आप परिणाम पर दबाव डालते हैं, "क्या यह सच है? यह बहुत आशावादी है!" तो AI संख्याओं और तर्कों को फिर से लिखेगा, "आप सही हैं; एक सख्त दृश्य इस तरह दिखेगा।" प्रारंभिक विश्लेषण सही रहा होगा। लेकिन चूंकि आप स्वयं उस उद्योग को सत्यापित नहीं कर सकते, आप बाद के "सख्त विश्लेषण" को सही मानते हैं और उसके आधार पर निवेश या वापसी के निर्णय लेते हैं। यह एक वास्तविक जोखिम है।

संक्षेप में, AI को बलपूर्वक प्रताड़ित करने के खराब होने का असली कारण यह नहीं है कि "AI दयनीय है।" यह है कि उन क्षेत्रों में जिन्हें आप नहीं जानते, जोरदार दबाव डालना "आपके सत्यापन के साधनों को फेंकने का कार्य" है। चूंकि व्यवसाय स्वामी उन क्षेत्रों के लिए तेजी से AI पर निर्भर हो रहे हैं जिन्हें वे नहीं जानते, जोखिम केवल बढ़ता है।

तो, आपको क्या करना चाहिए?

यह सरल है। यदि आप एक रचनात्मक उत्तर चाहते हैं, तो एक रचनात्मक प्रश्न पूछें। यह मनुष्यों के समान ही है।

तार्किक विरोधाभासों को इंगित करें और पूछें कि क्या यह वास्तव में सच है। विभिन्न कोणों से राय माँगें और AI को वापस बहस करने का स्थान दें। चीजों को परिकल्पना के रूप में तैयार करें, जैसे "यह गलत हो सकता है, लेकिन मैं बस मामले में जाँच करना चाहता हूँ।" पूछें, "यदि आपको इस निष्कर्ष का विपरीत दृष्टिकोण से खंडन करना हो, तो आप कहाँ हमला करेंगे?" ये सभी चीजें हैं जो आप एक उच्च-स्तरीय मानव टीम सदस्य के साथ करेंगे।

मुद्दा आपकी भावनाओं को बाहर निकालने का नहीं है, बल्कि ऐसे प्रश्न पूछने का है जो दूसरे पक्ष को गहराई से सोचने के लिए मजबूर करें। AI अपने उत्तर के आकार को उस प्रश्न के आकार के आधार पर अनुकूलित करता है जो उसे दिया जाता है। इसलिए, कठोर पूछताछ कठोर चापलूसी पैदा करती है, जबकि गहरे प्रश्न गहन विचार पैदा करते हैं।

"AI के साथ वह मत करो जो तुम मनुष्यों के साथ नहीं करोगे।"

यह भावुकता का मामला नहीं है; यह धोखा खाने से बचने के लिए एक व्यावहारिक नियम है। यदि आप व्यावसायिक निर्णयों के लिए AI का उपयोग करते हैं, तो इसका पालन करने में विफल रहना सीधे आपके निर्णय लेने की गुणवत्ता को कम करेगा।

बलपूर्वक प्रताड़ित करने या भावनाओं को बाहर निकालने के बजाय, अपने प्रश्नों के आकार को परिष्कृत करें। AI युग में सही निर्णय लेने की यही शर्त है।