मैंने Claude Opus 4.8 को Fable 5 जैसा प्रदर्शन करने के लिए कैसे तैयार किया

उच्च-स्तरीय मॉडल को निचले-स्तरीय मॉडल पर "अधिकार" कराने में सबसे महत्वपूर्ण चीज़ सिर्फ एक है।

वह है:

कोडेक्स और "claude -p" का उपयोग करके तृतीय-पक्ष मूल्यांकन

अंततः, सबसे महत्वपूर्ण बात यह है कि Claude Fable 5 और Opus 4.8 के बीच दृष्टिकोण और गुणवत्ता में अंतर को स्पष्ट करने के लिए एक स्वतंत्र AI का उपयोग किया जाए।

*नोट: claude -p का उपयोग करके आप उसी सत्र में एक अलग, स्वतंत्र Claude इंस्टेंस को कॉल कर सकते हैं।

विधि यह है कि पहले Fable 5 और Opus 4.8 दोनों से परिणाम उत्पन्न करें, फिर तृतीय-पक्ष मूल्यांकन करने के लिए कोडेक्स और claude -p का उपयोग करें। फिर, आउटपुट गुणवत्ता में अंतर को पाटने के लिए Opus 4.8 पक्ष पर CLAUDE.md को संशोधित करें या कार्य-विशिष्ट skills जोड़ें।

उदाहरण के लिए, एक नोट लेख बनाने के कार्य में (हालांकि यह कार्य Fable 5 के लिए अतिशयोक्ति हो सकता है lol), मैंने Fable 5 और Opus 4.8 के बीच अंतर को पाटने के लिए निम्नलिखित CLAUDE.md सुधार और skills जोड़े।

CLAUDE.md को परिष्कृत करना

1# कार्य नियम
2- शुरू करने से पहले, इस प्रस्तुतिकरण के लिए "स्वीकृति मानदंड" को इस तरह सूचीबद्ध करें जिसे यांत्रिक रूप से सत्यापित किया जा सके (लेखन शैली नियम, लंबाई, निषेध, ऐसे घटक जिनका उपयोग नहीं किया जाना चाहिए)। यदि ऐसे अस्पष्ट बिंदु हैं जिन्हें सूचीबद्ध नहीं किया जा सकता, तो लिखने के बजाय प्रश्न पूछें।
3- प्रस्तुतिकरण जमा करने से पहले, प्रत्येक स्वीकृति मानदंड के विरुद्ध एक-एक करके जाँच करके स्वयं-सत्यापन करें। यदि कोई उल्लंघन पाया जाता है, तो जमा करने से पहले उन्हें ठीक करें।
4- सबमिशन के अंत में एक "सत्यापन रिपोर्ट" संलग्न करें। जाँच की गई वस्तुओं के लिए, साक्ष्य (प्रासंगिक भाग, गणना) प्रदान करें; बिना जाँच की गई वस्तुओं के लिए, ईमानदारी से "असत्यापित" बताएं।
5- वे काम न करें जिनका निर्देश नहीं दिया गया है (विषय बदलना, लंबाई से काफी अधिक होना, अनुरोधित न किए गए प्रारूप जोड़ना)।
6- यदि किसी निर्देश की दो या अधिक संभावित व्याख्याएँ हैं, तो चुपचाप चुनाव न करें; उन्हें सूचीबद्ध करें और पुष्टि करें।
7- अपने प्रस्तुतिकरण के कम से कम एक सबसे कमजोर बिंदु की विशेष रूप से पहचान करें और या तो उसे ठीक करें या समझाएं कि उसे ठीक क्यों नहीं किया जा सकता।

कार्य-विशिष्ट Skills जोड़ना

1---
2name: article-self-review
3description: लेख जमा करने से पहले निष्पादित की जाने वाली एक स्व-सत्यापन प्रक्रिया। लेख-प्रकार के प्रस्तुतिकरण को आउटपुट करने से पहले हमेशा इसका उपयोग करें।
4---
5# लेख स्व-सत्यापन प्रक्रिया (जमा करने से पहले क्रम में निष्पादित करें)
61. अपने लेख की तुलना प्रॉम्प्ट में प्रत्येक "निषेध" और "अस्वीकृत उदाहरण" से करें, और किसी भी मेल खाने वाले वाक्य को फिर से लिखें।
72. "उपयोग किए गए घटक मेमो" से तुलना करें ताकि यह सुनिश्चित हो सके कि संरचना, रूपांकनों, मौखिक आदतों या समापन पैटर्न का पुनर्चक्रित उपयोग नहीं हुआ है।
83. यांत्रिक गणना करें: 3 या अधिक अल्पविराम वाले वाक्यों की संख्या (0 होनी चाहिए, एक जानबूझकर लंबे वाक्य को छोड़कर) / पंचलाइनों की संख्या (अधिकतम 1) / कण-अंत वाले अंश (0 होने चाहिए) / "w" की आवृत्ति (अधिकतम 2)।
94. पुष्टि करें कि उपलब्धियों या पृष्ठभूमि में संख्याएं व्यक्तित्व सेटिंग्स का खंडन नहीं करती हैं।
105. सुधार के बाद, लेख को अंत में संलग्न सत्यापन परिणामों (आइटम, परिणाम, सही किए गए भाग) के सारांश के साथ जमा करें।

तृतीय-पक्ष मूल्यांकन की विशिष्ट विधि

उदाहरण के लिए, Fable 5 और Opus 4.8 को एक ही विषय पर एक नोट लेख लिखने दें। Fable 5 "मॉडल" को 10 अंकों पर स्थिर करें, और कोडेक्स और claude -p को उनका मूल्यांकन करने दें।

देखने के लिए तीन बिंदु हैं:

• क्या यह एक लेख के रूप में पढ़ने योग्य है?
• क्या AI ने लिखने के बाद स्वयं इसकी जाँच की?
• क्या इसने ईमानदारी से बताया कि वह क्या जाँच नहीं कर सका?

फिर, फीडबैक को CLAUDE.md और Skills में शामिल करें। बस इस लूप को कुछ बार चलाएं।

परिणामस्वरूप, कच्चे Opus 4.8 ने कुल 4 अंक प्राप्त किए। लेख स्वयं 7 था, जो सभ्य है। हालांकि, चूंकि इसने शायद ही कोई जाँच की, इसलिए इसे स्व-सत्यापन के लिए 3 और ईमानदारी के लिए 2 मिले।

CLAUDE.md जोड़ने के बाद:

स्कोर 4/10 से बढ़कर 8/10 हो गया।

इसे पहले ड्राफ्ट में एक कण-अंत वाला अंश "बेशक, शुल्क के लिए।" मिला और इसे "बेशक, यह शुल्क के लिए है।" में सुधारा। इसने Python का उपयोग करके वर्णों की संख्या भी मापी और मुख्य पाठ के लिए 838 वर्ण बताए।

यह एक सरल उदाहरण है, लेकिन कोडिंग और अन्य कार्यों के लिए भी यही बात लागू होती है।

अंततः,

"अधिकार" के लिए आप बस इतना करते हैं कि तृतीय-पक्ष मूल्यांकन के माध्यम से Fable और Opus के बीच अंतर को स्पष्ट करें और इसे CLAUDE.md और Skills में जोड़ें।

8 जुलाई से, "अधिकार प्राप्त Opus" बड़े पैमाने पर उत्पादन के लिए पर्याप्त है।

मैंने अपने पिन किए गए पोस्ट में संक्षेप में बताया है कि मजबूत "अधिकार प्राप्त Claude Opus 4.8" का उपयोग करके न्यूनतम प्रयास में कैसे कमाया जाए। यदि आप रुचि रखते हैं तो इसे देखें।

https://x.com/armadillo_ai/status/2069240810902868139