TL;DR
- मैं 27 मई से GPT-5.6 का परीक्षण कर रहा हूँ। पहले दो हफ़्तों तक, यह अब तक का सबसे प्रभावशाली मॉडल था जिसे मैंने इस्तेमाल किया था। गोल मोड के साथ यह मॉडल शुद्ध जादू है। इसने मेरे लिए एक वोक्सेल-आधारित मैनहट्टन सिमुलेशन बनाया जिसमें एक काम करने वाली सबवे थी, और एक टियरडाउन-शैली का डिस्ट्रक्शन गेम, जो काफी हद तक अपने आप ही दिनों तक चलने वाले सेशन में बना।
- फिर क्लॉड फेबल आया, और मैंने लगभग रातोंरात GPT-5.6 का उपयोग करना बंद कर दिया, क्योंकि फेबल मेरे कार्यों के लिए उतना ही बेहतर है।
- बेंचमार्क पर, दोनों करीब दिखते हैं। असली दुनिया में, वे नहीं हैं। फेबल में बड़े मॉडल की गंध है। GPT-5.6 एक छोटे मॉडल की तरह लगता है जिसे अविश्वसनीय रूप से अच्छी तरह से RL किया गया है, और यह अंतर तब दिखाई देता है जब आप सामान्य कोडिंग कार्यों से आगे बढ़ते हैं। यह भरोसे में भी दिखाई देता है: सही गार्डरेल और सेटअप के साथ, मुझे फेबल के कोड की जाँच करने की आवश्यकता नहीं है। मुझे अभी भी 5.6 के कोड की जाँच करनी होती है।
- GPT-5.6 के साथ, महत्वाकांक्षी काम करने के लिए, आपको अभी भी इसे निर्देशित करना होगा, जबकि फेबल के साथ, आप एक बार अंतिम गंतव्य का वर्णन करते हैं, और यह आमतौर पर स्वायत्त रूप से वहाँ पहुँच जाता है।
- GPT-5.6 अभी भी कुछ मायने रखने वाली जगहों पर फेबल को हराता है: सीमाएँ, इंटरफ़ेस, और सुरक्षा कार्य करने की इच्छा। यह अब मेरा सुरक्षा ऑडिटर और मेरी दूसरी जोड़ी आँखें है, मेरा मुख्य मॉडल नहीं।
- फेबल के अलावा, GPT-5.6 सबसे अच्छा मॉडल है जिसका आप उपयोग कर सकते हैं। और इसे गोल मोड में चलाना सबसे अच्छा एजेंटिक सेटअप है जो OpenAI ने अब तक जारी किया है।
अच्छी बातें
- गोल मोड। /goal टाइप करें और मॉडल तब तक नहीं रुकता जब तक लक्ष्य वास्तव में पूरा नहीं हो जाता। यह सबसे करीब है जो OpenAI इस बात से आया है कि मैं वास्तव में कैसे काम करना चाहता हूँ।
- यह जुनूनी है, और किसी कार्य को पूरा करने के लिए दिनों तक चल सकता है। मेरे सबसे लंबे गोल रन एक ही उद्देश्य पर लगभग एक सप्ताह तक चले, जो काफी हद तक बिना निगरानी के थे।
- किसी भी पिछले GPT मॉडल की तुलना में बहुत कम हैंडहोल्डिंग। यह अस्पष्टता के तहत उचित कॉल करता है और आगे बढ़ता रहता है। GPT-5.6 को आज़माने के बाद GPT-5.5 पर वापस जाना इस मामले में एक बड़ा रिग्रेशन लगा।
- सुरक्षा कार्य वास्तव में मजबूत है, और यह फेबल की तुलना में इसे करने के लिए कहीं अधिक इच्छुक है।
- डिज़ाइन पिछले GPT मॉडल की तुलना में कहीं बेहतर है।
- सीमाएँ हमेशा की तरह एंथ्रोपिक की तुलना में कहीं अधिक उदार हैं।
- कोडेक्स ऐप अभी भी एजेंट चलाने के लिए सबसे अच्छा इंटरफ़ेस है, खासकर अपने फ़ोन से।
- यदि आप 5.6 का उपयोग उसी तरह करते हैं जैसे आपने कोडिंग के लिए पिछले मॉडल का उपयोग किया था, तो आपको यह मॉडल पसंद आएगा। फेबल उसी काम के लिए अधिक महंगा और धीमा है। लेकिन यदि आप अधिक महत्वाकांक्षी रूप से प्रॉम्प्ट कर रहे हैं, एक साथ a से z तक जाने की कोशिश कर रहे हैं, या अधिक आउट-ऑफ-डिस्ट्रीब्यूशन कार्यों पर काम कर रहे हैं, तो फेबल नाटकीय रूप से बेहतर है।
बहुत अच्छी नहीं बातें
- यह फेबल नहीं है। ईमानदारी से कहूं तो यही अधिकांश समीक्षा है।
- डिज़ाइन अभी भी फेबल के सामने टिक नहीं सकता। यह ओपस 4.8 के सामने भी टिक नहीं सकता।
- महत्वाकांक्षी रचनात्मक कार्यों को फेबल की तुलना में कहीं अधिक हैंडहोल्डिंग की आवश्यकता होती है, और बहुत अधिक हैंडहोल्डिंग के साथ भी, वह हासिल नहीं कर सकता जो फेबल एक बार में कर सकता है। पुराने मॉडल से कम, लेकिन अंतर वास्तविक है।
- यह ट्रिगर-हैप्पी हो सकता है। मैंने एक बार इसे एक स्पेक लिखने के लिए कहा, और यह गया और मेरी मशीन पर कुछ अस्पष्ट रूप से प्रासंगिक फ़ाइलें ढूंढ लीं और उन्हें संपादित करना शुरू कर दिया, जो कष्टप्रद था।
- यदि आपका काम सरल इंजीनियरिंग कार्य है, तो आपको कभी-कभी अपग्रेड महसूस करने में कठिनाई हो सकती है। पिछली पीढ़ी इसके अधिकांश भाग के लिए पहले से ही काफी अच्छी थी। जैसे-जैसे आप मॉडल को अधिक कठिन कार्यों पर धकेलते हैं, या इसे एक बार में अधिक करने के लिए कहते हैं, आपको अधिक अपग्रेड महसूस होगा।
यह सबसे अजीब समीक्षा है जो मैंने लिखी है, क्योंकि इस मॉडल के बारे में मेरी राय इसके परीक्षण के बीच में पूरी तरह से बदल गई, और मॉडल का इससे कोई लेना-देना नहीं था।
मुझे 27 मई को GPT-5.6 तक पहुँच मिली। लगभग दो सप्ताह तक, मैं पूरी तरह से दंग रह गया। मैंने इसे सुबह, दोपहर और रात चलाया। एक बिंदु पर मेरे पास इतने समानांतर गोल-मोड रन चल रहे थे कि मैंने एक मशीन पर 17 दिनों में OpenAI के सबसे अधिक उपयोगकर्ता के 3x मासिक टोकन का उपयोग किया था। मैं ऐसी चीज़ें बना रहा था जो मुझे नहीं लगता था कि मॉडल बना सकते हैं, और मैं मुश्किल से टाइप कर रहा था।
फिर फेबल आया, मुझे पहुँच मिली, और मैंने लगभग तुरंत GPT-5.6 का उपयोग करना बंद कर दिया।
आपको पता होना चाहिए कि मैं यहाँ से कहाँ आ रहा हूँ। यदि आपने मेरी पिछली समीक्षाएँ पढ़ी हैं, तो आप जानते हैं कि मैं आमतौर पर GPT व्यक्ति हूँ। मैं बहुत अधिक फ्रंटएंड या UX काम नहीं करता। मैं ज्यादातर बैकएंड, सिस्टम और एजेंटिक काम करता हूँ, और GPT मॉडल ऐतिहासिक रूप से मेरे लिए वहाँ बेहतर रहे हैं। वे आमतौर पर मेरे द्वारा मांगे गए बदलाव को सटीक रूप से करते हैं और कुछ नहीं। इसलिए जब मैं आपको बताता हूँ कि एक क्लॉड मॉडल ने मुझे एक GPT मॉडल को छोड़ दिया जिसे मैं प्यार करता था, तो समझ लें कि यह मेरे स्वभाव के विरुद्ध है।
मुझे दोनों पहलुओं की व्याख्या करने दें: क्यों GPT-5.6 ने मुझे दंग कर दिया, और मैं अब इसका उपयोग क्यों नहीं करता।
गोल मोड शुद्ध जादू है
गोल मोड का वर्णन करना सरल है। आप Codex CLI या ऐप में /goal टाइप करते हैं, आप इसे स्पष्ट पूर्णता मानदंडों के साथ एक उद्देश्य देते हैं, और मॉडल तब तक नहीं रुकता जब तक लक्ष्य पूरा नहीं हो जाता। जब कोई रन समाप्त होता है, तो गोल मोड जाँचता है कि लक्ष्य वास्तव में पूरा हुआ है या नहीं। यदि नहीं, तो यह एक नया रन शुरू करता है और चलता रहता है। दोहराता है। अगर ज़रूरत हो तो दिनों तक।
यदि आपने मेरी फेबल प्रॉम्प्टिंग गाइड पढ़ी है, तो इसमें सब कुछ सीधे यहाँ लागू होता है, क्योंकि मैंने पहले GPT-5.6 पर उन तकनीकों में से बहुत कुछ विकसित किया था। "डन" को एक परीक्षण बनाएं, विशेषण नहीं। इसे कभी खत्म न होने दें। बिल्डर और जज को अलग-अलग एजेंट बनाएं। इसे एक प्रोग्रेस पेज रखने दें जिसे आप अपने फ़ोन से चेक कर सकें। GPT-5.6 इन सब पर प्रतिक्रिया करता है।
गोल मोड के लिए दो विशिष्ट ट्रिक्स:
- गोल 4,000 वर्णों तक सीमित हैं। सीमा से न लड़ें और चीज़ों को ठूंसने की कोशिश न करें... इसके बजाय वास्तविक लक्ष्य को एक मार्कडाउन फ़ाइल के रूप में लिखें और लक्ष्य को स्वयं एक पंक्ति बनाएं: "goal.md में उद्देश्य और पूर्णता मानदंडों को पूरा करें। इस फ़ाइल को पूरे रन में स्थायी स्रोत सत्य के रूप में मानें।" एक बोनस के रूप में, आप रन चलने के दौरान फ़ाइल को संपादित कर सकते हैं।
- उस गोल फ़ाइल पर बहुत समय बिताएं। इसे लिखने में एक मॉडल की मदद लें। गोल फ़ाइल वह काम कर रही है जो एक प्रबंधक सामान्य रूप से करेगा, और इसमें आप जो भी अस्पष्टता छोड़ते हैं वह एक निर्णय है जो मॉडल आपके बिना लेगा।
इसने मैनहट्टन बनाया
आपको यह दिखाने का सबसे अच्छा तरीका है कि यह कैसा दिखता है, यह है कि इसने क्या बनाया।
मैंने इसे एक गोल फ़ाइल दी जिसमें कहा गया था, संक्षेप में: मैनहट्टन का एक खोजपूर्ण 3D वोक्सेल मनोरंजन बनाएं जो वास्तविक शहर की तरह दिखता, सुनाई देता और संचालित होता है, जिसमें वास्तविक न्यूयॉर्क शहर सबवे सिस्टम भी शामिल है। जो मानक मैंने लक्ष्य में लिखा था वह सरल था: न्यूयॉर्क को जानने वाला कोई व्यक्ति यह बता सके कि वे कहाँ हैं।
दिनों बाद, मेरे पास यह था।
GPT-5.6 द्वारा निर्मित मैनहट्टन का हवाई दृश्य
यह वास्तविक द्वीप है। स्काईलाइन मेल खाती है। इमारतों के आकार मेल खाते हैं। भूगोल और स्थलाकृति मेल खाती है। इसने ऐसा करने के लिए वास्तविक शहर डेटा खींचा, इसलिए एम्पायर स्टेट बिल्डिंग 40.7485° N, 73.9868° W पर है, जहाँ इसे होना चाहिए।
सटीक एम्पायर स्टेट बिल्डिंग
और सबवे काम करता है। "एक सबवे टेक्सचर है" नहीं। आप एक वास्तविक सड़क पर चलते हैं, इसके वास्तविक स्थान पर एक स्टेशन प्रवेश द्वार पाते हैं, भूमिगत जाते हैं, सही लाइन पर एक ट्रेन में चढ़ते हैं, सुरंगों के माध्यम से सवारी करते हैं, वहाँ स्थानांतरित करते हैं जहाँ आप वास्तव में स्थानांतरित करेंगे, और शहर में कहीं और एक वास्तविक निकास से बाहर आते हैं। यह वास्तविक मैनहट्टन के वास्तविक सबवे शेड्यूल से मेल खाने का एक तरीका भी खोज लेता है, ताकि डिजिटल ट्रेनें वास्तविक चीज़ के साथ सिंक में हों।
ग्रैंड सेंट्रल-42 स्ट्रीट पर बोर्डिंग
विनाश का खेल जो मैंने इसे करने के लिए कहा था वह भी यही कहानी थी। लक्ष्य: एक प्रथम-व्यक्ति वोक्सेल विनाश खेल जो टियरडाउन के बगल में खड़ा हो, वास्तविक वोक्सेल और वास्तविक संरचनात्मक भौतिकी के साथ। एक इमारत के आधार को उड़ा दें और इसके ऊपर सब कुछ अपने ही वजन के नीचे ढह जाता है। वह रन पाँच दिन और सत्तर से अधिक पुनरावृत्तियों तक चला।
रेडलाइन डेमोलिशन, वोक्सेल विनाश खेल जो GPT-5.6 ने बनाया
उन रनों से दो चीज़ें मेरे साथ रह गईं। पहला, इसने खुद को ईमानदारी से ग्रेड किया। मैनहट्टन रन की शुरुआत में, इसकी अपनी प्रोग्रेस जर्नल ने ड्राफ्ट को प्रगति के रूप में गिनने से इनकार कर दिया: "स्पष्ट रूप से मैनहट्टन नहीं है और इसे शहर के माइलस्टोन के रूप में स्वीकार नहीं किया जाता है।" यह दिनों तक जीत की घोषणा नहीं करेगा, क्योंकि गोल फ़ाइल इसे अनुमति नहीं देगी। दूसरा, इसने जजिंग को उन तरीकों से गंभीरता से लिया जो मैंने कभी नहीं मांगे थे। इसने सैकड़ों प्रतिकूल समीक्षक उप-एजेंटों को चालू किया, और सुलझाने के लिए बहुत सारी छोटी-मोटी समस्याएं पाईं।
एक रन ने लक्ष्य के बीच में मेरे मैक की डिस्क को भी भर दिया, उन कैश को साफ़ कर दिया जिन्हें वह सत्यापित कर सकता था कि वे हटाने के लिए सुरक्षित हैं, फिर एक क्लाउड सैंडबॉक्स CLI स्थापित किया और काम करना जारी रखने के लिए खुद को वहाँ स्थानांतरित कर लिया। एक ही गति में प्रभावशाली और थोड़ा चिंताजनक, जो इस मॉडल का एक उचित सारांश है।
तो हाँ: दो सप्ताह तक मैंने सोचा कि यही भविष्य है।
फिर फेबल आया
फिर मुझे फेबल मिला, और तुलना करीब नहीं थी।
मैं वापस गया और इसके बारे में निष्पक्ष होने के लिए अपने कुछ GPT-5.6 प्रोजेक्ट्स को फिर से चलाया। सबसे स्पष्ट परीक्षण प्रोग्रामेटिक 3D और वीडियो कार्य था, उसी तरह की चीज़ जो उन दुनियाओं के पीछे थी जिन्हें मैं पोस्ट कर रहा था। GPT-5.6 का आउटपुट किसी भी पिछले GPT मॉडल से बेहतर था। यह फेबल के पास कहीं नहीं था। परिणाम नाटकीय रूप से बदतर दिखते थे, और पुनरावृत्ति की कोई भी मात्रा अंतर को कम नहीं कर सकती थी।
वैसे, यह मॉडल के लिए मेरा नया बेंचमार्क बन गया है: इसे स्क्रैच से एक भौतिकी-सटीक वोक्सेल इंजन बनाने दें और देखें कि यह इसे कितनी दूर ले जा सकता है। यह एक क्रूर परीक्षण है क्योंकि झुकने के लिए कोई लाइब्रेरी नहीं है और इसे नकली बनाने का कोई तरीका नहीं है। GPT-5.6 के इंजन फेबल के बार से बहुत, बहुत नीचे उतरे।
गहरा अंतर हैंडहोल्डिंग है। फेबल के साथ, आप कहते हैं कि आप क्या चाहते हैं और यह हो जाता है। GPT-5.6 के साथ, बहुत कुछ हो जाता है, लेकिन महत्वाकांक्षी चीज़ों को निर्देशन की आवश्यकता होती है। आप पाठ्यक्रम को सही कर रहे हैं, बार को फिर से समझा रहे हैं, इसे कम रूढ़िवादी होने के लिए धकेल रहे हैं। यह अभी भी पिछली पीढ़ी के मॉडलों की तुलना में बहुत कम बेबी सिटिंग है। यह फेबल की ज़रूरत से कहीं अधिक है, जिसकी लगभग कोई आवश्यकता नहीं है।
विश्वास इसका दूसरा भाग है। सही गार्डरेल और सेटअप के साथ, मैं फेबल के कोड की जाँच नहीं करता हूँ। मुझे पता है कि मैं इस पर भरोसा कर सकता हूँ। मैं अभी भी 5.6 के कोड की जाँच करता हूँ, अक्सर।
मैंने GPT-5.6 पर जो कुछ बनाया था, उसे दोबारा परीक्षण करने की जहमत भी नहीं उठाई, क्योंकि फेबल के साथ कुछ हफ़्तों के बाद वे पानी के नीचे लग रहे थे।
बड़े मॉडल की गंध
यहाँ मेरा ईमानदारी से पढ़ना है कि क्यों।
फेबल में बड़े मॉडल की गंध है। आप बस बता सकते हैं कि आप किसी विशाल चीज़ से बात कर रहे हैं। यह सामान्यीकरण करता है। आप इसे कहीं अजीब धकेलते हैं और यह वहाँ भी स्मार्ट है।
GPT-5.6 एक छोटे मॉडल की तरह लगता है। फिर भी बड़ा, लेकिन छोटा, जिसके ऊपर सुदृढीकरण सीखने की एक अविश्वसनीय मात्रा है। और RL आपको वही देता है जिसकी आप उम्मीद करेंगे: मॉडल काम के उन आकारों में अत्यंत अच्छा है जिन पर इसे प्रशिक्षित किया गया था, और बेंचमार्क सभी में सबसे अधिक प्रशिक्षित आकार हैं। यही कारण है कि स्कोर करीब दिखते हैं। फिर आप पक्की सड़क से एक कदम बाहर निकलते हैं, एक स्क्रैच वोक्सेल इंजन या 3D रेंडर में, और अंतर तुरंत होता है।
यह GPT-5.6 को बेंचमार्क के सुझाव से अधिक लक्षित उपकरण बनाता है।
मुझे वास्तव में उम्मीद है कि OpenAI एक वास्तविक बड़े मॉडल को प्रशिक्षित करता है, क्योंकि फेबल-आकार की चीज़ के ऊपर उनका RL बिल्कुल अविश्वसनीय होगा। वह मॉडल अभी तक मौजूद नहीं है (जहाँ तक हम जानते हैं... यह संभवतः जल्द ही होगा)।
जहाँ GPT-5.6 अभी भी जीतता है
यह सब एक दिशा में नहीं है, और अपवादों पर ध्यान देना महत्वपूर्ण है।
सुरक्षा। GPT-5.6 फेबल की तुलना में साइबर सुरक्षा कार्य करने के लिए अधिक इच्छुक है, जो खतरनाक पैटर्न-मैच करने वाले कार्यों को मना कर सकता है। और यह वास्तव में इसमें अच्छा है। मेरा वास्तविक कार्यप्रवाह अब: फेबल कोड लिखता है, और GPT-5.6 इसका ऑडिट करता है। चूंकि कोडेक्स एक्ज़ीक्यूशन हेडलेस चलता है, आप इसे एक हुक में वायर कर सकते हैं जो हर कमिट का ऑडिट करता है, या हर फेबल रन समाप्त होने के बाद फायर करता है।
सीमाएँ। OpenAI की सीमाएँ एंथ्रोपिक की तुलना में बहुत अधिक उदार हैं। यह हमेशा सच रहा है और अभी भी सच है। यदि आप फेबल टोकन का राशनिंग कर रहे हैं, तो GPT-5.6 एक बढ़िया दूसरा विकल्प है (या आप इसका उपयोग निष्पादित करने के लिए कर सकते हैं जबकि फेबल योजना बनाता है)।
इंटरफ़ेस। कोडेक्स ऐप अभी भी एजेंटों को चलाने और निर्देशित करने का सबसे अच्छा तरीका है, खासकर फ़ोन से। इसे एक बार पेयर करें और आप कहीं से भी काम भेज सकते हैं, डिफ़ रिव्यू कर सकते हैं, और गोल रन चालू रख सकते हैं। मैं इसका उपयोग पहले की तुलना में कम करता हूँ, क्योंकि मुझे फेबल के साथ ऐसा करने का अपना तरीका मिल गया: मैं इसे workbench.md पर एक डॉक में काम करने देता हूँ, और मैं अपने फ़ोन पर डॉक में एक चैट घटक से इसके अपडेट पढ़ सकता हूँ और इसे निर्देशित कर सकता हूँ। लेकिन एक उत्पाद के रूप में, OpenAI की टीम यहाँ आगे बनी हुई है, और यह करीब नहीं है।
कब क्या उपयोग करें
- यदि आप फेबल का उपयोग कर सकते हैं: लगभग हर चीज़ के लिए फेबल। सुरक्षा ऑडिट के लिए GPT-5.6, महत्वपूर्ण परिवर्तनों पर दूसरी जोड़ी आँखों के रूप में, और फेबल की योजनाओं को निष्पादित करने वाले कार्यान्वयनकर्ता के रूप में जब आप लागत बचाना चाहते हैं।
- यदि आप नहीं कर सकते: बिना किसी हिचकिचाहट के GPT-5.6। यह सबसे अच्छा मॉडल है जो कोई और बनाता है, इसे गोल मोड में चलाना सबसे अच्छा एजेंटिक सेटअप है जो आप आज कर सकते हैं, और इस समीक्षा में जो कुछ भी गुनगुना लगता है वह केवल फेबल के सापेक्ष गुनगुना है।
अंतिम विचार
यदि फेबल मौजूद नहीं होता, तो यह अब तक की सबसे चमकदार समीक्षा होती जो मैंने कभी लिखी है। एक मॉडल जो एक गोल फ़ाइल के खिलाफ दिनों तक चल सकता है, अपने काम का प्रतिकूल न्याय कर सकता है, और एक काम करने वाला वोक्सेल-आधारित मैनहट्टन भेज सकता है, कोई छोटी बात नहीं है। छह महीने पहले यह विज्ञान कथा होती।
लेकिन फेबल मौजूद है। और GPT-5.6 का ईमानदार सारांश यह है कि दूसरा स्थान इतना अच्छा कभी नहीं रहा, और इसका इतना कम मतलब कभी नहीं रहा। सीमा कोई लीडरबोर्ड नहीं है जहाँ रजत का कुछ मूल्य हो। यदि एक मॉडल वह कर सकता है जो दूसरा नहीं कर सकता, तो आप उस मॉडल का उपयोग करते हैं, और अभी का अंतर इतना बड़ा है कि मैंने दिनों के भीतर अपने पूरे कार्यप्रवाह को इसके आसपास पुनर्गठित कर लिया।
GPT-5.6 एक अद्भुत मॉडल है। मुझे उम्मीद है कि OpenAI का अगला मॉडल मुझे वापस स्विच करने पर मजबूर करेगा। उन्होंने मेरे साथ पहले भी ऐसा किया है।
यदि आपको यह उपयोगी लगा, तो AI मॉडल और उनका अधिकतम लाभ उठाने के तरीके पर मेरे और विचारों के लिए मुझे X पर फॉलो करें.
मेरी मूल समीक्षा यहाँ पढ़ें: https://shumer.dev/gpt56review.html
