स्केलिंग नियम एक अनुभवजन्य संबंध है
मशीन लर्निंग में, कोई स्केलिंग नियम बताता है कि कोई मापी गई मात्रा किसी इनपुट के बढ़ने पर कैसे बदलती है। बड़े भाषा मॉडलों के लिए, शोधकर्ताओं ने पाया कि जैसे-जैसे मॉडल का आकार, प्रशिक्षण डेटा, और गणना बढ़ती है, प्रशिक्षण-हानि (training loss) अक्सर अपेक्षाकृत सहज, पूर्वानुमेय तरीके से बेहतर होती जाती है। OpenAI के 2020 के काम ने परीक्षण की गई सीमाओं में घात-नियम (power-law) संबंध बताए (Kaplan et al.)। DeepMind के बाद के “Chinchilla” अध्ययन ने दिखाया कि, एक तय कंप्यूट बजट के तहत, कई मॉडलों को बहुत कम डेटा पर प्रशिक्षित किया गया था और यह कि पैरामीटर तथा प्रशिक्षण-टोकन को ज़्यादा समान रूप से एक साथ स्केल किया जाना चाहिए (Hoffmann et al.)।
ये परिणाम इसलिए महत्वपूर्ण थे क्योंकि इन्होंने महंगे प्रशिक्षण-रन को ज़्यादा पूर्वानुमेय बना दिया। कोई लैब छोटे प्रयोग चला सकती थी, यह अनुमान लगा सकती थी कि बड़े पैमाने पर हानि कैसे बदलेगी, और डेटा, पैरामीटर, तथा कंप्यूट के बीच बजट आवंटित कर सकती थी। लेकिन यह नियम एक देखे गए दायरे के भीतर मापों का वर्णन करता है। यह कोई भौतिक गारंटी नहीं है कि हर क्षमता अनिश्चित काल तक सुधरती रहेगी या कि पर्याप्त ग्राफ़िक्स प्रोसेसर अपने आप AGI पैदा कर देंगे।
कंप्यूट सिर्फ़ एक घटक है
“कंप्यूट” का आमतौर पर मतलब है प्रशिक्षण या अनुमान में इस्तेमाल होने वाले संख्यात्मक संक्रियाओं (numerical operations) की संख्या, लेकिन यह संक्षिप्त शब्द भी महत्वपूर्ण अंतरों को छुपा देता है। एक जैसी नाममात्र संक्रियाओं वाले दो प्रशिक्षण-रन चिप उपयोग, संख्यात्मक सटीकता, डेटा-गुणवत्ता, आर्किटेक्चर, अनुकूलन, और सॉफ़्टवेयर के कारण अलग-अलग सिस्टम पैदा कर सकते हैं। एल्गोरिथमिक सुधार उसी हार्डवेयर से बेहतर प्रदर्शन हासिल कर सकते हैं। फ़ाइन-ट्यूनिंग, पुनर्प्राप्ति (retrieval), उपकरण, स्मृति, और एजेंट-स्कैफ़ोल्डिंग प्री-ट्रेनिंग के बाद तैनात व्यवहार को काफ़ी हद तक बदल सकते हैं।
डेटा मात्रा और संरचना दोनों में मायने रखता है। दोहराए गए, कम-गुणवत्ता वाले, या दूषित उदाहरण सावधानी से चुनी गई जानकारी के बराबर नहीं होते। सिंथेटिक डेटा किसी कॉर्पस को बढ़ा या लक्षित कर सकता है, लेकिन अगर जनरेशन और फ़िल्टरिंग कमज़ोर हो तो त्रुटियां बढ़ सकती हैं। डेटा-अधिकार, निजता, भाषा-कवरेज, और प्रतिनिधित्व भी यह प्रभावित करते हैं कि कोई मॉडल क्या सीखता है।
अनुमान-समय (inference-time) की गणना एक और आयाम जोड़ती है। कुछ सिस्टम किसी कठिन प्रॉम्प्ट के लिए मध्यवर्ती उम्मीदवार पैदा करने और जांचने में ज़्यादा संक्रियाएं खर्च करते हैं। इससे प्री-ट्रेन किए गए मॉडल को बदले बिना प्रदर्शन सुधर सकता है, लेकिन इससे लागत और विलंबता बढ़ती है और यह सटीकता की गारंटी नहीं देता। अब एक पूर्ण स्केलिंग-चर्चा में कम से कम प्रशिक्षण-कंप्यूट, अनुमान-कंप्यूट, डेटा, एल्गोरिदम, और आसपास के सिस्टम को शामिल करना ज़रूरी है।
हानि-वक्र क्षमता-वक्र नहीं होते
प्रशिक्षण-हानि विशाल डेटासेट पर औसत भविष्यसूचक त्रुटि मापती है। हानि में एक सहज कमी मानव-सामना करने वाले कार्यों में असमान बदलावों के साथ हो सकती है। कोई बेंचमार्क एक सीमा दिखा सकता है क्योंकि कोई अंतर्निहित सुधार आख़िरकार अपने पास-अंक को पार करता है, क्योंकि मॉडल कई ज़रूरी उप-कौशल सीख लेता है, या क्योंकि स्कोरिंग क्रमिक प्रगति को एक द्विआधारी परिणाम में बदल देती है। अन्य क्षमताएं सहजता से सुधर सकती हैं, स्थिर रह सकती हैं, या सुरक्षा-ट्यूनिंग या सिस्टम-बदलावों के बाद पीछे भी जा सकती हैं।
यह अंतर दो विपरीत भूलों को रोकता है। पहली है यह मान लेना कि एक पूर्वानुमेय हानि-वक्र हर भविष्य के व्यवहार को पूर्वानुमेय बना देता है। ऐसा नहीं है। दूसरी है यह दावा करना कि सभी क्षमता-लाभ रहस्यमय असंततताएं हैं। कई प्रतीत होने वाले अचानक बेंचमार्क-लाभ तब ज़्यादा सहज हो जाते हैं जब शोधकर्ता निरंतर मेट्रिक या ज़्यादा जानकारीपूर्ण परीक्षणों का उपयोग करते हैं (Schaeffer, Miranda and Koyejo, 2023)। अनिश्चितता और आंशिक पूर्वानुमेयता दोनों सच हो सकती हैं।
स्केलिंग मूल्यांकन-डिज़ाइन के साथ भी बातचीत करती है। सार्वजनिक परीक्षण संतृप्त हो सकते हैं या प्रशिक्षण-डेटा में रिस सकते हैं। कोई मॉडल वास्तविक-दुनिया की विश्वसनीयता में बराबर लाभ के बिना परीक्षा देने में सुधर सकता है। इसके विपरीत, मौजूदा बेंचमार्क उपयोगी क्षमताओं को चूक सकते हैं। यह समझने के लिए कि हानि की कमी ने वास्तव में क्या खरीदा, कई मूल्यांकनों, निजी कार्यों, मानव-विशेषज्ञ समीक्षा, और तैनाती-सबूत की ज़रूरत होती है।
जहां रुझान मुड़ सकता है
भौतिक क्षमता असीमित नहीं है। फ्रंटियर प्रशिक्षण और सर्विंग उन्नत चिप्स, उच्च-बैंडविड्थ मेमोरी, नेटवर्किंग, बिजली, कूलिंग, ज़मीन, निर्माण, और आपूर्ति-श्रृंखलाओं पर निर्भर हैं। अंतरराष्ट्रीय ऊर्जा एजेंसी को उम्मीद है कि 2030 तक डेटा-सेंटर बिजली की मांग काफ़ी बढ़ेगी, हालांकि यह अनिश्चितता और तेज़ भौगोलिक संकेंद्रण पर भी ज़ोर देती है (IEA, Energy and AI)। वैश्विक ऊर्जा पर्याप्त होने पर भी स्थानीय ग्रिड-देरी मायने रख सकती है।
उच्च-गुणवत्ता वाला मानव-जनित डेटा भी सीमित है, हालांकि उस बाधा का प्रभाव नए डेटा-स्रोतों, मल्टीमॉडल प्रशिक्षण, सिंथेटिक डेटा, और मौजूदा कॉर्पस के ज़्यादा कुशल उपयोग पर निर्भर करता है। तकनीकी सीमाओं से पहले आर्थिक सीमाएं आ सकती हैं: किसी बड़े मॉडल को प्रशिक्षण, सर्विंग, और अवसर-लागत को उचित ठहराने लायक पर्याप्त मूल्य पैदा करना होगा। कुल संक्रियाएं उपलब्ध होने पर भी विलंबता और मेमोरी-बैंडविड्थ उत्पादों को सीमित कर सकते हैं।
घटते प्रतिफल स्केलिंग में अंतर्निहित हैं। एक घात-नियम तब भी जारी रह सकता है जब हर अतिरिक्त सुधार के लिए कहीं ज़्यादा खर्च चाहिए हो। इसका मतलब यह नहीं कि प्रगति रुक जाती है, लेकिन यह अर्थशास्त्र को बदल देता है। कोई नया आर्किटेक्चर या एल्गोरिदम वक्र को हिला सकता है, जबकि सुरक्षा, विश्वसनीयता, या भौतिक-अवतार को ऐसी प्रगति की ज़रूरत हो सकती है जो नेक्स्ट-टोकन-भविष्यवाणी हानि से नहीं मापी जाती। कोई भी मौजूदा स्केलिंग नियमों से अकेले यह तय नहीं कर सकता कि वे सफलताएं कहां घटित होंगी।
कंप्यूट एक शासन-उपकरण क्यों बना रहता है
इन चेतावनियों के बावजूद, उन्नत कंप्यूट असामान्य रूप से भौतिक और संकेंद्रित है। अत्याधुनिक चिप्स एक संकुचित वैश्विक आपूर्ति-श्रृंखला के ज़रिए बनाए जाते हैं, और सबसे बड़े प्रशिक्षण-क्लस्टरों को दृश्यमान पूंजी, बिजली, और नेटवर्किंग चाहिए। इसलिए सरकारें चिप निर्यात-नियंत्रण, रिपोर्टिंग आवश्यकताओं, और डेटा-सेंटर नियमों का इस्तेमाल फ्रंटियर क्षमता के प्रॉक्सी के रूप में करती हैं। एल्गोरिदम या नकल किए गए सॉफ़्टवेयर की तुलना में कंप्यूट की निगरानी करना आसान हो सकता है।
यह प्रॉक्सी अपूर्ण है। जैसे-जैसे एल्गोरिदम ज़्यादा कुशल होते जाते हैं, सीमाएं अप्रचलित हो सकती हैं। वितरित प्रशिक्षण और अनुमान हिसाब-किताब को जटिल बना देते हैं। अगर बुरी तरह लिखा गया हो, तो कोई कंप्यूट-नियम वैध शोध पर बोझ डाल सकता है, बड़े मौजूदा खिलाड़ियों को मज़बूत कर सकता है, या बचाव को प्रोत्साहित कर सकता है। प्रशिक्षण-कंप्यूट फ़ाइन-ट्यूनिंग, उपकरण-उपयोग, या कई अनुमान-कॉल के ज़रिए इकट्ठे किए गए सक्षम सिस्टम को भी चूक जाता है। प्रभावी नीति को सीमाओं को अपडेट करना चाहिए, दक्षता का हिसाब रखना चाहिए, निजता की रक्षा करनी चाहिए, और संक्रियाओं को नुकसान मानने के बजाय ज़िम्मेदारियों को जोखिम पर केंद्रित करना चाहिए।
कंप्यूट-शासन तब सबसे मज़बूत होता है जब इसे क्षमता-मूल्यांकन के साथ जोड़ा जाए। कंप्यूट उन रन की पहचान कर सकता है जो जांच के लायक हैं; मूल्यांकन यह परख सकते हैं कि परिणामी सिस्टम किसी खतरनाक-क्षमता सीमा को पार करता है या नहीं; तैनाती-निगरानी दुरुपयोग और विफलताओं को उजागर कर सकती है। किसी एक मेट्रिक को पूरा नियामक भार नहीं उठाना चाहिए।
स्केलिंग AGI समय-सीमाएं तय नहीं करती
तेज़ निवेश इस बात का सबूत है कि डेवलपर्स बड़े और ज़्यादा कुशल सिस्टम से प्रतिफल की उम्मीद करते हैं। ऐतिहासिक स्केलिंग इस बात का सबूत है कि अतिरिक्त संसाधनों ने अक्सर मापे गए प्रदर्शन को सुधारा है। न तो कोई AGI के लिए कोई तारीख़ साबित करता है। पूर्वानुमानों को हार्डवेयर, ऊर्जा, डेटा, एल्गोरिदम, अनुमान, विश्वसनीयता, और AGI की परिभाषा को खुद मॉडल करना होगा।
यह दावा कि “स्केलिंग रुक गई है” इस बात को स्पष्ट करने की मांग करता है कि कौन-सा मेट्रिक और कौन-सा सिस्टम। यह दावा कि “स्केलिंग ही सब कुछ है” यह दिखाने की मांग करता है कि बचे हुए अंतर उसी रुझान तक सीमित किए जा सकते हैं। इन दो नारों के बीच एक बचाव-योग्य स्थिति है: स्केलिंग नियम आधुनिक AI की सबसे उपयोगी अनुभवजन्य नियमितताओं में से हैं, लेकिन वे गुणात्मक सामाजिक परिणामों की तुलना में दायरों के भीतर औसतों का बेहतर पूर्वानुमान लगाते हैं।
पाठकों को क्या पूछना चाहिए
जब किसी नए मॉडल का श्रेय स्केल को दिया जाए, तो पूछें कि कौन-सा संसाधन कितना बढ़ा, और किस आधार-रेखा के मुकाबले। क्या तुलना कंप्यूट-इष्टतम थी? क्या डेटा या एल्गोरिदम बदले? क्या रिपोर्ट किया गया लाभ प्रशिक्षण-हानि, किसी बेंचमार्क, विशेषज्ञ-कार्य, या किसी तैनात परिणाम पर है? विश्वसनीयता और लागत कैसी दिखीं? क्या परिणाम स्वतंत्र रूप से पुनरुत्पादनीय हैं?
ये सवाल स्केलिंग नियमों के असली सबक को बचाए रखते हैं बिना इसे पौराणिक कथा बनाए। ज़्यादा कंप्यूट ने बार-बार बेहतर मॉडल संभव बनाए हैं। यह एक प्रमुख औद्योगिक इनपुट और निगरानी का एक व्यावहारिक बिंदु है। यह बुद्धिमत्ता की कोई सार्वभौमिक इकाई नहीं है, सुरक्षित व्यवहार की कोई गारंटी नहीं है, या AGI तक की कोई उलटी गिनती नहीं है।