यह पेज क्या है, और क्या नहीं
यह पेज संख्याओं के पीछे के सबूत के बारे में है, संख्याओं के बारे में नहीं। आपने सुर्खियां देखी हैं: एक गंभीर शोधकर्ता कहता है कि AI-प्रेरित मानव-विलुप्ति की संभावना लगभग 20% है, दूसरा कहता है कि यह व्यावहारिक रूप से शून्य है, और दोनों विशेषज्ञता का हवाला देते हैं। यह पेज बताता है कि वे अनुमान कहां से आते हैं, वे परिमाण के दो क्रमों में क्यों फैलते हैं, और — सबसे उपयोगी रूप से — किसी सतर्क पाठक को ऐसी मात्रा के साथ क्या करना चाहिए जिसे कोई नहीं माप सकता।
यहां चर्चा किए गए सर्वेक्षण-परिणाम और मॉडल अवलोकित प्रकाशन हैं। उनकी असहमति का क्या मतलब है इसकी व्याख्या विश्लेषण है। इस साथी-तर्क के लिए कि ये संख्याएं एक श्रेणीगत रूप से अलग तरह के परिणाम का वर्णन करती हैं, देखें विलुप्ति बनाम सामूहिक-जनहानि घटनाएं; अनुमानों का इस मैनुअल का व्यापक उपचार जोखिम-अनुमान और विशेषज्ञ-असहमति पर है।
सर्वेक्षण वास्तव में क्या कहते हैं
सबसे बड़े प्रासंगिक सर्वेक्षण ने हज़ारों मशीन-लर्निंग शोधकर्ताओं — प्रमुख AI सम्मेलनों के लेखकों — से उन्नत AI के दीर्घकालिक प्रभाव पर उनकी संभावनाएं पूछीं। 2023 की लहर ने भविष्य की AI प्रगति से पैदा मानव-विलुप्ति या इसी तरह की स्थायी और गंभीर सत्ता-हीनता के लिए लगभग 5% का माध्यिका अनुमान पाया, 16% के क़रीब औसत के साथ और लगभग 0% से 19% तक फैली एक अंतर-चतुर्थक सीमा के साथ (Grace et al., 2024)। उस वितरण को पढ़ें, केवल माध्यिका को नहीं: माध्यिका से चार गुना ज़्यादा औसत का मतलब है एक लंबी दाईं पूंछ, 20% से ऊपर के विशेषज्ञों का एक सारगर्भित अल्पसंख्यक और कुछ 50% के क़रीब, जबकि एक और सारगर्भित अल्पसंख्यक अनिवार्यतः शून्य पर बैठा है।
वही पेपर दस्तावेज़ीकृत करता है कि संख्या शब्दांकन के साथ बदलती है। जब सवाल में मनुष्यों की उन्नत AI को नियंत्रित न कर पाने से हुई विलुप्ति निर्दिष्ट की गई, तो माध्यिका दोगुनी होकर लगभग 10% हो गई। जब 2022 की एक लहर ने सामान्य रूप से AI से विलुप्ति के बारे में पूछा, तो माध्यिका 5% थी; पहले के AI Impacts सर्वेक्षण-दौर फ़्रेमिंग के प्रति वही संवेदनशीलता दिखाते हैं (2022 Expert Survey on Progress in AI)। कोई मात्रा जो सवाल दोबारा वाक्यबद्ध किए जाने पर दो के गुणक से बदल जाती है, वह आपको उत्तरदाताओं की अनिश्चितता के बारे में कुछ बताती है — और, सच कहें तो, मापी जा रही संकल्पना की ढिलाई के बारे में। इनमें से कुछ भी सर्वेक्षणों को बेकार नहीं बनाता। यह उन्हें कच्चा माल बनाता है, फ़ैसले नहीं।
मॉडल-आधारित अनुमान बनाम सहज-निर्णय
अनुमानों का एक दूसरा परिवार किसी की सहज-समझ नहीं पूछता; यह एक स्पष्ट तर्क बनाता है और हर क़दम को संभावनाएं सौंपता है। सबसे कठोर उदाहरण Joseph Carlsmith का संरचित विश्लेषण है कि क्या सत्ता-खोजी AI अस्तित्वगत जोखिम पैदा करता है, जो दावे को छह संयोजनों में तोड़ता है — सिस्टम कहीं ज़्यादा सक्षम बनेंगे, वे सत्ता खोजेंगे, मनुष्य इसे सुधारने में विफल रहेंगे, वग़ैरह — और हर एक पर एक संभावना का बचाव करता है। उनका अंतिम निष्कर्ष इस सदी में AI-प्रेरित आपदा के लिए लगभग 10% पर बैठता है, चौड़ी त्रुटि-सीमाओं के साथ जिन्हें वे सावधानी से दिखाते हैं (Carlsmith, 2022)। उसी परंपरा में काम करने वाले दार्शनिक व्यक्तिगत संयोजनों पर विवाद करके अलग संख्याओं पर पहुंचते हैं: Toby Ord, The Precipice (2020) में, ग़लत-संरेखित AI से इस सदी में लगभग छह में एक के समग्र अस्तित्वगत जोखिम का तर्क देते हैं, संरेखण-समस्या की एक ज़्यादा निराशावादी पढ़ाई से प्रेरित।
ये मॉडल एक ऐसा गुण साझा करते हैं जो सर्वेक्षणों में नहीं है: हर क़दम दृश्यमान और विवाद-योग्य है। वे दो दोष साझा करते हैं। हर क़दम विवाद-योग्य भी है, यही वजह है कि तर्कसंगत पाठक व्यक्तिगत संयोजनों का चिह्न पलट देते हैं; और हर क़दम से जुड़ी संभावनाएं अंततः फिर भी निर्णय हैं। किसी डायग्राम वाला सहज-निर्णय अब भी एक सहज-निर्णय है। 10% के संरचित मॉडल और 0.1% के सहज-अनुमान के बीच असहमति कोई मापन-टकराव नहीं है। यह इस बारे में टकराव है कि कौन-सी संदर्भ-श्रेणियां और कौन-से विफलता-तरीक़े वज़न के हक़दार हैं।
संदर्भ-श्रेणियां अलग-अलग दिशाओं में क्यों खींचती हैं
हर अनुमान के नीचे एक उपमा बैठी है, और उपमाएं वाक़ई टकराती हैं:
- जैविक विलुप्ति। प्रजातियां लगातार विलुप्त होती हैं; हाल के दशकों में पृष्ठभूमि-दर लगभग एक से पांच प्रजाति प्रति वर्ष है। लेकिन वे छोटी आबादी और संकुचित परास वाली प्रजातियां हैं। सबसे नज़दीकी मानवीय समरूप, Toba सुपर-विस्फोट बॉटलनेक, विवादित है और पूरी तरह सभ्यता से पहले का है। यह आधार-दर “विलुप्ति एक सामान्य परिणाम है” की ओर खींचती है जबकि किसी वैश्विक तकनीकी प्रजाति के बारे में लगभग कुछ नहीं बताती।
- परमाणु नज़दीकी चूकें। क्यूबा मिसाइल संकट, 1983 की Stanislav Petrov घटना, और 1995 का नॉर्वेजियन रॉकेट-डर अधिकतम तनाव में सिस्टमों को नज़दीकी-विफलताएं पैदा करते हुए और फिर विफल न होते हुए दिखाते हैं। आशावादी भाग्य-से-बचाई गई घटनाओं की एक लंबी शृंखला पढ़ते हैं; निराशावादी उसी शृंखला को इस सबूत के रूप में पढ़ते हैं कि भाग्य ख़त्म हो जाता है।
- तकनीकी दुर्घटनाएं। हवाई जहाज़, रिएक्टर, और अंतरिक्ष-यान मापने-योग्य दरों पर विफल होते हैं और फिर कठिन ढंग से सीखे गए पुनर्डिज़ाइन के ज़रिए ज़्यादा सुरक्षित बनते हैं। आशावादी पुनर्डिज़ाइन को एक्सट्रापोलेट करते हैं; निराशावादी बताते हैं कि विमानन को केवल एक बार सफल होना ज़रूरी नहीं था।
हर उपमा ईमानदार है। हर एक कोई पूर्व-मान्यता संहिताबद्ध करती है, तथ्य नहीं। अनुमान इसलिए अलग होते हैं क्योंकि पूर्व-मान्यताएं अलग होती हैं, और पूर्व-मान्यताएं इसलिए अलग होती हैं क्योंकि कोई प्रत्यक्ष सबूत नहीं है — प्रयोग का कोई पूर्ण किया गया रन नहीं — जो इनमें से किसी को अनुशासित करे।
असहमति ख़ुद आपको क्या बताती है
यहां है वह विश्लेषणात्मक बिंदु जिसे ज़्यादातर कवरेज चूक जाती है: भिन्नता ही निष्कर्ष है। अगर विलुप्ति-संभावना का अनुमान लगाना आसान होता, तो हज़ारों जानकार विशेषज्ञ लगभग शून्य से लेकर लगभग सिक्का-उछाल तक के अनुमान नहीं देते। यह फैलाव ज्ञान की स्थिति के बारे में सबूत है, उसी तरह जैसे बेतहाशा भिन्न मौसम-मॉडल इस बात का सबूत हैं कि तूफ़ान वाक़ई अप्रत्याशित है, इसका नहीं कि औसत पूर्वानुमान सही होना चाहिए। विशेषज्ञों को एक सुथरे बीच के आंकड़े में — मान लें, 5% — औसत करना सटीकता का एहसास पैदा करता है जबकि जानकारी में से कुछ भी विरासत में नहीं लेता। 2026 की International AI Safety Report, अब तक का सबसे व्यापक संश्लेषण-प्रयास, स्पष्ट रूप से मानती है कि गंभीर-जोखिम का सबूत पतला, विवादित, और मुट्ठी-भर प्रयोगशालाओं में संकेंद्रित है (International AI Safety Report 2026)।
एक और तथ्य जो यह वितरण संहिताबद्ध करता है: असहमति यादृच्छिक नहीं है। सर्वेक्षणों में, जो शोधकर्ता तेज़ क्षमता-प्रगति की उम्मीद करते हैं वे ज़्यादा आपदा-जोखिम संभावनाएं सौंपते हैं, और फ़्रंटियर प्रयोगशालाओं के शोधकर्ता स्वतंत्र अकादमिकों से कम संभावनाएं सौंपते हैं। इसमें से कुछ इस बारे में सबूत है कि कौन क्या देखता है। इसमें से कुछ प्रोत्साहन है। पाठकों को दोनों व्याख्याएं थामे रखनी चाहिए।
इन संख्याओं का वास्तव में इस्तेमाल कैसे करें
व्यावहारिक निष्कर्ष यह नहीं है कि संख्याएं बेकार हैं; यह है कि उन्हें सही उपकरण के साथ इस्तेमाल किया जाना चाहिए। अपेक्षित-मूल्य बहीखाता — किसी सटीक संभावना को किसी प्रतिफल से गुणा करना और परिणामों को रैंक करना — यहां विफल हो जाता है, क्योंकि इनपुट परिमाण के दो क्रमों जितना चौड़ा निर्णय है और इनपुट में छोटी ग़लतियां चुपचाप परिणाम पर हावी हो जाती हैं। गहरी अनिश्चितता के तहत फ़ैसला-निर्माण अलग ढंग से काम करता है: आप पूछते हैं कि पूरी प्रशंसनीय सीमा में कौन-सी कार्रवाइयां करने लायक़ बनी रहती हैं, और आप उन कार्रवाइयों को प्राथमिकता देते हैं जो सर्वोत्तम के बजाय मज़बूत हों।
AI-विलुप्ति जोखिम पर लागू करने पर, वह तर्क स्पष्ट कर देता है। रोकथाम-कार्य — क्षमता-मूल्यांकन, तैनाती-सुरक्षा-उपाय, कंप्यूट-गवर्नेंस — 20% पर, 5% पर, और 1% पर करने लायक़ लगता है, क्योंकि काम की लागत मामूली है और जिस परिणाम से यह बचाता है वह सामान्य नीति में मूल्यांकित किसी भी चीज़ से श्रेणीगत रूप से अलग है। ख़ारिज करना केवल शून्य के क़रीब बचाव-योग्य लगता है। तो सर्वेक्षण, अपनी ढिलाई के बावजूद, असली काम करते हैं: वे आपको बताते हैं कि शून्य-के-क़रीब एक विवादित स्थिति है, कोई सहमति नहीं। अंतर्निहित समय-सीमा अपेक्षाएं असहमति को कैसे चलाती हैं इसके लिए देखें समय-सीमा पूर्वानुमान। आग की संभावना जानने की ज़रूरत नहीं है अग्निशामक-यंत्र ख़रीदने को उचित ठहराने के लिए। आपको बस यह जानने की ज़रूरत है कि गंभीर लोग, वही सबूत देखते हुए, लगातार धुआं सूंघते रहते हैं।