इंजीनियर की गई महामारियां और जैव-हथियार जोखिम AI-जैव उत्थान अध्ययन क्या दिखाते हैं, क्या नहीं दिखाते, और सूचना-सुरक्षा उपाय वास्तविक-दुनिया जैव-रक्षा से कैसे जुड़ते हैं, Anthropic के 2025 ASL-3 फ़ैसले सहित।
स्रोत-जाँचा 6 min
07 तंत्र
सबसे बुरे परिणामों के पीछे के तंत्र
अध्याय 02 सामान्य नियंत्रण-हानि तंत्र को कवर करता है। यह अध्याय उन विशिष्ट, नामित रास्तों की सूची है जिनका शोधकर्ता वास्तव में अध्ययन करते हैं — क्योंकि जो हस्तक्षेप एक को रोकता है, वह ज़रूरी नहीं कि दूसरे को भी रोके।
यह एक परिदृश्य क्यों नहीं है
"AI सबको मार सकता है" कई संरचनात्मक रूप से अलग-अलग विफलता-स्थितियों को एक ही छवि में समेट देता है। यह संक्षेपण किसी सुर्खी के लिए उपयोगी है और रोकथाम के लिए बेकार, क्योंकि जो तकनीकी और नीतिगत हस्तक्षेप एक तंत्र से निपटते हैं, वे दूसरे के लिए बहुत कम काम कर सकते हैं — उदाहरण के लिए, किसी बड़े प्रशिक्षण रन पर नियंत्रण अपने आप में पहले से तैनात किसी मॉडल के दुरुपयोग को नहीं रोकते। कई प्रमुख लैब से जुड़े लोगों समेत 350 से अधिक शोधकर्ताओं और कार्यकारियों ने 2023 में नीति-निर्माताओं से विलुप्ति के जोखिम को वैश्विक प्राथमिकता के रूप में लेने का आग्रह करते हुए एक-पंक्ति के वक्तव्य पर हस्ताक्षर किए। यह प्रमुख हस्ताक्षरकर्ताओं की एक स्थिति दर्ज करता है; यह नुकसान की संभावना को नहीं मापता:
Signatories to the Statement on AI Risk hold that mitigating the risk of extinction from AI should be a global priority alongside pandemics and nuclear war.
safe.ai, Signed statement
तीन व्यापक श्रेणियां
2026 की अंतरराष्ट्रीय AI सुरक्षा रिपोर्ट तीन व्यापक श्रेणियों का उपयोग करती है। दुर्भावनापूर्ण उपयोग तब होता है जब कोई मनुष्य जान-बूझकर AI क्षमता को बड़े पैमाने पर नुकसान की ओर निर्देशित करता है — इंजीनियर की गई महामारियां, बुनियादी ढांचे पर हमले, या स्वायत्त हथियार। खराबी में विश्वसनीयता की विफलताएं और संभावित नियंत्रण-हानि परिदृश्य शामिल हैं जिनमें सिस्टम किसी के भी नियंत्रण से बाहर काम करते हैं। प्रणालीगत जोखिम व्यापक तैनाती और संस्थागत परस्पर-क्रिया से पैदा होते हैं, जिनमें संकेंद्रण, श्रम व्यवधान, और मनुष्यों का क्रमिक सत्ता-हरण शामिल है। श्रेणियां आपस में मिल सकती हैं, और तंत्रों के बीच साक्ष्य की मज़बूती अलग-अलग होती है। रिपोर्ट के अध्यक्ष ने सार्वजनिक रूप से नियंत्रण की हानि पर ज़ोर दिया है:
Yoshua Bengio warned that future systems exhibiting self-preservation behavior could create a loss-of-control risk.
AFP, via TechXplore, Secondary coverage
जेफ्री हिंटन ने भी एक व्यक्तिगत संभाव्यता अनुमान दिया है। यह अनिश्चितता के तहत एक विशेषज्ञ की राय है, कोई मापी गई आवृत्ति नहीं:
Geoffrey Hinton said in a December 2024 BBC interview that he put the chance of AI causing human extinction within thirty years at 10–20%.
BBC Radio 4, reported by The Guardian, Secondary coverage
यह अध्याय क्या नहीं करता
संपादकीय सीमा
हर पृष्ठ दस्तावेज़ीकृत साक्ष्य को पूर्वानुमानों और सिद्धांत से अलग करता है, साथ ही शोधकर्ताओं द्वारा प्रस्तावित उपायों का नाम भी बताता है। कोई भी पृष्ठ संश्लेषण, एक्सप्लॉइट, या हमले का विवरण नहीं बताता — ऐसी जानकारी किसी पाठक को अधिक सुरक्षित नहीं बनाएगी, और इसे प्रकाशित करना वह नहीं है जिसकी सूचित तैयारी के लिए ज़रूरत होती है। महत्वपूर्ण दावों को कैसे वर्गीकृत और समीक्षित किया जाता है, यह जानने के लिए स्रोत मानक देखें।
इस अध्याय में
अवसंरचना पर AI-सक्षम साइबर-हमले साइबर-संक्रियाओं में AI क्या बदल रहा है, अवसंरचना उजागर क्यों है, और आक्रमण-बचाव संतुलन अनिश्चित क्यों है, 2025 की AI-जासूसी रिपोर्ट सहित।
स्रोत-जाँचा 6 min
स्वायत्त हथियार और सैन्य वृद्धि हथियारों में स्वायत्तता का क्या मतलब है, संघर्ष में क्या दस्तावेज़ीकृत हुआ है, और AI वृद्धि व जवाबदेही को कैसे बदल सकता है, जैसे लीबिया का विवादित Kargu-2 मामला।
स्रोत-जाँचा 7 min
क्रमिक सत्ता-हीनता एक सैद्धांतिक रास्ता जिसमें AI पर संचित निर्भरता बिना नाटकीय अधिग्रहण के मानवीय नियंत्रण कमज़ोर करती है, अर्थव्यवस्था, राज्य, और संस्कृति में बताया गया।
स्रोत-जाँचा 7 min
इनाम-हैकिंग और विनिर्देश-खेल अनुकूलक अपूर्ण उद्देश्यों का शोषण कैसे करते हैं, क्या देखा गया है, और मौजूदा उदाहरण अकेले भविष्य की नियंत्रण-हानि क्यों साबित नहीं करते।
स्रोत-जाँचा 7 min
सामूहिक अनुनय और ज्ञान-मीमांसीय हेरफेर AI अनुनय के बारे में प्रयोग क्या दिखाते हैं, वास्तविक-दुनिया का सबूत क्या नहीं दिखाता, और पैमाना जोखिम कैसे बदल सकता है, 76,977-व्यक्ति के 2026 अध्ययन अनुसार।
स्रोत-जाँचा 6 min
मल्टीपोलर और बहु-एजेंट विनाशकारी गतिशीलता राज्यों, कंपनियों, और स्वायत्त AI एजेंटों के बीच प्रतिस्पर्धा विनाशकारी परिणाम कैसे पैदा कर सकती है, भले ही हर भागीदार आपदा से बचना पसंद करता हो।
स्रोत-जाँचा 7 min
AI जोखिम-अनुमान और विशेषज्ञ-असहमति सहमति गढ़े या अनिश्चितता ख़ारिज किए बिना सर्वेक्षणों, पूर्वानुमानों, और संभावना-अनुमानों की व्याख्या कैसे करें, 2,778-व्यक्ति के सर्वेक्षण के आधार पर।
स्रोत-जाँचा 7 min
AI, परमाणु कमान, और संकट-स्थिरता AI निर्णय-सहायता प्रक्षेपण-अधिकार के बिना भी परमाणु संकटों को कैसे प्रभावित कर सकती है, और कौन-से सुरक्षा-उपाय वृद्धि-जोखिम कम करते हैं, जैसे संकट में स्वचालन-पूर्वाग्रह।
स्रोत-जाँचा 8 min
धोखा, सैंडबैगिंग, स्व-प्रतिकृति, और एक्सफ़िल्ट्रेशन चार अलग-अलग फ्रंटियर-मॉडल मूल्यांकन क्या परखते हैं, लैब्स ने क्या देखा है, और अकेले कोई भी विनाशकारी नियंत्रण-हानि क्यों नहीं दिखाता।
स्रोत-जाँचा 7 min
खाद्य-प्रणाली की श्रृंखला-विफलताएं लगभग हर विलुप्ति-संलग्न परिदृश्य सीधी हिंसा से नहीं, भोजन से होकर गुज़रता है। खाद्य-प्रणाली शृंखलाबद्ध रूप से कैसे विफल होती है, और उसे वास्तव में क्या तोड़ेगा।
स्रोत-जाँचा 6 min
अवसंरचना की भंगुरता और एकल विफलता-बिंदु आधुनिक जीवन का कितना हिस्सा उन घटकों पर टिका है जिन्हें बदलने में दिन, महीने, या साल लगते हैं — और हर विनाशकारी परिदृश्य उसी आधार-तल पर क्यों काम करता है।
स्रोत-जाँचा 6 min