Soy tükenmesi daha büyük bir felaket değildir İnsan soyunun tükenmesinin, çoğu insanı öldüren bir felaketten kategorik olarak farklı bir sonuç olmasının nedeni, ve önlemenin neden geçerli tek müdahale olduğu.
Kaynakları doğrulandı 5 min
09 Sonrası
En kötü sonuçların gerçekte neye benzeyeceği
04'ten 08'e kadar olan bölümler, önlemenin başarılı olabileceğini ve sürekliliğin sağlanabileceğini varsayar. Bu bölüm ise diğer dalı dürüstçe ele alır: yok oluş düzeyindeki olaylar, medeniyet çöküşü ve yapay zekâ egemenliği altında yaşam — felaket kurgusu düzeyinde değil, sonuç düzeyinde tarif edilir.
Bu bölüm neden var
Yalnızca önlemenin nasıl başarılı olduğunu tarif eden bir hazırlık kılavuzu, hiç savunmadığı bir varsayımı sessizce yapıyor demektir. 07. bölüm, ileri düzey yapay zekânın kitlesel can kaybına veya medeniyet ölçeğinde zarara nasıl yol açabileceğine dair mekanizmaları listeledi. Bu bölüm ise bunlardan biri başarılı olursa ne olacağını sorar — telafisi olmayan bir olayın ne olduğunu, bunun hayatta kalınabilir bir felaketten nasıl farklılaştığını, çöküş ve toparlanmanın gerçekte neyi içerdiğini ve olayın ardından yaşayan insanlar için hangi seçimlerin kaldığını. Amaç gösteri değildir. Mesele şudur ki "yok oluş riski" ve "çöküş" genellikle slogan olarak kullanılır ve sloganlara karşı plan yapılamaz.
Bu bölümün konusunun büyük bölümünün arkasındaki bahis bildirisi kısadır ve birkaç büyük laboratuvarla bağlantılı kişiler de dâhil olmak üzere 350'den fazla araştırmacı ve yönetici tarafından imzalanmıştır:
Signatories to the Statement on AI Risk hold that mitigating the risk of extinction from AI should be a global priority alongside pandemics and nuclear war.
safe.ai, Signed statement
Geoffrey Hinton, riske kişisel bir rakam koymuştur. Bu, belirsizlik altında bir uzman görüşüdür, ölçülmüş bir sıklık değil — ve uzmanlar arasındaki geniş görüş ayrılığı bu bölümde ayrıca incelenmektedir:
Geoffrey Hinton said in a December 2024 BBC interview that he put the chance of AI causing human extinction within thirty years at 10–20%.
BBC Radio 4, reported by The Guardian, Secondary coverage
Üç başarısızlık dalı
Bu bölümdeki sayfalar, en kötü durumları yapısal olarak birbirinden farklı üç sonuca ayırır, çünkü bunlar farklı tepkiler gerektirir. Yok oluş ve yok oluşa yakın durumlar, telafisi olmayan bir olayı yalnızca felaket niteliğindeki bir olaydan neyin ayırdığını ve bu tür olayların makul olarak nasıl gelişeceğini ele alır. Çöküş ve toparlanma, çoğu insanın en az net biçimde hayal ettiği orta alanı ele alır: on yıllarca veya yüzyıllarca geriye atılmış bir medeniyet ve toparlanıp toparlanmayacağını neyin belirlediği. Kontrol kaybı altında yaşam, insanlığın hayatta kaldığı ama artık anlamlı bir güce sahip olmadığı durumu ele alır — dramatik bir anı ve dolayısıyla dramatik bir uyarısı olmayan sonuç.
Bu bölüm ne yapmaz
Editoryal sınır
Bu sayfalar, bir okuyucunun bunlar hakkında akıl yürütmesi için gereken düzeyde sonuçları tarif eder. Hiçbiri zarar vermeye yönelik operasyonel talimatlar sağlamaz — sentez ayrıntıları, istismar adımları ve saldırı özellikleri, tıpkı 07. bölümde olduğu gibi bu kılavuzun kapsamı dışında kalır. Buradaki senaryo çerçevelemesi kasıtlı olarak doğrudandır: felaket odaklı çerçevelemeye karşı ev kuralı kaldırıldı, çünkü hafife alma hiçbir okuyucuya hizmet etmez. Kaynak standardı değişmedi — her önemli iddia hâlâ kaynağını taşır ve revizyon politikası hâlâ geçerlidir.
Bu bölümde
Bir soy tükenmesi olayı gerçekte nasıl gelişirdi Yinelenen bir salgının, makine-hızında askeri tırmanmanın veya altyapı çöküşünün insan hikâyesini nasıl bitirebileceğinin sonuç-düzeyinde senaryo analizi.
Kaynakları doğrulandı 5 min
Uzman soy-tükenmesi tahminleri neden bu kadar geniş ayrılıyor Uzman anketlerinin ve yapılandırılmış modellerin yapay-zekâ soy-tükenmesi olasılığı hakkında gerçekte söyledikleri, ve bu kadar belirsiz sayıların nasıl kullanılacağı.
Kaynakları doğrulandı 5 min
Medeniyet çöküşü senaryoları Medeniyet çöküşünün gerçekte ne anlama geldiği, önce neyin başarısız olduğu — para, gıda, enerji, su, devlet — ve yapay-zekâ-kaynaklı bir çöküşün nasıl farklı olacağı.
Kaynakları doğrulandı 5 min
Uzun süreli kriz mi, kurtarma mı Kötü bir yıl ile son arasındaki karmaşık orta yer: çok yıllı bozulma, kurtarmanın gerçekte gerektirdiği, onu önleyen tuzaklar, ve onu geriye döndüren şey.
Kaynakları doğrulandı 5 min
Bilgi koruma ve kurtarma Tohumlar, arşivler ve Rosetta diskleri: bugünün koruma projelerinin gerçekte neyi koruduğu, dijitalin neden kırılgan olduğu, ve neyin gerçekten işe yaradığı.
Kaynakları doğrulandı 5 min
Yapay zekâ hâkimiyeti altında yaşamak İnsanlığın gelişmiş yapay zekâyı atlattığı ama gerçek güç taşımadığı bir geleceğin senaryo analizi — ve bağımlılığın her kuşakta tersine dönmeyi neden zorlaştırdığı.
Kaynakları doğrulandı 5 min
Son hamleler ve kapatma girişimleri Gelişmiş yapay zekâ kontrolü kaybedildikten sonra ne yapılabileceğinin analizi — ve her son hamlenin koordinasyon olmadan neden başarısız olduğu.
Kaynakları doğrulandı 5 min
Varoluşsal dehşet ve ahlaki yaralanma İklim-psikolojisi araştırması ve ahlaki-yaralanma çalışmalarının olası medeniyet kaybıyla yüzleşmek hakkında öğrettikleri — ve dehşetin umutsuzluğa dönüşmesini önlemek.
Kaynakları doğrulandı 5 min
Bir hedef olarak değerlerin sürekliliği Hayatta kalma belirsizse, kayıtları, değerleri ve kültürü korumak tutarlı bir hedef mi? Lehte ve aleyhte argümanlar, denenenler, ve şimdi yapılması gerekenler.
Kaynakları doğrulandı 5 min
AGI'ye dini ve felsefi tepkiler Katolik, İslami, Budist ve Yahudi otoriteler, artı seküler filozoflar, AGI riski, kontrolü ve ahlaki statüsü üzerine resmî, tarihli pozisyonlar yayımladı.
Kaynakları doğrulandı 6 min