09 Sonrası
En kötü sonuçların gerçekte neye benzeyeceği
04'ten 08'e kadar olan bölümler, önlemenin başarılı olabileceğini ve sürekliliğin sağlanabileceğini varsayar. Bu bölüm ise diğer dalı dürüstçe ele alır: yok oluş düzeyindeki olaylar, medeniyet çöküşü ve yapay zekâ egemenliği altında yaşam — felaket kurgusu düzeyinde değil, sonuç düzeyinde tarif edilir.
Bu bölüm neden var
Yalnızca önlemenin nasıl başarılı olduğunu tarif eden bir hazırlık kılavuzu, hiç savunmadığı bir varsayımı sessizce yapıyor demektir. 07. bölüm, ileri düzey yapay zekânın kitlesel can kaybına veya medeniyet ölçeğinde zarara nasıl yol açabileceğine dair mekanizmaları listeledi. Bu bölüm ise bunlardan biri başarılı olursa ne olacağını sorar — telafisi olmayan bir olayın ne olduğunu, bunun hayatta kalınabilir bir felaketten nasıl farklılaştığını, çöküş ve toparlanmanın gerçekte neyi içerdiğini ve olayın ardından yaşayan insanlar için hangi seçimlerin kaldığını. Amaç gösteri değildir. Mesele şudur ki "yok oluş riski" ve "çöküş" genellikle slogan olarak kullanılır ve sloganlara karşı plan yapılamaz.
Bu bölümün konusunun büyük bölümünün arkasındaki bahis bildirisi kısadır ve birkaç büyük laboratuvarla bağlantılı kişiler de dâhil olmak üzere 350'den fazla araştırmacı ve yönetici tarafından imzalanmıştır:
Signatories to the Statement on AI Risk hold that mitigating the risk of extinction from AI should be a global priority alongside pandemics and nuclear war.
safe.ai, Signed statement
Geoffrey Hinton, riske kişisel bir rakam koymuştur. Bu, belirsizlik altında bir uzman görüşüdür, ölçülmüş bir sıklık değil — ve uzmanlar arasındaki geniş görüş ayrılığı bu bölümde ayrıca incelenmektedir:
Geoffrey Hinton said in a December 2024 BBC interview that he put the chance of AI causing human extinction within thirty years at 10–20%.
BBC Radio 4, reported by The Guardian, Secondary coverage
Üç başarısızlık dalı
Bu bölümdeki sayfalar, en kötü durumları yapısal olarak birbirinden farklı üç sonuca ayırır, çünkü bunlar farklı tepkiler gerektirir. Yok oluş ve yok oluşa yakın durumlar, telafisi olmayan bir olayı yalnızca felaket niteliğindeki bir olaydan neyin ayırdığını ve bu tür olayların makul olarak nasıl gelişeceğini ele alır. Çöküş ve toparlanma, çoğu insanın en az net biçimde hayal ettiği orta alanı ele alır: on yıllarca veya yüzyıllarca geriye atılmış bir medeniyet ve toparlanıp toparlanmayacağını neyin belirlediği. Kontrol kaybı altında yaşam, insanlığın hayatta kaldığı ama artık anlamlı bir güce sahip olmadığı durumu ele alır — dramatik bir anı ve dolayısıyla dramatik bir uyarısı olmayan sonuç.
Bu bölüm ne yapmaz
Bu sayfalar, bir okuyucunun bunlar hakkında akıl yürütmesi için gereken düzeyde sonuçları tarif eder. Hiçbiri zarar vermeye yönelik operasyonel talimatlar sağlamaz — sentez ayrıntıları, istismar adımları ve saldırı özellikleri, tıpkı 07. bölümde olduğu gibi bu kılavuzun kapsamı dışında kalır. Buradaki senaryo çerçevelemesi kasıtlı olarak doğrudandır: felaket odaklı çerçevelemeye karşı ev kuralı kaldırıldı, çünkü hafife alma hiçbir okuyucuya hizmet etmez. Kaynak standardı değişmedi — her önemli iddia hâlâ kaynağını taşır ve revizyon politikası hâlâ geçerlidir.