09 Akibat
Seperti apa sebenarnya hasil terburuk itu
Bab 04 hingga 08 mengasumsikan bahwa pencegahan dapat berhasil dan kesinambungan dapat bertahan. Bab ini secara jujur mengambil cabang yang lain: peristiwa setingkat kepunahan, keruntuhan peradaban, dan kehidupan di bawah dominasi AI — dijelaskan pada tingkat konsekuensi, bukan fiksi bencana.
Mengapa bab ini ada
Manual kesiapsiagaan yang hanya menjelaskan bagaimana pencegahan berhasil diam-diam membuat asumsi yang tidak pernah ia perdebatkan. Bab 07 mengkatalogkan mekanisme yang melaluinya AI tingkat lanjut dapat menyebabkan bahaya massal atau berskala peradaban. Bab ini menanyakan apa yang terjadi jika salah satu dari mekanisme itu berhasil — apa itu peristiwa yang tidak dapat dipulihkan, bagaimana bedanya dengan bencana yang masih dapat diselamatkan, apa yang sebenarnya terlibat dalam keruntuhan dan pemulihan, dan pilihan apa yang tersisa bagi manusia yang hidup melewati akibatnya. Intinya bukan tontonan. Intinya adalah bahwa «risiko kepunahan» dan «keruntuhan» biasanya digunakan sebagai slogan, dan slogan tidak dapat direncanakan untuk dihadapi.
Pernyataan tentang taruhan di balik sebagian besar materi bab ini singkat dan ditandatangani oleh lebih dari 350 peneliti dan eksekutif, termasuk orang-orang yang berafiliasi dengan beberapa laboratorium besar:
Signatories to the Statement on AI Risk hold that mitigating the risk of extinction from AI should be a global priority alongside pandemics and nuclear war.
safe.ai, Signed statement
Geoffrey Hinton telah memberikan angka pribadi untuk risiko ini. Ini adalah penilaian ahli di bawah ketidakpastian, bukan frekuensi yang terukur — dan ketidaksepakatan luas di antara para ahli itu sendiri dikaji dalam bab ini:
Geoffrey Hinton said in a December 2024 BBC interview that he put the chance of AI causing human extinction within thirty years at 10–20%.
BBC Radio 4, reported by The Guardian, Secondary coverage
Tiga cabang kegagalan
Halaman-halaman dalam bab ini mengurutkan kasus terburuk ke dalam tiga hasil yang secara struktural berbeda, karena masing-masing membutuhkan respons yang berbeda. Kepunahan dan hampir-kepunahan membahas apa yang membedakan peristiwa yang tidak dapat dipulihkan dari yang sekadar bencana, dan bagaimana peristiwa semacam itu mungkin berlangsung. Keruntuhan dan pemulihan membahas wilayah tengah yang paling tidak jelas dibayangkan kebanyakan orang: peradaban yang mundur puluhan atau ratusan tahun, dan apa yang menentukan apakah ia pulih. Kehidupan di bawah hilangnya kendali membahas kasus di mana umat manusia bertahan hidup tetapi tidak lagi memegang kekuatan yang berarti — hasil tanpa momen dramatis dan karena itu tanpa peringatan dramatis.
Apa yang tidak dilakukan bab ini
Halaman-halaman ini menjelaskan konsekuensi pada tingkat yang dibutuhkan pembaca untuk menalarnya. Tidak ada satu pun yang memberikan instruksi operasional untuk menyebabkan bahaya — rincian sintesis, langkah eksploitasi, dan spesifikasi serangan tetap berada di luar cakupan manual ini, persis seperti pada bab 07. Pembingkaian skenario di sini sengaja dibuat langsung: aturan internal terhadap pembingkaian yang condong ke bencana telah dihapus karena eufemisme tidak melayani pembaca mana pun. Standar sumber tidak berubah — setiap klaim yang konsekuensial masih membawa sumbernya, dan kebijakan revisi tetap berlaku.