Apa halaman ini, dan apa bukan
Halaman ini tentang bukti di balik angka-angka, bukan angka-angkanya sendiri. Anda telah melihat judul beritanya: satu peneliti serius mengatakan probabilitas kepunahan manusia yang digerakkan-AI sekitar 20%, yang lain mengatakan itu secara efektif nol, dan keduanya mengutip keahlian. Halaman ini menjelaskan dari mana estimasi-estimasi itu berasal, mengapa mereka tersebar dua orde besaran, dan — paling berguna — apa yang harus dilakukan seorang pembaca yang berhati-hati dengan sebuah kuantitas yang tidak dapat diukur siapa pun.
Hasil survei dan model yang dibahas di sini adalah publikasi yang teramati. Interpretasi tentang apa arti perselisihan mereka adalah analisis. Untuk argumen pendamping bahwa angka-angka ini menggambarkan sebuah jenis hasil yang secara kategoris berbeda, lihat kepunahan vs. peristiwa korban-massal; perlakuan manual yang lebih luas tentang estimasinya ada di estimasi risiko dan perselisihan ahli.
Apa yang sesungguhnya dikatakan survei-survei itu
Survei relevan terbesar bertanya kepada ribuan peneliti pembelajaran-mesin — para penulis di konferensi AI utama — untuk probabilitas mereka tentang dampak jangka-panjang AI canggih. Gelombang 2023 menemukan sebuah estimasi median sekitar 5% untuk kepunahan manusia atau pelemahan-daya yang serupa-permanen dan parah yang disebabkan kemajuan AI masa depan, dengan sebuah rata-rata mendekati 16% dan sebuah rentang interkuartil membentang kira-kira 0% hingga 19% (Grace dkk., 2024). Baca distribusi itu, bukan hanya mediannya: sebuah rata-rata empat kali median berarti sebuah ekor kanan yang panjang, dengan sebuah minoritas substansial ahli di atas 20% dan sebagian mendekati 50%, sementara minoritas substansial lain berada pada dasarnya di nol.
Makalah yang sama mendokumentasikan bahwa angka itu bergerak dengan kata-katanya. Ketika pertanyaan itu menetapkan kepunahan yang disebabkan ketidakmampuan manusia mengendalikan AI canggih, mediannya berlipat ganda menjadi sekitar 10%. Ketika sebuah gelombang 2022 bertanya tentang kepunahan dari AI secara umum, mediannya adalah 5%; putaran survei AI Impacts sebelumnya menunjukkan sensitivitas yang sama terhadap pembingkaian (2022 Expert Survey on Progress in AI). Sebuah kuantitas yang bergeser dengan faktor dua ketika pertanyaannya diformulasi-ulang memberi tahu Anda sesuatu tentang ketidakpastian para responden — dan, terus terang, tentang kelonggaran konsep yang diukur. Tidak satu pun dari ini membuat survei-survei itu tidak berharga. Itu membuat mereka bahan mentah, bukan vonis.
Estimasi berbasis-model versus penilaian naluri
Sebuah keluarga estimasi kedua tidak bertanya intuisi siapa pun; ia membangun sebuah argumen eksplisit dan menetapkan probabilitas pada setiap langkah. Contoh yang paling ketat adalah analisis terstruktur Joseph Carlsmith tentang apakah AI pencari-kekuasaan menimbulkan sebuah risiko eksistensial, yang mendekomposisi klaim itu menjadi enam konjungsi — sistem akan menjadi jauh lebih mampu, mereka akan mencari kekuasaan, manusia akan gagal mengoreksi ini, dan seterusnya — dan mempertahankan sebuah probabilitas pada masing-masing. Kesimpulan akhirnya mendarat di sekitar 10% untuk bencana yang disebabkan-AI abad ini, dengan bar-kesalahan lebar yang dengan hati-hati ia tampilkan (Carlsmith, 2022). Para filsuf yang bekerja dalam tradisi yang sama mencapai angka yang berbeda dengan memperdebatkan konjungsi individual: Toby Ord, dalam The Precipice (2020), berargumen untuk sebuah risiko eksistensial keseluruhan dari AI yang tidak selaras sekitar satu dari enam abad ini, digerakkan oleh sebuah pembacaan yang lebih pesimistis terhadap masalah keselarasan.
Model-model ini berbagi sebuah kebajikan yang tidak dimiliki survei: setiap langkah terlihat dan dapat diperdebatkan. Mereka berbagi dua keburukan. Setiap langkah juga dapat diperdebatkan, itulah mengapa pembaca yang masuk akal membalikkan tanda konjungsi individual; dan probabilitas yang dilampirkan pada setiap langkah tetap, pada akhirnya, penilaian. Sebuah penilaian naluri dengan sebuah diagram tetaplah sebuah penilaian naluri. Perselisihan antara sebuah model terstruktur 10% dan sebuah intuisi 0,1% bukanlah sebuah konflik pengukuran. Itu adalah sebuah konflik tentang kelas referensi mana dan mode kegagalan mana yang layak mendapat bobot.
Mengapa kelas referensi menarik ke arah yang berbeda
Di bawah setiap estimasi duduk sebuah analogi, dan analogi-analogi itu sungguh berkonflik:
- Kepunahan biologis. Spesies punah secara konstan; laju latar-belakangnya kira-kira satu hingga lima spesies per tahun dalam beberapa dekade terakhir. Tetapi itu adalah spesies dengan populasi kecil dan jangkauan sempit. Analog manusia terdekat, kemacetan superletusan Toba, diperdebatkan dan mendahului peradaban sepenuhnya. Laju dasar ini menarik ke arah “kepunahan adalah sebuah hasil normal” sambil memberi tahu Anda hampir tidak ada apa pun tentang sebuah spesies teknologi global.
- Nyaris-terjadi nuklir. Krisis Rudal Kuba, insiden Stanislav Petrov 1983, dan ketakutan roket Norwegia 1995 menunjukkan sistem di bawah ketegangan maksimum menghasilkan kegagalan-nyaris dan kemudian tidak gagal. Para optimis membaca serangkaian panjang peristiwa yang diselamatkan-keberuntungan; para pesimis membaca rangkaian yang sama sebagai bukti bahwa keberuntungan itu akan habis.
- Kecelakaan teknologi. Pesawat terbang, reaktor, dan pesawat luar angkasa gagal pada laju yang terukur dan kemudian menjadi lebih aman melalui rancangan-ulang yang dipelajari dengan sulit. Para optimis mengekstrapolasi rancangan-ulang itu; para pesimis mencatat bahwa penerbangan tidak harus berhasil hanya sekali.
Setiap analogi jujur. Masing-masing mengodekan sebuah prior, bukan sebuah fakta. Estimasi berbeda karena prior-priornya berbeda, dan prior-priornya berbeda karena tidak ada bukti langsung — tidak ada putaran eksperimen yang selesai — untuk mendisiplinkan salah satunya.
Apa yang diberitahukan perselisihan itu sendiri kepada Anda
Berikut poin analitis yang paling banyak dilewatkan liputan: variansnya adalah temuannya. Jika probabilitas kepunahan mudah diestimasi, ribuan ahli yang terinformasi tidak akan menghasilkan estimasi dari mendekati nol hingga mendekati lempar-koin. Sebarannya adalah bukti tentang keadaan pengetahuan, dengan cara yang sama seperti model cuaca yang sangat berbeda adalah bukti bahwa badai itu sungguh tak terprediksi, bukan bahwa ramalan rata-rata pasti benar. Merata-ratakan para ahli menjadi sebuah angka tengah yang rapi — katakanlah, 5% — menciptakan perasaan presisi sambil tidak mewarisi satu pun informasinya. International AI Safety Report 2026, upaya sintesis paling komprehensif hingga kini, terus terang bahwa bukti risiko-parah tipis, diperdebatkan, dan terkonsentrasi pada segelintir laboratorium (International AI Safety Report 2026).
Satu fakta lagi yang dikodekan distribusi itu: perselisihan tidak acak. Dalam survei-survei itu, para peneliti yang mengharapkan kemajuan kapabilitas lebih cepat menetapkan probabilitas risiko-katastrofis yang lebih tinggi, dan para peneliti di laboratorium frontier menetapkan yang lebih rendah daripada akademisi independen. Sebagian dari itu adalah bukti tentang siapa yang melihat apa. Sebagian dari itu adalah insentif. Pembaca harus memegang kedua penjelasan itu.
Cara sesungguhnya menggunakan angka-angka ini
Kesimpulan praktisnya bukanlah bahwa angka-angka itu tidak berguna; itu adalah bahwa mereka harus digunakan dengan alat yang tepat. Pembukuan nilai-yang-diharapkan — kalikan sebuah probabilitas yang tepat dengan sebuah hasil dan peringkatkan hasilnya — gagal di sini, karena inputnya adalah sebuah penilaian selebar-dua-orde-besaran dan kesalahan kecil dalam input secara diam-diam mendominasi outputnya. Pengambilan-keputusan di bawah ketidakpastian mendalam bekerja secara berbeda: Anda bertanya tindakan mana yang tetap layak diambil di seluruh rentang yang masuk akal, dan Anda memilih tindakan yang tangguh alih-alih optimal.
Diterapkan pada risiko kepunahan AI, logika itu mengklarifikasi. Kerja pencegahan — evaluasi kapabilitas, pengaman penerapan, tata kelola komputasi — terlihat layak pada 20%, pada 5%, dan pada 1%, karena biaya kerjanya sederhana dan hasil yang dijaganya secara kategoris berbeda dari apa pun yang dihargai dalam kebijakan biasa. Penolakan hanya terlihat dapat dipertahankan mendekati nol. Jadi survei-survei itu, meski kelonggarannya, melakukan pekerjaan nyata: mereka memberi tahu Anda bahwa mendekati-nol adalah sebuah posisi yang diperdebatkan, bukan sebuah konsensus. Untuk bagaimana ekspektasi garis-waktu yang mendasarinya menggerakkan perselisihan itu, lihat ramalan garis-waktu. Anda tidak perlu mengetahui probabilitas kebakaran itu untuk membenarkan membeli alat pemadamnya. Anda perlu tahu bahwa orang-orang serius, melihat bukti yang sama, terus mencium asap.