Sebuah persentase adalah sebuah penilaian, bukan sebuah pengukuran
Ketika seorang peneliti mengatakan ada peluang 10 persen bahwa AI tingkat-lanjut menyebabkan kepunahan manusia, angka itu bukanlah sebuah frekuensi yang diukur di seluruh sejarah yang berulang. Itu adalah sebuah probabilitas subjektif yang merangkum keyakinan tentang kemampuan, penerapan, institusi, konflik, dan banyak langkah yang tidak pasti. Seorang pakar lain mungkin menggunakan “risiko eksistensial” untuk mencakup pelucutan kekuasaan manusia yang permanen, sementara sebuah tajuk-berita hanya melaporkan kepunahan.
Estimasi semacam itu dapat menginformasikan keputusan, khususnya ketika konsekuensinya besar, tetapi tidak seharusnya disajikan sebagai konstanta ilmiah yang telah terbukti. Pembicara, tanggal, pertanyaan yang tepat, horizon waktu, definisi hasil, bukti, dan ketidakpastian semuanya penting. Estimasi pribadi seorang ilmuwan terkenal tetap adalah sebuah estimasi pribadi.
Definisikan hasilnya sebelum membandingkan angka
Setidaknya empat hasil biasanya dicampur-adukkan:
- kerugian parah: korban jiwa yang besar, kerugian ekonomi, atau pelanggaran hak;
- bencana global: kerugian yang memengaruhi sebagian besar umat manusia atau sebuah pecahan kematian tertentu;
- kepunahan manusia: tidak ada populasi manusia yang bertahan hidup;
- bencana eksistensial: kepunahan atau kehancuran yang tidak dapat dibalik atas potensi jangka-panjang umat manusia, terkadang mencakup pelucutan kekuasaan parah yang permanen.
Prakiraan mungkin bertanya apakah AI menyebabkan hasil itu, adalah sebuah kontributor yang perlu, atau sekadar muncul di suatu tempat dalam rantai itu. Prakiraan itu mungkin mencakup sepuluh tahun, tahun 2100, atau seluruh waktu masa depan. Sebuah estimasi satu-persen selama sepuluh tahun tidak dapat dibandingkan secara langsung dengan sebuah estimasi lima-persen selama satu abad.
Definisi teknologinya juga bervariasi: AI tujuan-umum saat ini, “kecerdasan mesin tingkat-tinggi,” AGI, superkecerdasan, atau AI masa depan mana pun. Selalu pertahankan susunan-kata aslinya.
Apa yang ditemukan survei peneliti besar
Expert Survey on Progress in AI 2023 mengundang penulis dari venue AI terkemuka dan memperoleh respons dari 2.778 peneliti. Analisis yang dipublikasikannya menemukan ketidaksepakatan yang luas tentang linimasa dan dampak. Sebagian besar responden mengharapkan hasil baik dari AI superhuman lebih mungkin daripada hasil buruk, namun banyak yang memberikan probabilitas yang tidak remeh pada hasil yang sangat buruk. Makalah itu juga menemukan bahwa respons berubah dengan pembingkaian pertanyaan (Grace dkk., “Thousands of AI Authors on the Future of AI”).
Ini tidak mendukung “pakar AI sepakat kepunahan itu mungkin.” Ini mendukung sebuah klaim yang lebih sempit: sebagian substansial dari peneliti yang disurvei menganggap hasil ekstrem cukup masuk-akal untuk memberikan probabilitas yang bermakna, berdampingan dengan optimisme dan dispersi yang luas. Untuk tinjauan yang lebih dekat tentang mengapa respons khusus-kepunahan dalam survei ini dan yang lain berbeda begitu luas, lihat mengapa estimasi kepunahan pakar berbeda begitu luas.
Keterbatasan survei mencakup non-respons, keahlian yang berbeda dalam analisis risiko, definisi yang tidak stabil, dan kesulitan menerjemahkan kekhawatiran intuitif menjadi probabilitas yang terkalibrasi. Mempublikasikan di sebuah konferensi AI papan-atas membuktikan pengalaman teknis, bukan keterampilan prakiraan tentang geopolitik atau perubahan sosial berskala-abad. Jawaban median juga menyembunyikan polarisasi dan korelasi di antara responden.
Turnamen prakiraan mengungkap ketidaksepakatan lain
Existential Risk Persuasion Tournament mempertemukan 80 ahli pokok-bahasan dan 89 superforecaster dengan rekam-jejak pada prakiraan jangka-lebih-pendek. Partisipan memperkirakan risiko AI, nuklir, biologis, dan lainnya di bawah definisi bersama, bertukar argumen, dan memperbarui perkiraannya (Forecasting Research Institute XPT).
Analisis yang dihasilkan dan ditinjau-sejawat menemukan perbedaan besar antara ahli domain dan superforecaster, khususnya untuk AI (Karger dkk., International Journal of Forecasting). Ini adalah bukti yang berharga terhadap konsensus palsu. Ini tidak membuktikan kelompok yang lebih rendah atau lebih tinggi itu benar.
Superforecaster telah mendemonstrasikan kalibrasi pada banyak pertanyaan berhorizon-lebih-pendek yang dapat diselesaikan. Pertanyaan kepunahan berskala-abad tidak dapat dinilai dalam karier partisipan, dan probabilitas langka di bawah satu persen sangat sulit divalidasi. Ahli domain mungkin memahami mekanisme dengan lebih baik tetapi mungkin terpilih ke dalam sebuah bidang karena kekhawatiran dan mungkin kurang kalibrasi prakiraan. Kedua kelompok itu membawa kekuatan dan bias yang berbeda.
Mengapa pakar tidak sepakat
Asumsi kemampuan: Akankah metode saat ini menghasilkan otonomi yang tangguh, penemuan ilmiah, dan perencanaan strategis, atau akankah keandalan dan perwujudan-fisik tetap sulit?
Asumsi linimasa: Risiko terakumulasi secara berbeda jika kemampuan transformatif tiba dalam lima tahun versus lima puluh. Institusi memiliki lebih banyak waktu untuk beradaptasi di bawah kemajuan yang lebih lambat, tetapi lebih banyak aktor mungkin memperoleh akses.
Asumsi penyelarasan: Peneliti tidak sepakat tentang apakah sistem tingkat-lanjut akan mengembangkan tujuan yang persisten, apakah pelatihan saat ini akan mengendalikannya, dan seberapa banyak bukti prekursor yang teramati seharusnya menggerakkan prakiraan.
Asumsi kekuasaan dan penerapan: Sebuah model yang mampu tanpa alat atau otoritas berbeda dari sebuah agen yang diterapkan secara luas yang mengendalikan uang, kode, laboratorium, atau infrastruktur.
Asumsi tata kelola: Kompetisi, konflik militer, kepemilikan terkonsentrasi, regulasi, dan koordinasi internasional mungkin mendominasi ketidakpastian teknis.
Definisi moral: Hilangnya kendali manusia secara permanen mungkin dihitung sebagai kerugian eksistensial bagi satu peramal dan tidak bagi yang lain.
Sebuah angka tajuk-berita memampatkan seluruh model ini. Pelaporan yang baik memekarkannya kembali.
Kalibrasi itu sulit tetapi tidak opsional
Seorang peramal yang terkalibrasi yang memberikan 20 persen pada banyak peristiwa seharusnya benar sekitar seperlima dari waktu. Kalibrasi hanya dapat diukur di seluruh sekumpulan pertanyaan yang sebanding dan terselesaikan. Kita tidak dapat secara langsung mengkalibrasi satu prakiraan kepunahan pada 2100 hari ini.
Peramal masih dapat memperbaiki disiplin dengan mendekomposisi jalur itu menjadi pertanyaan yang lebih dekat dan dapat diamati: otonomi model, otomatisasi riset, kegagalan pengaman, skala penerapan, tingkat insiden, dan adopsi tata kelola. Prakiraan-prakiraan itu dapat terselesaikan lebih cepat dan mengungkap asumsi mana yang salah.
Gunakan tingkat-dasar dengan hati-hati. Umat manusia tidak memiliki sampel historis transisi AGI. Analogi dengan senjata nuklir, pandemi, keamanan-siber, kecelakaan industrial, atau adopsi perangkat lunak menawarkan bukti parsial, bukan sebuah kelas-referensi langsung. Model mekanistik juga berisiko menggandakan probabilitas spekulatif di seluruh langkah yang saling-bergantung.
Sintesis ilmiah tidak menetapkan satu probabilitas
International AI Safety Report 2026, ditulis melalui sebuah proses pakar internasional, memisahkan penggunaan jahat dan kegagalan keandalan yang terdokumentasi dari skenario hilangnya-kendali yang dihipotesiskan. Laporan itu menyatakan bahwa sistem saat ini kekurangan kemampuan yang dibutuhkan untuk hilangnya kendali, bahwa kemampuan yang relevan sedang membaik, dan bahwa pakar tidak sepakat secara substansial tentang kemungkinan dan severitas (International AI Safety Report 2026).
Itu bukanlah sebuah “probabilitas konsensus.” Itu adalah sebuah konsensus bahwa bukti itu mengandung risiko serius dan ketidakpastian besar. Penilaian ilmiah dapat mengidentifikasi mekanisme, observasi, celah, dan pengaman tanpa berpura-pura mengetahui satu peluang tunggal bencana.
Cara menyajikan sebuah estimasi publik
Sebuah entri yang bertanggung jawab seharusnya terlihat seperti ini:
Pada [tanggal], [orang atau kelompok] memberikan [probabilitas atau rentang] pada [hasil yang tepat] pada [waktu], di bawah [definisi teknologi], berdasarkan [alasan utama]. Ini adalah [penilaian pribadi, agregat survei, atau prakiraan terstruktur], bukan sebuah frekuensi yang teramati.
Sertakan distribusinya jika memungkinkan. Laporkan tingkat-respons dan pemilihan sampel untuk survei. Bedakan rata-rata dari median dan probabilitas kondisional dari tidak-kondisional. Pertahankan revisi sehingga prakiraan dapat dievaluasi alih-alih diam-diam ditimpa.
Jangan merata-ratakan pertanyaan yang tidak kompatibel. Menggabungkan estimasi “pelucutan kekuasaan permanen” sebuah survei dengan estimasi “populasi di bawah 1.000” sebuah turnamen menciptakan sebuah angka tanpa makna yang koheren.
Pengambilan keputusan di bawah ketidaksepakatan
Kebijakan tidak membutuhkan kepastian. Risiko berprobabilitas-rendah dan berkonsekuensi-tinggi dapat membenarkan riset, pemantauan, ketahanan, dan pengaman yang dapat dibalik ketika langkah-langkah itu memiliki manfaat di seluruh skenario. Biaya dan efek samping intervensi juga penting. Sebuah tindakan pencegahan yang mengokohkan monopoli, menekan ilmu pengetahuan yang sah, atau meningkatkan ketidakstabilan geopolitik dapat meningkatkan risiko lain.
Langkah-langkah yang tangguh mencakup evaluasi independen, pelaporan insiden, keamanan model, respons darurat, pertahanan biologis, keamanan-siber, kendali manusia atas penggunaan-nuklir, dan akuntabilitas yang jelas. Langkah-langkah itu tetap berguna di seluruh rentang probabilitas yang luas.
Toleransi risiko yang berbeda adalah pertanyaan politik yang sah. Pakar dapat menginformasikan bukti tetapi tidak dapat sendirian memutuskan bagaimana masyarakat menukar inovasi, kebebasan, distribusi, keamanan, dan kerugian masa depan yang tidak pasti.
Memperbarui alih-alih membela sebuah suku
Prakiraan harus berubah ketika bukti berubah. Pembaruan yang relevan mencakup otonomi tugas-panjang yang berkelanjutan, kemajuan riset yang dihasilkan-AI yang tervalidasi, kegagalan pengaman dunia-nyata, pengawasan yang berhasil, undang-undang besar, atau dataran-tinggi kemampuan yang persisten. Seorang peramal harus menyatakan apa yang akan menggerakkan estimasi itu naik atau turun.
Keragaman intelektual memperbaiki penilaian. Sertakan skeptis teknis, peneliti keamanan, ilmuwan sosial, peramal, ahli domain, komunitas terdampak, dan pembuat kebijakan. Ketidaksepakatan harus dipetakan berdasarkan asumsi, bukan direduksi menjadi “optimis” dan “doomer”.
Kesimpulan praktis
Estimasi pakar menunjukkan bahwa risiko AI katastrofik diambil serius oleh banyak orang yang berkualifikasi dan diragukan oleh yang lain. Estimasi itu tidak membuktikan sebuah probabilitas yang terukur atau pandangan ilmiah yang bulat. Survei mengungkap keyakinan; turnamen memberlakukan disiplin prakiraan; teori menjelaskan jalur; evaluasi menguji komponen; penerapan menyediakan bukti dunia-nyata.
Posisi publik yang paling jujur adalah ketidakpastian yang terstruktur: definisikan hasilnya, tunjukkan rentangnya, ungkap asumsi, lacak kalibrasi jika memungkinkan, dan pilih pengaman yang tetap berharga di bawah beberapa masa depan yang masuk-akal.