Pandemi rekayasa dan risiko senjata biologis Apa yang ditunjukkan studi uplift AI-biologi, apa yang tidak ditunjukkannya, dan bagaimana pengaman informasi terhubung dengan biopertahanan dunia-nyata.
Sumber diperiksa 5 min
07 Mekanisme
Mekanisme di balik hasil terburuk
Bab 02 membahas mekanisme hilangnya kendali secara umum. Bab ini adalah daftar jalur spesifik dan bernama yang benar-benar dipelajari para peneliti — karena intervensi yang mencegah satu jalur belum tentu mencegah jalur lainnya.
Mengapa ini bukan satu skenario
«AI bisa membunuh semua orang» memampatkan beberapa mode kegagalan yang secara struktural berbeda menjadi satu gambaran tunggal. Pemampatan itu berguna untuk judul berita dan tidak berguna untuk pencegahan, karena intervensi teknis dan kebijakan yang mengatasi satu mekanisme mungkin tidak banyak berpengaruh pada mekanisme lain — kontrol pada satu pelatihan besar, misalnya, tidak dengan sendirinya mencegah penyalahgunaan model yang sudah diterapkan. Lebih dari 350 peneliti dan eksekutif, termasuk orang-orang yang berafiliasi dengan beberapa laboratorium besar, menandatangani pernyataan satu kalimat pada tahun 2023 yang mendesak pembuat kebijakan untuk memperlakukan risiko kepunahan sebagai prioritas global. Pernyataan itu mencatat posisi yang dipegang oleh para penanda tangan terkemuka; ia tidak mengukur probabilitas bahaya:
Signatories to the Statement on AI Risk hold that mitigating the risk of extinction from AI should be a global priority alongside pandemics and nuclear war.
safe.ai, Signed statement
Tiga keluarga besar
Laporan Keselamatan AI Internasional 2026 menggunakan tiga keluarga besar. Penyalahgunaan berbahaya adalah manusia yang secara sengaja mengarahkan kemampuan AI menuju bahaya massal — pandemi rekayasa, serangan infrastruktur, atau senjata otonom. Malfungsi mencakup kegagalan keandalan dan skenario hilangnya kendali prospektif di mana sistem beroperasi di luar kendali siapa pun. Risiko sistemik muncul melalui penerapan yang meluas dan interaksi institusional, termasuk konsentrasi, disrupsi tenaga kerja, dan hilangnya kekuatan manusia secara bertahap. Kategori-kategori ini dapat tumpang tindih, dan kekuatan bukti berbeda antar mekanisme. Ketua laporan tersebut secara publik menekankan hilangnya kendali:
Yoshua Bengio warned that future systems exhibiting self-preservation behavior could create a loss-of-control risk.
AFP, via TechXplore, Secondary coverage
Geoffrey Hinton juga telah memberikan perkiraan probabilitas pribadi. Ini adalah penilaian ahli di bawah ketidakpastian, bukan frekuensi yang terukur:
Geoffrey Hinton said in a December 2024 BBC interview that he put the chance of AI causing human extinction within thirty years at 10–20%.
BBC Radio 4, reported by The Guardian, Secondary coverage
Apa yang tidak dilakukan bab ini
Batasan editorial
Setiap halaman membedakan bukti terdokumentasi dari perkiraan dan teori sambil menyebutkan mitigasi yang diajukan para peneliti. Tidak ada satu pun yang menjelaskan rincian sintesis, eksploit, atau serangan — informasi tersebut tidak akan membuat pembaca lebih aman, dan mempublikasikannya bukan yang dibutuhkan oleh persiapan yang terinformasi. Lihat standar sumber untuk mengetahui bagaimana klaim yang konsekuensial diklasifikasikan dan ditinjau.
Dalam bab ini
Serangan siber berbantuan AI pada infrastruktur Apa yang diubah AI dalam operasi siber, mengapa infrastruktur terekspos, dan mengapa keseimbangan ofensif-defensif tidak pasti, termasuk sebuah laporan spionase-AI 2025.
Sumber diperiksa 5 min
Senjata otonom dan eskalasi militer Apa arti otonomi dalam senjata, apa yang telah terdokumentasi dalam konflik, dan bagaimana AI dapat mengubah eskalasi dan akuntabilitas, seperti kasus Kargu-2 Libya.
Sumber diperiksa 6 min
Pelucutan kekuasaan bertahap Sebuah jalur teoretis di mana ketergantungan pada AI mengikis kendali manusia tanpa pengambilalihan dramatis, diformalkan di seluruh ekonomi, negara, dan budaya.
Sumber diperiksa 6 min
Peretasan hadiah dan permainan spesifikasi Bagaimana pengoptimal mengeksploitasi tujuan yang tidak sempurna, apa yang telah diamati, dan mengapa contoh saat ini tidak membuktikan hilangnya kendali masa depan.
Sumber diperiksa 6 min
Persuasi massal dan manipulasi epistemik Apa yang ditunjukkan eksperimen tentang persuasi AI, apa yang belum dibuktikan bukti dunia-nyata, dan bagaimana skala dapat mengubah risikonya.
Sumber diperiksa 5 min
Dinamika katastrofik multipolar dan multi-agen Bagaimana kompetisi di antara negara, perusahaan, dan agen AI otonom dapat menciptakan hasil katastrofik meski setiap partisipan lebih memilih menghindari bencana.
Sumber diperiksa 6 min
Estimasi risiko AI dan ketidaksepakatan pakar Bagaimana menafsirkan survei, prakiraan, dan estimasi probabilitas tanpa merekayasa konsensus atau mengabaikan ketidakpastian, berdasarkan sebuah survei 2.778 orang.
Sumber diperiksa 6 min
AI, komando nuklir, dan stabilitas krisis Bagaimana dukungan keputusan AI dapat memengaruhi krisis nuklir bahkan tanpa otoritas peluncuran, dan pengaman mana yang mengurangi risiko eskalasi.
Sumber diperiksa 6 min
Penipuan, sandbagging, replikasi-diri, dan eksfiltrasi Apa yang diuji empat evaluasi model-terdepan yang berbeda, apa yang telah diamati laboratorium, dan mengapa tidak satu pun membuktikan hilangnya kendali yang katastrofik.
Sumber diperiksa 6 min
Kegagalan beruntun sistem pangan Hampir setiap skenario berdekatan-dengan-kepunahan melewati pangan, bukan kekerasan langsung. Bagaimana sistem pangan gagal beruntun, dan apa yang meruntuhkannya.
Sumber diperiksa 5 min
Kerapuhan infrastruktur dan titik kegagalan tunggal Seberapa besar kehidupan modern bertumpu pada komponen yang butuh berhari-hari hingga bertahun-tahun untuk diganti — dan mengapa setiap skenario katastrofik memakainya.
Sumber diperiksa 5 min