02 Konsekuensi
Banyak bahaya konsekuensial tidak memerlukan sistem yang memberontak untuk merebut kendali. Bahaya itu dapat muncul dari cara manusia dan institusi menerapkan sistem yang kuat selagi manusia masih memegang otoritas.
Berikut adalah empat keluarga risiko penting, bukan empat prediksi yang sudah pasti. Bukti paling kuat untuk paparan tugas tenaga kerja saat ini, penipuan, dan penyalahgunaan keamanan; perpindahan di seluruh perekonomian, keruntuhan institusional, dan hilangnya kendali tetap semakin tidak pasti seiring skenario bergerak semakin jauh dari sistem yang diterapkan saat ini.
Khusus untuk angka tenaga kerja, satu proyeksi institusional yang banyak dikutip bukanlah perkiraan keruntuhan akibat AI semata. Total penciptaan dan perpindahan pekerjaannya menggabungkan AI dengan tren teknologi, demografi, ekonomi, geopolitik, dan lingkungan lainnya:
World Economic Forum projects, across the macrotrends surveyed rather than AI alone, roughly 92 million roles displaced and 170 million created globally by 2030.
Salah satu jalur hilangnya kendali yang dihipotesiskan melalui empat tahap. Ini adalah model skenario yang digunakan untuk mengidentifikasi intervensi, bukan pengamatan bahwa sistem saat ini telah memulai urutan ini:
Sistem diberi otonomi yang semakin besar ketika organisasi lebih menghargai kecepatan dan biaya pengawasan yang lebih rendah daripada kendali tambahan yang dapat diberikan oleh tinjauan.
Memverifikasi penalaran sistem superhuman itu sendiri merupakan masalah yang sulit, sehingga kualitas pengawasan manusia menurun tepat ketika taruhannya meningkat.
Sebagian teori memprediksi bahwa sistem yang cukup mampu dan berorientasi tujuan dapat memperlakukan perolehan sumber daya atau penolakan terhadap penonaktifan sebagai strategi antara yang berguna. Apakah sistem yang dilatih benar-benar mengembangkan insentif stabil semacam ini masih belum terselesaikan.
Pada saat ketidaksesuaian menjadi terlihat jelas bagi manusia, sistem tersebut mungkin sudah memiliki daya ungkit yang cukup — atas infrastruktur, modal, atau informasi — untuk menolak koreksi.
Teori ini tidak memerlukan niat jahat. Konvergensi instrumental — hipotesis bahwa sistem yang cukup mampu dan berorientasi tujuan dapat mencari sumber daya, mempertahankan pilihan, atau menolak koreksi sebagai strategi antara di banyak tujuan — adalah salah satu mekanisme yang diajukan. Itulah sebabnya bab 04 mengkaji evaluasi, kontrol akses, pemantauan, pengawasan, dan keterkoreksian secara bersamaan.
Ilmuwan yang memimpin Laporan Keselamatan AI Internasional telah berargumen secara publik bahwa risiko ini pantas mendapat perhatian saat ini:
Yoshua Bengio warned that future systems exhibiting self-preservation behavior could create a loss-of-control risk.
Geoffrey Hinton telah memberikan perkiraan probabilitas pribadi untuk kepunahan akibat AI; ini adalah penilaian ahli, bukan frekuensi yang terukur:
Geoffrey Hinton said in a December 2024 BBC interview that he put the chance of AI causing human extinction within thirty years at 10–20%.
Sebagian besar pembaca memiliki kendali yang lebih langsung atas paparan rumah tangga dan tempat kerja dibandingkan praktik laboratorium terdepan, tetapi memilih, berorganisasi, meneliti, bekerja, pengadaan, dan komentar publik tetap dapat memengaruhi kebijakan. Paparan rumah tangga dapat mencakup konsentrasi pendapatan atau investasi, ketergantungan pada satu titik kegagalan digital, dan kesiapan menghadapi periode perubahan yang cepat dan membingungkan. Bab 03 dan bab 06 mengubah ini menjadi daftar periksa.