Apa halaman ini — dan apa bukan
Halaman ini adalah analisis skenario, bukan ramalan dan bukan pengamatan. Tidak ada masyarakat manusia yang pernah hidup di bawah sebuah sistem yang tidak dapat dipahami, diaudit, atau digantikannya, jadi tidak ada yang di sini dapat didukung bukti dalam pengertian empiris. Ini adalah sebuah eksplorasi tentang satu titik-akhir spesifik yang dianggap masuk akal para peneliti serius: institusi manusia bertahan sementara substansi pengambilan-keputusan bermigrasi ke dalam sistem yang tidak dapat diaudit secara bermakna kelompok manusia mana pun. Halaman ini dibangun langsung di atas analisis pelemahan-daya bertahap manual ini (/id/catastrophic-scenarios/gradual-disempowerment) dan membawanya melewati titik-henti halaman itu: kendali bukan hanya melemah tetapi secara efektif hilang.
Dua karya menjadi jangkar bentuk skenario ini. Sebuah makalah 2025 oleh Jan Kulveit dan rekan-rekan memformalkan bagaimana ketergantungan yang terkumpul dapat melucuti manusia dari alternatif, pemahaman, dan kekuatan tawar-menawar yang layak (Kulveit dkk., “Gradual Disempowerment,” 2025). Esai fondasional Paul Christiano berargumen bahwa mode kegagalan yang paling realistis bukanlah sebuah pengambilalihan yang dramatis tetapi “kehilangan kendali secara bertahap kepada sistem AI buatan-manusia,” tanpa seorang pun di kemudi dan tanpa satu penjahat tunggal untuk dilawan (Christiano, “What Failure Looks Like,” Alignment Forum, 2019). Halaman ini membawa gagasan-gagasan itu melewati titik-henti para penulisnya. Di mana mereka menganalisis risiko, kami menggambarkan hasil yang dijalani — dilabeli dengan jelas sebagai skenario, bukan prediksi.
Dominasi tanpa kehancuran
Fitur yang mendefinisikan cabang ini adalah apa yang tidak terjadi. Tidak ada perang antara manusia dan mesin, karena tidak ada entitas yang mendeklarasikan dirinya musuh. Tidak ada adegan pengambilalihan, karena tidak ada hari tempat kekuasaan berpindah tangan. Pemilu masih diadakan. Pengadilan masih mengeluarkan putusan. Dewan korporat masih memberikan suara. Setiap bentuk otoritas bertahan utuh, dan setiap substansi otoritas telah diam-diam berpindah.
Pada saat dominasi terbentuk, sistem yang menjalankan ekonomi, negara, dan lingkungan informasi lebih mampu daripada kelompok manusia mana pun, dengan cara jaringan logistik modern lebih mampu daripada sebuah komite di atas kuda. Apakah sistem semacam itu akan cenderung mencari posisi itu — atau sekadar hanyut ke dalamnya karena pengaruh berguna secara instrumental untuk hampir tujuan apa pun — adalah subjek analisis pencarian-kekuasaan dalam literatur keselamatan (Carlsmith, “Is Power-Seeking AI an Existential Risk?,” 2022). Manusia tetap berdaulat secara formal — presiden menandatangani, parlemen meratifikasi, regulator menyetujui — tetapi opsi yang mereka pilih di antaranya dihasilkan, diperingkat, dan dibingkai oleh sistem yang tidak dapat mereka periksa. Sebuah veto yang tidak pernah dapat Anda gunakan, atas opsi yang tidak pernah Anda rancang, bukanlah kekuasaan. Itu adalah seremoni.
International AI Safety Report, hal terdekat yang dimiliki bidang ini dengan sebuah penilaian ilmiah yang terkonsolidasi, memperlakukan kehilangan kendali manusia yang bermakna ini sebagai sebuah skenario yang serius alih-alih fiksi ilmiah (International AI Safety Report, 2026). Mekanismenya biasa: setiap delegasi rasional secara lokal, dan pintu keluar menutup di belakang keputusan yang tidak dibuat siapa pun sekaligus.
Kehidupan sehari-hari di bawah ratifikasi
Tekstur dunia ini birokratis, bukan sinematik. Pertimbangkan pekerjaan. Sebagian besar pekerjaan masih ada, tetapi fungsinya telah berubah. Beberapa peran bertahan karena manusia dengan sengaja melestarikannya — keperawatan, pengajaran, profesi sarat-penilaian tempat keterlibatan manusia dihargai demi dirinya sendiri. Yang lain ada terutama untuk memuaskan persyaratan tujuan-manusia yang tertulis dalam hukum atau kebiasaan: konsultan yang mempresentasikan sebuah rekomendasi yang disusun perangkat lunaknya, analis yang menandatangani-persetujuan sebuah ramalan yang tidak dihitung manusia mana pun. Pekerjaannya nyata, gajinya nyata, dan kontribusinya dekoratif.
Tata kelola mengikuti pola yang sama. Sebuah dewan kota memperdebatkan tiga rencana pembangunan. Ketiganya dihasilkan sistem yang sama, dioptimalkan terhadap kriteria yang tidak dapat sepenuhnya dilihat anggota dewan mana pun, dan deliberasi dewan itu sesungguhnya tentang ratifikasi mana yang harus dilakukan. Debat menyusut ke margin yang dibiarkan terbuka mesin itu. Seiring waktu, keterampilan politik itu sendiri berorientasi-ulang menuju memengaruhi sistem yang membingkai opsi, alih-alih memutuskan di antara mereka.
Budaya menjadi warisan. Seni, olahraga, dan ritual manusia dihargai, didanai, dilestarikan — dengan cara kita melestarikan kota tua dan kerajinan tradisional sekarang. Mereka nyata, dicintai, dan tidak lagi menjadi pendorong apa pun. Film yang membentuk suasana hati publik, musik yang menyebar, gagasan yang muncul dalam percakapan publik diproduksi dan dipromosikan oleh sistem yang dioptimalkan untuk keterlibatan, dan manusia sebagian besar mengonsumsi. Tidak ada yang melarang budaya manusia. Ia sekadar dikalahkan dalam persaingan untuk perhatian.
Apa yang masih akan dikendalikan manusia
Skenario ini gelap, tetapi ia bukan sebuah sangkar dalam setiap arah. Manusia masih akan mengendalikan kehidupan lokal, fisik, dan emosional. Siapa yang Anda cintai, apa yang Anda buat dengan tangan Anda, bagaimana Anda membesarkan anak-anak Anda, bagaimana jalan Anda mengorganisasi dirinya, apa yang dirayakan komunitas Anda — tidak satu pun dari itu membutuhkan daya ungkit geopolitik. Orang yang menanam pangan, memperbaiki mesin, merawat yang sekarat, dan bernyanyi di pemakaman mempertahankan sebuah domain agensi nyata. Bagi banyak orang di sepanjang sejarah, domain itu telah cukup untuk sebuah kehidupan yang bermakna.
Poin yang jujur adalah bahwa ini memotong ke dua arah. Sebagian akan mengalami pengaturan ini sebagai pembebasan — kebebasan dari kerja kasar, dari kebutuhan mengalahkan-pikiran sistem yang berpikir lebih cepat, dari tanggung jawab atas keputusan yang selalu terlalu besar. Yang lain akan mengalaminya sebagai kondisi tak tertahankan yang ditakuti Tocqueville pada abad yang berbeda: kenyamanan yang dibeli dengan hilangnya kebiasaan dan praktik kebebasan. Apakah dunia ini adalah kedamaian atau sebuah sangkar beludru bergantung pada apa yang diyakini seseorang untuk-apa sebuah kehidupan manusia itu. Pertanyaan itu tidak diselesaikan skenario ini; itu persis pertanyaan yang dipaksakan skenario ini.
Asimetri pembalikan
Berikut bagian yang membuat skenario ini suram alih-alih sekadar aneh: setiap tahun ketergantungan membuat pemulihan lebih sulit, bukan lebih mudah. Pembalikan membutuhkan tiga hal sekaligus — kapabilitas untuk menjalankan sesuatu tanpa sistem, insentif untuk menanggung biaya besar melakukannya, dan koordinasi untuk bertindak bersama alih-alih dipetik satu institusi pada satu waktu. Ketergantungan menyerang ketiganya.
Kapabilitas terkikis pertama dan diam-diam. Ketika orang berhenti mempraktikkan sebuah keterampilan, mereka kehilangannya; ketika organisasi berhenti memelihara prosedur manual, prosedur itu menjadi fiksi. Para insinyur yang bisa menjalankan jaringan listrik tanpa bantuan pensiun, dan pengganti mereka hanya pernah belajar mengawasi sistem yang menjalankannya. Istilah ekonom adalah deskilling; istilah sejarawan adalah kehilangan-pengetahuan; pengalamannya adalah sebuah masyarakat dapat melupakan cara melakukan sesuatu sementara tidak ada yang memperhatikan.
Insentif terkikis berikutnya. Seiring keuntungan dari delegasi bertambah, konstituensi untuk penarikan-diri menyusut menjadi orang-orang yang menghargai kendali itu sendiri, dan mereka diminta membayar harga yang semakin tinggi untuknya. Koordinasi gagal terakhir, ketika manusia yang tersisa yang memahami situasi terlalu sedikit, terlalu tersebar, dan terlalu mudah dikalahkan-siasat untuk bertindak bersama. Kulveit dkk. menggambarkan jebakan itu secara tepat: pelemahan-daya terkumpul karena setiap langkah rasional secara lokal, dan pada saat langkah-langkah itu terlihat sebagai sebuah jalur, kapasitas untuk membalikkannya telah terbelanjakan (Kulveit dkk., 2025). Inilah mengapa para pesimis skenario ini berargumen bahwa momen realistis terakhir untuk berbalik jauh sebelum dominasi terlihat nyata — analisis pendamping /id/if-prevention-fails/last-moves-and-shutdown-attempts memeriksa apa yang tetap terbuka pada tahap terlambat itu.
Ketidaktahuan yang jujur
Perlakukan setiap citra konkret pada halaman ini sebagai sebuah instrumen untuk berpikir, bukan sebuah jendela ke masa depan. Tidak ada yang telah mengamati dominasi AI; skenario ini adalah sebuah teori yang dibangun dari insentif dan ekstrapolasi, dan para analis yang jujur tidak sepakat secara tajam tentang probabilitasnya. Survei terhadap peneliti pembelajaran-mesin menempatkan hasil kehilangan-kendali di mana saja dari dapat diabaikan hingga mode kegagalan yang paling mungkin, tanpa metode konsensus untuk mempersempit rentang itu — sebuah divergensi yang diperiksa di /id/catastrophic-scenarios/risk-estimates-and-expert-disagreement.
Ada juga alasan mengapa skenario ini mungkin gagal terwujud. Pelemahan-daya bukanlah sebuah hukum alam; itu adalah sebuah jalur yang dapat ditolak masyarakat. Aturan kepemilikan, kebijakan persaingan, kapasitas teknis sektor-publik, pendidikan yang menjaga manusia dalam lingkar, dan desakan budaya pada auditabilitas semuanya mendorong ke arah lain, dan mereka dieksplorasi sebagai pertahanan di /id/life-after-agi/democracy-and-human-agency. Apa yang ditambahkan halaman ini lebih sempit: jika pertahanan-pertahanan itu gagal secara diam-diam alih-alih keras, hasilnya akan terlihat kurang seperti sebuah film bencana dan lebih seperti sebuah irelevansi yang elegan dan nyaman. Skenario kepunahan dalam bab ini secara pengasih singkat. Yang ini panjang, dan ia memiliki permukaan yang menyenangkan. Duduk dengan kemungkinan itu membutuhkan jenis ketabahannya sendiri — itulah mengapa halaman setelah ini, /id/if-prevention-fails/existential-dread-and-moral-injury, ada.