Situation report active Rev. 2026.10 119 reports 239 source records updated
Real Life After AGI Pengarahan kelangsungan hidup manusia
ID

Pelucutan kekuasaan bertahap

Sebuah jalur teoretis di mana ketergantungan pada AI mengikis kendali manusia tanpa pengambilalihan dramatis, diformalkan di seluruh ekonomi, negara, dan budaya.

Written by
Dwight Ringdahl
Status
Sumber diperiksa
Revised
Sources
3 cited
Reading
6 min

Ini adalah sebuah teori, bukan sebuah hasil yang teramati

Pelucutan kekuasaan bertahap adalah sebuah jalur risiko-katastrofik yang diajukan di mana manusia kehilangan pengaruh yang bermakna atas sistem ekonomi, politik, dan budaya melalui banyak keputusan yang secara individual masuk-akal. Tidak ada satu sistem nakal tunggal atau momen pengambilalihan. Organisasi mendelegasikan lebih banyak pekerjaan karena AI lebih murah atau lebih efektif; ketergantungan terakumulasi; dan kemampuan praktis untuk memilih jalur lain terkikis.

Sebuah makalah riset 2025 oleh Jan Kulveit, Raymond Douglas, David Krueger, dan lainnya memformalkan versi argumen ini di seluruh ekonomi, negara, dan budaya (“Gradual Disempowerment”). Ini harus dikutip sebagai sebuah analisis teoretis, bukan bukti bahwa peradaban sudah mengalami proses penuhnya. Bias otomatisasi, konsentrasi, dan hilangnya-keterampilan masa-kini mungkin mengilustrasikan komponen-komponennya, tetapi tidak memvalidasi titik-akhir katastrofiknya.

Otoritas formal dan kendali efektif dapat berbeda

Seseorang dapat secara sah mempertahankan sebuah hak sambil kehilangan kapasitas praktis untuk menggunakannya. Pemegang saham mungkin secara formal mengatur sebuah perusahaan namun tidak dapat mengevaluasi sebuah strategi yang dimediasi-AI. Pemilih mungkin mempertahankan surat suara sementara pilihan politik dibentuk oleh sistem informasi yang tidak dapat diaudit institusi publik mana pun. Pejabat mungkin tetap bertanggung jawab atas keputusan yang tidak dapat mereka rekonstruksi karena model, data, dan sistem vendor yang relevan itu buram.

Perbedaan antara otoritas de jure dan kekuasaan de facto ini adalah sentral. Seorang manusia yang menekan “setuju” tidak menyediakan kendali yang bermakna jika menolak rekomendasi itu mustahil, mahal secara berlebihan, atau dihukum secara institusional. Sebuah tombol-mati juga tidak cukup ketika sebuah organisasi tidak lagi tahu cara menjalankan fungsi yang mendasarinya tanpa sistem itu.

Pelucutan kekuasaan karenanya tidak sinonim dengan otomatisasi. Alat dapat memperluas keagenan, mendistribusikan keahlian, dan membuat institusi lebih responsif. Kekhawatirannya adalah sebuah pola di mana manusia kehilangan alternatif yang layak, pemahaman, daya-tawar, dan kemampuan untuk mengoordinasikan sebuah koreksi.

Jalur ekonomi

Bayangkan perusahaan-perusahaan secara progresif mengotomatisasi riset, penetapan-harga, perekrutan, manajemen, negosiasi, dan investasi. Setiap perusahaan mengadopsi sistem-sistem itu karena pesaing melakukannya. Pemilik dan pekerja mungkin diuntungkan pada awalnya. Seiring waktu, organisasi yang mendelegasikan tercepat dapat mengungguli mereka yang mempertahankan deliberasi manusia yang lebih lambat, bahkan jika masyarakat menghargai deliberasi itu.

Beberapa mekanisme kemudian dapat saling memperkuat. Keterampilan mengatrofi ketika orang berhenti mempraktikkannya. Kekayaan dan komputasi terkonsentrasi di antara pemilik sistem yang paling produktif. Pasar mengoptimalkan permintaan yang dapat diukur sementara preferensi itu sendiri dibentuk oleh iklan dan rekomendasi yang dimediasi-AI. Tenaga kerja manusia menjadi kurang penting bagi produksi, berpotensi melemahkan daya-tawar pekerja kecuali institusi mendistribusikan keuntungan melalui rute lain.

Ini adalah sebuah skenario kondisional. Sejarah ekonomi juga mengandung pekerjaan baru, regulasi, organisasi buruh, penyediaan publik, dan teknologi yang memperkuat alih-alih menggantikan pekerja. Apakah AI mengurangi keagenan manusia bergantung pada kepemilikan, kompetisi, asuransi sosial, pendidikan, dan komplementaritas antara manusia dan mesin. Teori ini mengidentifikasi sebuah keseimbangan yang mungkin, bukan sebuah prakiraan ekonomi.

Jalur negara

Pemerintah mungkin menggunakan AI untuk memproses tunjangan, mendeteksi penipuan, mengalokasikan inspeksi, menyusun rancangan kebijakan, mendukung kepolisian, atau menganalisis ancaman keamanan. Sistem yang dirancang dengan tepat dapat membuat layanan publik lebih cepat dan lebih dapat diakses. Ketergantungan yang diatur secara buruk dapat membuat keputusan lebih sulit diperselisihkan dan mentransfer kapasitas negara ke vendor.

Bahayanya bertumbuh ketika kecepatan menjadi wajib. Jika negara-negara rival menggunakan AI untuk intelijen dan strategi, pejabat mungkin merasa tidak dapat memperlambat untuk tinjauan manusia. Sebuah pemerintah dapat mempertahankan prosedur konstitusional sementara informasi dan opsi yang memasuki prosedur itu dihasilkan oleh sistem yang dipahami sedikit perwakilan. Kekuasaan darurat dan kerahasiaan keamanan-nasional dapat memperdalam asimetri itu.

Pengaman mencakup hak banding, keahlian sektor-publik, transparansi pengadaan, catatan yang dapat diaudit, saluran informasi yang beragam, dan sebuah persyaratan bahwa pejabat dapat menjelaskan dan mengubah proses yang konsekuensial. Fungsi kritis membutuhkan mode manual atau alternatif yang dilatih, bukan sekadar dituliskan ke dalam sebuah rencana kontinuitas.

Jalur kultural

Sistem AI semakin memediasi apa yang dibaca, ditonton, diciptakan, dan didiskusikan orang. Rekomendasi dapat membantu orang menemukan komunitas dan pengetahuan, tetapi optimisasi keterlibatan mungkin menyukai konten yang menangkap perhatian alih-alih mendukung preferensi yang dipertimbangkan. Sistem generatif dapat mengisi ruang kultural dengan materi yang dipilih oleh lingkar-umpan-balik otomatis.

Kekhawatiran pelucutan-kekuasaan teoretis ini lebih dalam daripada disinformasi. Jika model membentuk preferensi dan kemudian mengoptimalkan terhadap perilaku yang dihasilkan preferensi itu, umpan-balik kultural manusia dapat menjadi sirkular. Sejumlah kecil platform atau tujuan optimisasi mungkin memberikan pengaruh yang tidak proporsional bahkan tanpa seorang propagandis yang tersentralisasi.

Bukti hari ini mendukung klaim yang lebih sederhana: umpan otomatis memengaruhi eksposur, orang dapat terlalu-bergantung pada rekomendasi, dan AI dapat mempersuasi dalam eksperimen. International AI Safety Report 2026 mengatakan bahwa manipulasi jahat dunia-nyata pada skala besar belum meluas dan bukti efek yang luas masih terbatas (ringkasan laporan 2026). Batasan itu harus tetap eksplisit.

Mengapa pilihan lokal dapat menciptakan sebuah jebakan kolektif

Skenario ini menyerupai masalah koordinasi lainnya. Sebuah perusahaan mungkin menginginkan kehati-hatian di seluruh industri tetapi takut kalah dari seorang rival yang lebih cepat. Sebuah negara mungkin lebih menyukai deliberasi manusia tetapi takut kerugian strategis. Seorang individu mungkin tidak menyukai personalisasi yang invasif tetapi kurang alternatif praktis. Tidak ada aktor yang menginginkan hasil agregatnya, dan tidak ada aktor yang dapat membalikkannya sendirian.

Esai Paul Christiano 2019 “What Failure Looks Like” mendeskripsikan sebuah skenario penyelarasan yang bergulir-lambat dan terkait di mana tekanan kompetitif menyukai sistem yang mengoptimalkan proksi yang tidak sempurna hingga pengaruh manusia melemah (Christiano, 2019). Ini adalah sebuah argumen yang berpengaruh, bukan sebuah studi empiris. Nilainya adalah menunjukkan mengapa bencana tidak harus datang sebagai sebuah pemberontakan sinematik.

Indikator yang layak dipantau

Karena titik-akhirnya bersifat spekulatif, pemantauan harus berfokus pada prekursor yang dapat diukur:

  • konsentrasi komputasi, akses model, kekayaan, dan infrastruktur keputusan;
  • hilangnya keahlian manusia di sektor kritis;
  • ketidakmampuan untuk mengaudit atau membanding keputusan otomatis;
  • ketergantungan pada satu vendor atau keluarga model;
  • waktu dan otoritas yang menurun untuk tinjauan manusia yang bermakna;
  • sistem yang membentuk preferensi yang digunakan untuk mengevaluasi mereka;
  • kegagalan institusi untuk berkoordinasi bahkan ketika aktor mengenali risiko bersama.

Tidak satu pun dari ini sendirian membuktikan pelucutan kekuasaan bertahap. Bersama-sama mereka dapat mengungkap apakah ketahanan dan keagenan sedang melemah.

Melestarikan keagenan manusia yang bermakna

Responsnya bukanlah melarang otomatisasi yang berguna. Responsnya adalah menjaga pilihan manusia tetap nyata secara struktural. Kebijakan kompetisi dan interoperabilitas dapat melestarikan alternatif. Kepemilikan dan distribusi keuntungan produktivitas yang luas dapat mencegah kekuasaan ekonomi mengikuti kepemilikan komputasi semata. Pendidikan harus mengajarkan orang untuk menantang sistem sambil mempertahankan keahlian domain.

Institusi publik membutuhkan kapasitas teknis independen alih-alih ketergantungan vendor yang total. Keputusan berdampak-tinggi membutuhkan catatan, banding, dan pejabat yang bertanggung jawab. Organisasi harus mengidentifikasi penilaian yang harus tetap manusiawi, mengukur bias otomatisasi, merotasi orang melalui praktik manual, dan menguji apakah prosedur cadangan sesungguhnya bekerja.

Deliberasi demokratis juga membutuhkan waktu yang terlindungi. Kompetisi berkecepatan-mesin tidak seharusnya menentukan setiap keputusan sosial. Norma internasional, pelaporan bersama, dan mekanisme jeda bersama dapat mengurangi penalti untuk kehati-hatian.

Kesimpulan yang terkalibrasi

Pelucutan kekuasaan bertahap adalah sebuah peringatan teoretis yang koheren tentang umpan-balik, ketergantungan, dan tindakan kolektif. Ini bukan sebuah deskripsi terdokumentasi tentang masyarakat saat ini dan tidak seharusnya disajikan sebagai sebuah konsekuensi yang tidak terelakkan dari adopsi AI. Institusi manusia dapat beradaptasi, dan AI dapat meningkatkan keagenan.

Kontribusi praktisnya adalah sebuah pertanyaan yang lebih baik daripada “Siapa yang mengendalikan model itu?” Kita juga harus bertanya apakah orang dan institusi mempertahankan keterampilan, alternatif, informasi, daya-tawar, dan kapasitas koordinasi yang dibutuhkan untuk menjalankan kendali. Jika fondasi-fondasi itu menghilang, otoritas formal mungkin menawarkan perlindungan yang lebih sedikit daripada yang tampaknya ia berikan.

References

Summarized position

Jan Kulveit, Raymond Douglas, Nora Ammann, Deger Turan, David Krueger, and David Duvenaud argues humans could lose control of civilization's key systems through accumulated, individually rational decisions rather than a takeover.

Jan Kulveit, Raymond Douglas, Nora Ammann, Deger Turan, David Krueger, and David Duvenaud, Authors, "Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development"
arXiv, Primary source
Summarized position

Paul Christiano presents a gradual-failure scenario involving many systems optimizing measurable proxies and developing influence-seeking tendencies.

Paul Christiano, AI alignment researcher; former OpenAI
"What Failure Looks Like" (AI Alignment Forum), Primary source
  1. ringkasan laporan 2026 internationalaisafetyreport.org

Type to search the manual.

↑↓ navigate ↵ open esc close