Otoritas formal dapat bertahan setelah kendali praktis hilang
Sebuah parlemen dapat tetap terpilih sambil bergantung pada sistem yang tidak dapat dievaluasi para legislator. Seorang menteri dapat tetap bertanggung jawab secara hukum sambil menerima rekomendasi yang tidak dapat direproduksi pegawai negeri mana pun. Seorang warga dapat mempertahankan hak formal untuk banding sambil menghadapi keputusan otomatis yang data, model, kontrak vendor, dan penalarannya tidak dapat diakses. Tidak ada dalam gambaran itu yang membutuhkan kudeta atau penguasa mesin yang sadar. Otoritas menjadi seremonial karena kapasitas praktis untuk memilih secara berbeda telah terkikis.
Ini adalah risiko tata kelola sebelum menjadi risiko AGI. Pemerintah sudah menggunakan algoritma dalam tunjangan, perpajakan, kepolisian, migrasi, pendidikan, layanan kesehatan, dan administrasi publik. Sistem yang lebih mampu dapat meningkatkan konsistensi, menerjemahkan layanan, menemukan penipuan, meringkas bukti, dan membuat keahlian dapat diakses badan-badan kecil. Sistem itu juga dapat memperdalam ketergantungan dan membuat keputusan publik lebih sulit ditolak.
Instrumen internasional yang ada menyediakan kosakata awal, tetapi kekuatan hukumnya berbeda-beda. Framework Convention on Artificial Intelligence milik Council of Europe dirancang sebagai traktat yang mengikat bagi para pihak dan berpusat pada hak asasi manusia, demokrasi, dan supremasi hukum. Halaman status resminya tidak mencantumkan tanggal mulai berlaku per 11 September 2026, jadi penandatanganan tidak boleh digambarkan sebagai sebuah negara yang sudah terikat secara hukum (status CETS No. 225). Rekomendasi UNESCO tentang Etika Kecerdasan Buatan adalah rekomendasi tidak mengikat yang membahas pengawasan, transparansi, akuntabilitas, dan dampak lingkungan serta sosial. Tidak satu pun instrumen ini menyelesaikan tata kelola pasca-AGI. Keduanya menunjukkan bahwa kapabilitas dan efisiensi bukan satu-satunya nilai publik yang dipertaruhkan.
Agensi berarti mampu mengubah hasil
“Pengawasan manusia” sering diperlakukan sebagai diagram penempatan staf: tempatkan seseorang di suatu tempat setelah model dan keputusan itu menjadi manusiawi. Pengawasan yang sesungguhnya adalah seperangkat kapabilitas.
Peninjau membutuhkan cukup waktu dan informasi untuk memahami kasus tersebut. Mereka membutuhkan pelatihan untuk mengenali keterbatasan model. Mereka membutuhkan otoritas hukum dan organisasional untuk menolak rekomendasi. Pilihan yang berbeda tidak boleh memicu hukuman semata-mata karena menyimpang dari skor otomatis. Institusi harus mempertahankan catatan yang mendukung audit dan banding.
Ketika kondisi-kondisi itu tidak ada, klik manusia adalah ritual. Otomasi tinggi bahkan dapat membuat peninjauan lebih buruk: seiring orang melihat lebih sedikit kasus tidak biasa dan berlatih lebih sedikit penilaian independen, keahlian mereka merosot. Ketika sistem akhirnya gagal di luar distribusi normalnya, pengawas nominal mungkin paling tidak siap untuk campur tangan.
Uji praktisnya bersifat kontrafaktual: dapatkah seseorang yang berkualifikasi mencapai keputusan yang berbeda, menjelaskan alasannya, dan membuat keputusan itu berlaku?
Empat ketergantungan yang dapat mengosongkan pemerintahan
Ketergantungan vendor
Sebuah badan publik mungkin kekurangan staf, komputasi, hak data, atau ketentuan kontrak untuk beroperasi tanpa satu penyedia. Beralih tampak mungkin dalam dokumen pengadaan tetapi akan membutuhkan pelatihan-ulang sistem, migrasi data, penulisan-ulang alur kerja, dan menerima gangguan layanan yang panjang. Itu memberi pemasok swasta pengaruh bahkan tanpa kekuasaan politik eksplisit.
Kontrak karenanya harus membahas portabilitas, akses audit, pengungkapan insiden, subkontraktor, retensi data, keamanan, kontinuitas layanan, dan bantuan keluar sebelum sebuah sistem menjadi esensial. Tawaran awal termurah bisa menjadi mahal jika ia membeli ketergantungan permanen.
Ketergantungan epistemik
Sebuah institusi dapat kehilangan kemampuan untuk mengetahui apakah sebuah output baik. Jika AI melakukan sebagian besar analisis, penyusunan, simulasi, dan verifikasi, organisasi manusia mungkin mempertahankan otoritas tanda tangan akhir sambil kehilangan model independen tentang dunia.
Redundansi diperlukan. Badan-badan membutuhkan keahlian internal, analisis yang bersaing untuk pertanyaan berkonsekuensi tinggi, catatan ketidakpastian, dan saluran yang dilindungi untuk perbedaan pendapat. Beberapa fungsi harus secara berkala dilakukan tanpa sistem utama, bukan karena kerja manual selalu lebih unggul tetapi karena cadangan yang belum diuji bukanlah cadangan.
Ketergantungan infrastruktur
Layanan canggih bergantung pada listrik, jaringan, sistem identitas, infrastruktur cloud, dan model hulu. Sebuah pemadaman atau sengketa komersial dapat merambat melalui banyak fungsi publik sekaligus. Memusatkan beberapa badan pada satu model atau cloud dapat menciptakan kegagalan berkorelasi yang tersembunyi di balik kontrak-kontrak yang terpisah.
Peta ketergantungan harus mengidentifikasi penyedia bersama dan titik kegagalan tunggal di seluruh pemerintahan, bukan hanya dalam satu departemen. Latihan pemulihan harus menguji operasi terdegradasi, pemulihan data, prioritisasi manual, dan komunikasi publik.
Ketergantungan legitimasi
Orang menerima keputusan sulit sebagian karena mereka memahami siapa yang memiliki otoritas, aturan mana yang berlaku, dan cara menantang kesalahan. Sebuah sistem yang akurat secara statistik tetapi tidak dapat dipahami tetap dapat merusak legitimasi jika warga mengalaminya sebagai sewenang-wenang.
Penjelasan saja tidak cukup. Sebuah penjelasan yang dihasilkan mungkin terdengar masuk akal tanpa mengungkapkan dasar sesungguhnya dari sebuah hasil. Kontestabilitas yang bermakna membutuhkan bukti yang relevan, aturan yang berlaku, institusi yang bertanggung jawab, dan pemulihan yang tersedia. Ini juga membutuhkan kantor manusia yang mampu mengubah keputusan, bukan sekadar menjelaskan mengapa sistem menghasilkan keputusan itu.
Demokrasi membutuhkan kapasitas teknis publik
Legislatif, pengadilan, regulator, auditor, serikat pekerja, dan masyarakat sipil membutuhkan keahlian dalam evaluasi, keamanan, pengadaan, tata kelola data, dan bukti model. Staf profesional, laboratorium independen, inspektur jenderal, badan standar, dan proses adversarial dapat menyediakan kedalaman itu.
NIST AI Risk Management Framework menyediakan struktur sukarela untuk mengatur, memetakan, mengukur, dan mengelola risiko AI. Nilainya bersifat prosedural: organisasi harus mengidentifikasi konteks dan orang yang terdampak alih-alih memperlakukan akurasi tolok ukur sebagai keseluruhan penilaian risiko. Sebuah institusi pasca-AGI akan membutuhkan versi yang lebih kuat dan dapat ditegakkan dari kebiasaan-kebiasaan itu, dipasangkan dengan otorisasi demokratis.
Pemilu diperlukan tetapi tidak cukup
AI transformatif dapat memengaruhi demokrasi melalui persuasi, media sintetis, pengawasan, analisis kebijakan, operasi kampanye, dan kendali atas infrastruktur informasi. Berfokus hanya pada gambar palsu melewatkan isu yang lebih luas: siapa yang memilih tujuan sistem yang memediasi perhatian politik, dan data apa yang digunakan untuk mengoptimalkan pengaruh?
Pengungkapan dapat membantu, tetapi memberi label konten “dihasilkan-AI” tidak menetapkan apakah itu benar atau manipulatif. Provenans dapat menunjukkan sebagian dari riwayat sebuah berkas tanpa membuktikan klaimnya. Ketahanan politik juga membutuhkan perlindungan privasi, jurnalisme independen, transparansi kampanye, akuntabilitas platform, administrasi pemilu yang aman, dan warga yang mampu memverifikasi informasi penting melalui saluran tepercaya.
Penggunaan pemerintah pantas mendapat pengekangan khusus. Sebuah negara dengan sistem prediksi dan persuasi yang kuat dapat mempersonalisasi komunikasi publik secara membantu—atau membuat perbedaan pendapat lebih mudah diidentifikasi dan perilaku lebih mudah dibentuk. Larangan hukum, surat perintah, minimalisasi, log audit, dan pengawasan independen menjadi semakin penting seiring meningkatnya kapabilitas analitis, bukan semakin kurang penting.
Pertahankan sumber kekuasaan yang plural
Tidak ada satu perusahaan pun yang seharusnya menjadi satu-satunya sumber analisis publik, identitas, komunikasi, dan infrastruktur administratif. Tidak ada pemerintah pusat yang seharusnya menjadi satu-satunya institusi yang mampu menggunakan kapabilitas canggih. Tidak ada sistem penilaian universal yang seharusnya menentukan akses terhadap pekerjaan, kredit, tunjangan, ucapan, dan mobilitas.
Pluralisme menciptakan friksi, dan friksi terkadang bersifat protektif. Sistem federal, pemerintah lokal, pengadilan, regulator independen, universitas, serikat pekerja, asosiasi profesional, komunitas teknis terbuka, dan masyarakat sipil dapat mengungkap kegagalan yang akan ditekan atau dilewatkan satu sistem sentral. Institusi yang bersaing juga memberi orang tempat untuk mengajukan banding dan berorganisasi.
Pluralisme tidak sama dengan proliferasi yang tidak terkendali. Kapabilitas berisiko tinggi dapat memerlukan pembatasan akses sementara pengambilan keputusan tetap beragam secara institusional. Masalah rancangannya adalah menghindari baik monopoli swasta maupun sentralisasi negara total.
Keputusan yang harus tetap dapat diperdebatkan secara politik
AI dapat menginformasikan keputusan publik tanpa mendefinisikan tujuan publik. Pertanyaan seperti bagaimana mendistribusikan pendapatan, risiko apa yang dapat diterima, hak siapa yang diprioritaskan, apakah menggunakan kekuatan, apa yang harus dipelajari anak-anak, dan seberapa besar pengawasan yang dapat diterima bukanlah masalah optimisasi dengan fungsi target yang netral. Ini adalah pilihan politik di antara nilai-nilai dan orang-orang.
Mendelegasikan implementasi juga dapat membentuk-ulang tujuan. Sebuah sistem tunjangan yang dioptimalkan untuk mengurangi waktu pemrosesan mungkin menghalangi pemohon yang kompleks. Sebuah sistem kepolisian yang dioptimalkan untuk insiden yang diprediksi mungkin memperkuat pola dalam penegakan hukum historis. Sebuah sistem kesehatan yang dioptimalkan untuk biaya yang terukur mungkin merendahkan hasil yang sulit dicatat. Kendali demokratis membutuhkan peninjauan atas apa yang sesungguhnya dihargai sebuah sistem, bukan sekadar menyetujui tujuan yang dinyatakannya.
Usulan normatif: jaminan agensi minimum
Untuk penggunaan publik yang konsekuensial, orang harus dapat mengidentifikasi:
- bahwa sebuah sistem AI secara material memengaruhi keputusan tersebut;
- institusi dan pejabat yang secara hukum bertanggung jawab;
- aturan yang berlaku dan bukti yang digunakan;
- keterbatasan penting, ketidakpastian, dan provenans data;
- banding manusia yang tepat waktu dengan kekuatan untuk mengubah hasil;
- rute yang dapat diakses ke pengadilan, regulator, ombudsman, atau badan terpilih;
- jalur non-digital bagi orang yang tidak dapat menggunakan sistem tersebut dengan aman.
Jaminan-jaminan ini tidak akan menghilangkan kesalahan atau perselisihan politik. Mereka mempertahankan perbedaan antara administrasi dan dominasi: orang yang terdampak tetap menjadi peserta dalam sebuah sistem alasan dan pemulihan, bukan sekadar objek yang diklasifikasikan.
Pertanyaan konstitusional pasca-AGI
Isu terdalam bukanlah apakah sebuah AI menerima gelar pemerintahan formal. Ini adalah apakah manusia dan institusi mereka mempertahankan kompetensi, independensi, dan daya ungkit untuk merevisi sistem yang konsekuensial. Jika menghapus satu model akan menghentikan layanan kesehatan, keuangan, komunikasi, dan pemerintahan sekaligus, kedaulatan hukum menawarkan sedikit kenyamanan praktis.
Kelangsungan demokrasi setelah AI transformatif karenanya bergantung pada kapasitas yang dibangun sebelum ketergantungan menjadi lengkap: keahlian publik, infrastruktur yang dapat dioperasikan bersama, hak yang dapat ditegakkan, institusi yang plural, bukti independen, banding yang bermakna, dan cara-cara teruji untuk beroperasi ketika rekomendasi otomatis tidak tersedia atau ditolak. Itu bukan tindakan anti-teknologi. Itu adalah mesin yang memungkinkan sebuah masyarakat menggunakan teknologi yang kuat tanpa menyerahkan kemampuan untuk memilih tujuannya sendiri.