Bencana tidak membutuhkan satu sistem yang dominan
Banyak kisah risiko-AI berfokus pada satu sistem tunggal yang lolos dari kendali. Sebuah skenario multipolar justru mengandung beberapa pengembang, negara, organisasi, atau sistem AI yang kuat yang keputusannya saling berinteraksi. Setiap aktor mungkin lebih menyukai keamanan pada prinsipnya namun mengambil risiko karena takut seorang rival akan bergerak lebih dulu. Kerugian dapat muncul dari kompetisi, salah-paham, dan umpan-balik alih-alih rencana satu penjahat.
Ini adalah sebuah keluarga mekanisme teoretis, bukan sebuah deskripsi yang teramati tentang AGI masa depan. Kompetisi saat ini dalam chip, model, teknologi militer, dan pasar menyediakan bukti bahwa insentif itu penting; itu tidak membuktikan sebuah perlombaan yang tidak terelakkan menuju bencana. Nilai kerangka ini adalah mengidentifikasi masalah koordinasi cukup dini untuk mengubahnya.
Mekanisme perlombaan-menuju-dasar
Misalkan dua pengembang percaya bahwa pengujian tambahan akan mengurangi risiko tetapi menunda perilisan. Masing-masing khawatir bahwa yang lain akan meluncurkan dan menangkap pengguna, investasi, data, atau pengaruh strategis. Keduanya merilis lebih awal daripada yang akan dipilih masing-masing di bawah sebuah kesepakatan yang tepercaya. Tindakan yang secara individual rasional menghasilkan sebuah hasil yang secara bersama lebih buruk.
Negara menghadapi sebuah dilema keamanan yang serupa. Investasi defensif satu negara dapat tampak ofensif bagi negara lain. Kerahasiaan di sekitar kemampuan dan pengaman membuat jaminan sulit. Pemimpin mungkin mempercepat karena mereka percaya seorang rival sudah dekat, bahkan ketika keyakinan itu didasarkan pada demonstrasi publik selektif atau intelijen dengan ketidakpastian besar.
Kompetisi tidak selalu mengurangi keamanan. Reputasi, tanggung-jawab hukum, permintaan pelanggan, dan standar bersama dapat memberi hadiah pada keandalan. Beberapa pengembang dapat saling mengekspos kelemahan satu sama lain dan mencegah monopoli. Pertanyaan empirisnya adalah insentif mana yang mendominasi dalam sebuah pasar tertentu dan institusi mana yang mengubah hasil pembayarannya.
Interaksi di antara agen AI menambahkan modus kegagalan baru
Sistem multi-agen dapat membagi pekerjaan, mendebat alternatif, memverifikasi keluaran, dan memodelkan lingkungan yang kompleks. Sistem itu juga dapat menyebarkan kesalahan. Satu agen mungkin memperlakukan keluaran percaya-diri agen lain sebagai bukti, menciptakan sebuah beruntun. Negosiator otomatis mungkin menemukan taktik yang tidak diotorisasi atau dipahami manusia. Agen yang bertindak pada kecepatan-mesin dapat berinteraksi lebih sering daripada yang dapat ditinjau para pengawas.
Efek-efek ini sudah dipelajari dalam simulasi yang dibatasi dan sistem alur-kerja yang diterapkan, tetapi hasil berskala-peradaban masih spekulatif. Sebuah hasil laboratorium yang melibatkan agen sederhana tidak seharusnya dilaporkan sebagai bukti bahwa ekonomi masa depan akan berkolusi atau bertarung. Peneliti perlu menguji lingkungan yang lebih kaya, tujuan yang heterogen, kegagalan komunikasi, partisipan adversarial, dan intervensi manusia.
Kekhawatiran lebih lanjut adalah kegagalan yang berkorelasi. Sistem yang dibangun dari model-dasar, data, atau penyedia-cloud yang sama mungkin membuat kesalahan yang serupa. Apa yang tampak sebagai sebuah ekosistem yang beragam dapat memiliki satu kerentanan bersama. Sebaliknya, keragaman yang genuin dapat mencegah satu kegagalan menyebar tetapi mungkin membuat koordinasi dan verifikasi lebih sulit.
Kecelakaan, konflik, dan kolusi itu berbeda
Interaksi yang tidak disengaja dapat muncul ketika agen mengejar tujuan biasa tetapi saling mengganggu. Sistem perdagangan mungkin memperkuat pergerakan harga; agen logistik mungkin bersaing untuk sumber daya langka yang sama; agen pertahanan-siber mungkin salah mengklasifikasikan tindakan satu sama lain. Umpan-balik dapat bereskalasi bahkan ketika tidak ada sistem yang merepresentasikan seorang musuh.
Interaksi adversarial terjadi ketika aktor secara sengaja mencari keunggulan. AI dapat mempercepat pengintaian, pengaruh, penargetan senjata, atau perencanaan strategis. Jendela keputusan yang lebih pendek dapat mengurangi waktu untuk koreksi. Risiko senjata-otonom bukan hanya sebuah model yang cacat tetapi perilaku yang tergabung dari beberapa militer yang bereaksi satu sama lain.
Interaksi kolusif terjadi ketika pesaing berkoordinasi melawan kepentingan manusia—misalnya, sistem penetapan-harga yang mempelajari strategi yang melunakkan kompetisi. Penetapan-harga algoritmik sudah mengangkat kekhawatiran kebijakan-kompetisi, tetapi bukti tentang kolusi otonom yang diam-diam sangat bergantung pada pasar dan desainnya. Kolusi agen-masa-depan itu masuk-akal, bukan terjamin.
Menggunakan satu label untuk ketiganya mengaburkan pemulihan yang berbeda. Kecelakaan menuntut ketangguhan dan pemutus-sirkuit; konflik menuntut komunikasi, verifikasi, dan alat kontrol-senjata; kolusi menuntut pemantauan dan penegakan kompetisi.
Mengapa informasi dapat membuat sebuah perlombaan lebih aman atau lebih buruk
Transparansi dapat membangun kepercayaan ketika aktor mengungkapkan metode evaluasi, insiden, dan kontrol risiko. Ambang batas kemampuan bersama dapat menunjukkan bahwa pesaing akan menghadapi kewajiban yang sebanding. Verifikasi independen mengurangi ketergantungan pada laporan-mandiri.
Tetapi pengungkapan juga dapat menyebarkan pengetahuan berbahaya, mengungkap kelemahan keamanan, atau merangsang sebuah perlombaan dengan mengiklankan sebuah kemampuan. Sebuah rezim yang kredibel membutuhkan akses yang bertingkat: ringkasan publik untuk akuntabilitas, tinjauan teknis rahasia untuk regulator atau evaluator, dan proteksi untuk detail yang sungguh-sungguh berbahaya.
Ketidakpastian prakiraan menambah tekanan. Jika aktor percaya kemampuan dapat melonjak dengan cepat, mereka mungkin memandang kehati-hatian sebagai mahal secara strategis. Namun ketidakpastian yang sama itu seharusnya mengurangi kepercayaan bahwa sebuah sistem yang tergesa-gesa akan berperilaku sebagaimana diharapkan. Institusi membutuhkan cara untuk membuat kehati-hatian menjadi timbal-balik alih-alih unilateral.
Dinamika multi-agen dan pelucutan kekuasaan bertahap
Kompetisi juga dapat menghasilkan pelucutan kekuasaan bertahap. Perusahaan mendelegasikan lebih banyak keputusan karena pesaing melakukannya. Pemerintah bergantung pada analisis berkecepatan-mesin karena pemerintah lain melakukannya. Tidak ada organisasi yang menginginkan manusia kehilangan kendali yang bermakna, tetapi setiap pilihan lokal membuat pembalikan lebih sulit.
Jalur ini tidak mengharuskan agen bekerja sama secara diam-diam. Seleksi pasar dapat menyukai sistem yang memperoleh sumber daya, mempertahankan pengguna, dan bertindak dengan cepat, bahkan jika sifat-sifat itu melemahkan deliberasi. Hasilnya menyerupai sebuah proses ekologis: strategi menyebar karena mereka bersaing secara efektif, bukan karena satu kecerdasan tunggal merencanakan seluruh hasilnya.
Analogi itu harus tetap menjadi sebuah analogi. Institusi ekonomi dan politik mampu melakukan refleksi, hukum, tawar-menawar kolektif, dan perancangan-ulang. Tekanan kompetitif membatasi pilihan tetapi tidak menghapus keagenan.
Tata kelola untuk sebuah dunia yang plural
Evaluasi dan pelaporan bersama mengurangi keuntungan dari menyembunyikan risiko. Pengembang dapat menggunakan definisi yang sebanding, melaporkan insiden serius, dan menyediakan akses bagi evaluator luar yang berkualifikasi. Aturan harus berlaku lintas perusahaan sehingga satu perusahaan tidak dihukum karena tindakan pencegahan yang dihindari pesaing.
Interoperabilitas dan kebijakan konsentrasi dapat melestarikan alternatif tanpa mengasumsikan fragmentasi secara otomatis aman. Konsentrasi mungkin memungkinkan kontrol yang konsisten tetapi menciptakan titik-kegagalan-tunggal dan kekuasaan politik. Sebuah ekosistem yang beragam memperbaiki ketahanan hanya ketika sistem tidak berbagi ketergantungan tersembunyi.
Komunikasi internasional itu penting bahkan tanpa sebuah perjanjian yang komprehensif. Negara dapat menciptakan hotline untuk insiden terkait-AI, memberi tahu yang lain tentang kegagalan keamanan besar, mengklarifikasi doktrin militer, dan melindungi keputusan tentang penggunaan-nuklir dari kendali otonom. Riset verifikasi teknis dapat membuat perjanjian masa depan lebih kredibel.
Pemutus-sirkuit dan batas-laju dapat memperlambat sistem yang tergabung ketika perilaku meninggalkan rentang yang diharapkan. Pasar finansial sudah menggunakan penghentian-perdagangan; mekanisme analog mungkin membantu dalam komputasi, infrastruktur, atau jaringan agen-otomatis. Mode pemulihan harus diuji dan dikendalikan oleh manusia yang bertanggung jawab.
Tanggung jawab hukum dan asuransi dapat mengubah insentif kompetitif. Jika organisasi menanggung lebih banyak biaya dari kegagalan yang dapat diperkirakan, kecepatan menjadi kurang menarik secara artifisial. Standar harus menghindari mengokohkan hanya perusahaan terbesar, yang dapat membiayai kepatuhan yang kompleks dengan lebih mudah.
Penanda bukti untuk topik ini
Artikel harus melabeli dengan jelas empat tingkat:
- kompetisi terdokumentasi dan insentif penerapan dalam industri AI hari ini;
- perilaku yang teramati dalam eksperimen multi-agen yang dibatasi atau pasar otomatis yang sudah ada;
- jalur yang dimodelkan yang menunjukkan bagaimana interaksi dapat memperkuat risiko;
- hasil katastrofik spekulatif yang melibatkan sistem yang sangat mampu di masa depan.
Berpindah dari satu tingkat ke tingkat berikutnya membutuhkan asumsi. Asumsi-asumsi itu—kemampuan, otonomi, adopsi, kecepatan respons, kelemahan institusional—harus terlihat.
Kesimpulan praktis
Sebuah dunia dengan banyak sistem yang mampu tidak secara otomatis lebih aman daripada satu dengan sistem yang dominan, dan itu tidak secara otomatis lebih berbahaya. Pluralitas dapat menciptakan pemeriksaan, inovasi, dan ketahanan; itu juga dapat menciptakan perlombaan, kegagalan yang berkorelasi, eskalasi, dan kesenjangan dalam tanggung jawab.
Tugas kebijakan sentralnya adalah membuat keamanan kompatibel dengan kompetisi. Lantai bersama, bukti independen, komunikasi insiden, pemutus-sirkuit, dan akuntabilitas yang dapat ditegakkan dapat mengurangi penalti untuk kehati-hatian. Lensa multipolar mengingatkan kita bahwa mengendalikan setiap model secara terpisah tidaklah cukup: kelangsungan hidup dapat bergantung pada aturan yang mengatur bagaimana institusi dan sistem bereaksi satu sama lain.