Situation report active Rev. 2026.9 119 reports 239 source records updated
Real Life After AGI Pengarahan kelangsungan hidup manusia
ID

04 Jalan keluar

Jalan keluar yang benar-benar ada

Kendali teknis dan institusional menentukan apakah skenario parah di bab 02 menjadi lebih mungkin atau lebih kecil kemungkinannya terjadi; persiapan rumah tangga tidak dapat menggantikannya.

Written by
Dwight Ringdahl
Sources
2 cited

Tuas keselamatan teknis

  • Riset interpretabilitas. Memeriksa representasi model dan komputasi internal sebagai satu pelengkap bagi evaluasi perilaku, kontrol akses, dan pemantauan penerapan.
  • Pengawasan yang dapat diskalakan. Teknik — debat, pemodelan penghargaan rekursif, generalisasi dari lemah ke kuat — yang dimaksudkan untuk membantu pengawas yang kurang mampu mengawasi sistem yang lebih mampu.
  • Riset keterkoreksian. Mempelajari bagaimana sistem dapat tetap terbuka terhadap koreksi, modifikasi, dan penonaktifan yang sah; belum ada solusi yang tangguh pada skala besar yang terbukti.
  • Tata kelola komputasi. Kontrol ekspor spesifik yurisdiksi, pemantauan infrastruktur, dan ambang batas yang digunakan sebagai proksi yang tidak sempurna untuk kemampuan — bukan sebagai definisi AGI atau keselamatan.

Kepala eksekutif Anthropic mengemukakan argumen untuk yang pertama ini dalam esainya tahun 2025 tentang topik tersebut:

Summarized position

Dario Amodei argues that researchers still lack a precise account of why models choose particular outputs.

Dario Amodei, CEO, Anthropic
The Urgency of Interpretability, Primary source

Tuas institusional

Masalah koordinasi

Koordinasi internasional penting karena kontrol unilateral dapat mengubah baik insentif keselamatan maupun posisi kompetitif. Lanskap kebijakan tidak lagi sepenuhnya sukarela: UU AI Uni Eropa memberlakukan kewajiban yang mengikat bagi penyedia dalam cakupannya, sementara kerangka keselamatan laboratorium dan komitmen KTT sebagian besar masih bersifat sukarela. Saat ini belum ada perjanjian pengendalian senjata model-terdepan global yang mengikat.

Titik awal internasional yang dini adalah deklarasi tidak mengikat yang didukung oleh 28 negara dan UE pada KTT Keselamatan AI global pertama:

Summarized position

28 nations and the European Union commits signatories to AI that is designed, developed, deployed and used safely and responsibly.

28 nations and the European Union, The Bletchley Declaration, AI Safety Summit
GOV.UK, Signed statement
  • Evaluasi pra-penerapan yang proporsional terhadap risiko untuk kemampuan berbahaya sebelum perilisan tanpa batasan.
  • Pelaporan insiden yang memungkinkan regulator dan pengembang belajar dari kegagalan serius dan nyaris gagal.
  • Aturan tanggung jawab yang memperhitungkan kendali, pengetahuan, kausalitas, dan kemampuan untuk mencegah bahaya.

Apa yang dapat dilakukan seorang teknolog secara individu

Pembaca dapat memengaruhi kebijakan sebagai pemilih, pekerja, peneliti, pelanggan, investor, dan anggota organisasi sipil. Opsi praktis meliputi berkontribusi atau mendanai riset interpretabilitas dan penyelarasan; mendorong praktik keselamatan di dalam organisasi Anda sendiri jika Anda menerapkan sistem AI dalam produksi; mendukung infrastruktur pelaporan dan evaluasi di atas alih-alih memperlakukannya sebagai friksi regulasi; dan memeriksa sumber serta bukti di balik klaim yang persuasif alih-alih mengasumsikan baik manipulasi otomatis maupun konsensus yang tulus.

Riset Kebijakan Organisasional

Type to search the manual.

navigate open esc close