Mulai dengan fungsinya, bukan labelnya
Sebuah senjata otonom umumnya dipahami sebagai sebuah sistem yang, begitu diaktifkan, dapat memilih dan menyerang target tanpa seorang manusia menyetujui setiap serangan individual. Definisi tetap diperselisihkan karena otonomi bukanlah satu sakelar tunggal. Manusia mungkin memilih area misi dan kelas target sementara perangkat lunak menavigasi, mengidentifikasi sebuah objek, merekomendasikan tindakan, atau memutuskan momen persis untuk menembak.
Spektrum ini mencakup sistem lama seperti interseptor defensif serta munisi berkeliaran (loitering) yang lebih baru, kawanan drone, alat penargetan berbantuan-AI, dan robot darat bersenjata — platform beroda, berlintasan, dan berkaki yang disurvei dalam halaman robot darat dan humanoid militer manual ini. Risiko bergantung pada lingkungan, target, tekanan waktu, prediktabilitas, komunikasi, dan konsekuensi kesalahan. Sebuah sistem yang dibatasi secara ketat yang mencegat munisi yang datang berbeda dari satu yang mencari orang di sebuah kota.
Dukungan keputusan berbantuan-AI juga layak mendapat pengawasan bahkan ketika seorang manusia secara formal menarik pelatuknya. Jika seorang operator menerima ratusan target yang dihasilkan-mesin di bawah tekanan waktu yang parah, persetujuan dapat menjadi sekadar stempel karet. “Manusia dalam lingkar” tidak mengatakan banyak kecuali orang itu memiliki informasi, otoritas, waktu, dan pelatihan untuk menantang sistem itu.
Apa yang terdokumentasi—dan apa yang tetap diperselisihkan
Sebuah laporan Panel Ahli Perserikatan Bangsa-Bangsa 2021 tentang Libya mendeskripsikan munisi berkeliaran Kargu-2 dan sistem lain yang digunakan terhadap pasukan yang mundur, mencatat bahwa sistem-sistem itu diprogram untuk menyerang target tanpa membutuhkan konektivitas data antara operator dan munisi (laporan PBB Libya, paragraf 63). Bagian itu seringkali disebut sebagai serangan drone-otonom pertama terhadap manusia. Namun, laporan publik itu tidak membuktikan secara konklusif bahwa sebuah Kargu-2 secara independen memilih dan membunuh seseorang. Para ahli memperselisihkan modus operasi dan hasilnya. Ini adalah bukti penerapan dalam sebuah konteks yang relevan, bukan bukti sebuah pembunuhan otonom yang terkonfirmasi.
Konflik yang lebih baru telah menampilkan penggunaan drone yang ekstensif, visi komputer, pemrosesan intelijen otomatis, dan rekomendasi target yang didukung-AI. Pelaporan publik seringkali kekurangan akses teknis yang cukup untuk menentukan model mana yang menjalankan fungsi mana atau berapa banyak kendali yang dipertahankan operator. Klaim militer, deskripsi vendor, dan laporan pers harus dilabeli alih-alih digabungkan menjadi satu kepastian.
Arah pengembangannya tetap jelas: angkatan bersenjata sedang berinvestasi dalam sistem yang dapat beroperasi ketika komunikasi terganggu, memproses data sensor dengan cepat, dan mengoordinasikan banyak platform murah. Otonomi yang lebih besar mungkin menarik secara taktis karena sebuah tautan kendali-jarak-jauh yang berkelanjutan itu rentan. Apakah itu menghasilkan presisi yang lebih aman atau kekerasan yang lebih cepat dan kurang bertanggung jawab bergantung pada desain dan doktrin.
Tiga jalur eskalasi yang berbeda
Eskalasi kecepatan terjadi ketika peringatan, penargetan, atau respons otomatis memampatkan waktu keputusan. Dalam sebuah krisis, para pemimpin mungkin takut bahwa menunggu memungkinkan sistem berkecepatan-mesin seorang lawan memperoleh keunggulan. Itu dapat menciptakan tekanan untuk mengotorisasi-di-muka tindakan. Sebuah pembacaan sensor yang salah, kesalahan model, atau manuver yang ambigu mungkin menyebar sebelum orang memahaminya.
Eskalasi skala terjadi ketika otonomi membuatnya lebih murah untuk mengoordinasikan banyak sistem atau menghasilkan target. Sebuah organisasi manusia yang dapat meninjau puluhan keputusan dengan hati-hati mungkin tidak dapat meninjau ribuan keputusan secara bermakna. Volume yang lebih besar dapat meningkatkan pertemuan tidak disengaja, kerugian sipil, dan tuntutan pembalasan bahkan jika setiap sistem secara individual lebih akurat.
Eskalasi persepsi terjadi ketika negara salah membaca sistem, doktrin, atau tingkat kendali seorang musuh. Kerahasiaan membuatnya sulit untuk mengetahui apakah sebuah senjata bersifat defensif, apakah sebuah tindakan itu disengaja, atau apakah seorang manusia dapat menghentikannya. Sebuah rekomendasi yang dihasilkan-AI mungkin tampak objektif bagi satu pihak dan agresif bagi pihak lain.
Ini adalah mekanisme yang masuk-akal, bukan bukti bahwa AI tidak terelakkan akan memulai sebuah perang. Otomatisasi juga dapat memperbaiki peringatan, mengurangi kelebihan-beban operator, mencegat ancaman, dan mendukung de-eskalasi. Hasilnya bergantung pada pengujian, komunikasi, doktrin, dan batasan bersama.
Sistem nuklir layak mendapat standar yang lebih tinggi
Menghubungkan AI ke komando, kendali, komunikasi, atau peringatan-dini nuklir mengangkat taruhan yang luar biasa. Pembelajaran mesin dapat membantu menganalisis aliran sensor yang besar, tetapi kesalahan yang buram, manipulasi adversarial, dan pergeseran distribusi itu berbahaya di mana kepercayaan-diri yang palsu dapat menjadi katastrofik. Risikonya bukan sekadar sebuah AI secara independen “meluncurkan nuklir.” Risiko itu mencakup para pemimpin menerima saran yang termampatkan dan buruk-terkalibrasi dalam hitungan menit.
Mempertahankan tanggung jawab manusia atas keputusan penggunaan-nuklir karenanya lebih dari sekadar simbolisme. Sistem harus menyediakan ketidakpastian dan provenans, melestarikan saluran independen, menahan spoofing, dan memberi para pemimpin waktu untuk memverifikasi. Tidak ada satu keluaran model pun yang seharusnya menjadi sebuah indikator yang menentukan. Latihan harus mencakup kegagalan AI dan manipulasi yang disengaja, bukan hanya kerusakan peralatan.
Akuntabilitas tidak dapat berakhir pada algoritma
Hukum humaniter internasional berlaku terlepas dari teknologi yang digunakan. Distingsi, proporsionalitas, dan kehati-hatian dalam serangan tetap menjadi kewajiban manusia dan negara. Namun otonomi memperumit investigasi: sebuah hasil yang merugikan mungkin melibatkan data pelatihan, keterbatasan sensor, parameter seorang komandan, sebuah pembaruan perangkat lunak, atau penyalahgunaan operator.
Kompleksitas itu bukanlah alasan untuk sebuah kesenjangan akuntabilitas. Negara dapat mewajibkan log yang dapat dilacak, tinjauan hukum, pengujian yang dapat diaudit, tanggung jawab komando yang jelas, dan batasan pada lingkungan di mana sebuah sistem boleh beroperasi. Pengembang dan komandan harus mendefinisikan modus kegagalan yang dapat diperkirakan dan kondisi penghentian. Sebuah sistem yang terlalu tidak dapat diprediksi untuk ditinjau tidak seharusnya diterapkan semata-mata karena tanggung jawabnya terdistribusi.
Bias dan konteks itu penting juga. Sebuah sistem visi yang diuji pada citra yang bersih mungkin gagal dalam cuaca, puing, kamuflase, atau populasi yang tidak familier. Musuh dapat secara sengaja menipu sensor. Akurasi yang dirata-ratakan di seluruh sebuah set pengujian tidak menjawab apakah sistem itu andal untuk sebuah kelas target dan lingkungan tertentu.
Lanskap kebijakan internasional
Negara-negara telah memperdebatkan senjata otonom mematikan di dalam Convention on Certain Conventional Weapons selama bertahun-tahun tanpa menyepakati sebuah instrumen yang mengikat. Amerika Serikat meluncurkan sebuah Political Declaration on Responsible Military Use of Artificial Intelligence and Autonomy yang tidak mengikat pada 2023, mengomitmenkan para pendukungnya pada prinsip-prinsip termasuk pengawasan senior, pengujian yang ketat, dan kemampuan untuk melepaskan sistem yang berperilaku tidak terduga (deklarasi Departemen Luar Negeri AS).
Deklarasi itu dapat membangun norma dan kerja sama praktis, tetapi dukungan bukanlah penegakan. Proposal masyarakat-sipil dan negara berkisar dari melarang sistem yang menargetkan orang tanpa kendali manusia yang bermakna hingga meregulasi fungsi tertentu dan mewajibkan kewajiban positif. Ketidaksepakatan berlanjut atas definisi, verifikasi, dan keunggulan militer.
Langkah-langkah jangka-dekat yang berguna tidak harus menunggu sebuah perjanjian yang komprehensif. Negara dapat bertukar informasi insiden, melarang keputusan peluncuran-nuklir yang otonom, mewajibkan tinjauan senjata, menetapkan standar pengujian, melindungi kendali manusia atas penargetan-orang, dan mendirikan saluran komunikasi untuk kecelakaan terkait-AI.
Apa yang dibutuhkan kendali manusia yang bermakna
Frasa ini harus bersifat operasional. Seorang manusia membutuhkan sebuah tujuan dan batas-target yang dapat dipahami; informasi yang andal tentang kepercayaan-diri dan keterbatasan sistem itu; cukup waktu untuk melakukan intervensi; sebuah mekanisme penghentian yang dapat digunakan; dan otoritas hukum untuk menolak. Antarmuka harus menahan bias otomatisasi alih-alih mendorong konfirmasi yang cepat. Setelah tindakan, catatan harus mendukung investigasi dan pemulihan. Halaman pendamping manual ini tentang robot darat, humanoid, dan hukum perang memeriksa bagaimana persyaratan kendali-manusia ini sesungguhnya sedang diimplementasikan — atau tidak — dalam robot darat bersenjata yang diterjunkan saat ini.
Kendali juga dimulai sebelum sebuah pertempuran. Pemimpin politik memutuskan pengadaan dan doktrin; komandan menetapkan parameter; insinyur memilih data dan pengujian. Berfokus hanya pada penekanan tombol akhir mengabaikan pilihan-pilihan konsekuensial ini.
Sebuah kesimpulan yang terukur
Otonomi dalam senjata sudah menjadi sebuah realitas kebijakan dan medan-perang, tetapi bukti publik tentang pertempuran tertentu seringkali tidak lengkap. Laporan Kargu-2 tidak seharusnya digelembungkan menjadi sebuah pembunuhan otonom yang terbukti, dan penargetan yang diawasi tidak seharusnya salah-dilabeli sebagai peperangan yang sepenuhnya independen.
Kekhawatiran katastrofik itu bersandar pada jalur-jalur yang kredibel: keputusan yang lebih cepat, koordinasi massal, tinjauan manusia yang rapuh, dan interaksi dengan sistem peringatan strategis. Tidak satu pun membuat eskalasi tidak terelakkan. Otoritas manusia yang kuat, desain yang dapat diaudit, akuntabilitas hukum, norma bersama, dan batasan eksplisit di sekitar fungsi nuklir dan penargetan-orang dapat mengurangi risiko sementara bukti terus berkembang.