Etikete değil işleve bakarak başlayın
Otonom bir silah, genel olarak, bir kez etkinleştirildikten sonra bir insanın her bir vuruşu onaylamasına gerek kalmadan hedefleri seçip angaje olabilen bir sistem olarak anlaşılır. Tanımlar tartışmalı kalmaya devam ediyor çünkü özerklik tek bir anahtar değildir. İnsanlar görev alanını ve hedef sınıfını seçerken, yazılım gezinebilir, bir nesneyi tanımlayabilir, bir eylem önerebilir veya tam ateş etme anını belirleyebilir.
Bu tayf; savunmacı önleyiciler gibi uzun süredir var olan sistemlerin yanı sıra daha yeni oyalanan mühimmatları, drone sürülerini, yapay-zekâ-destekli hedefleme araçlarını ve bu kılavuzun askeri insansı ve yer robotları sayfasında incelenen tekerlekli, paletli ve bacaklı platformlar olan silahlı yer robotlarını içerir. Risk; ortama, hedefe, zaman baskısına, öngörülebilirliğe, iletişime ve hata sonuçlarına bağlıdır. Gelen mühimmatı önleyen sıkı sınırlı bir sistem, bir şehri insanlar için tarayan bir sistemden farklıdır.
Yapay-zekâ-destekli karar desteği de, bir insan resmi olarak tetiği çektiğinde bile inceleme hak ediyor. Bir operatör şiddetli zaman baskısı altında yüzlerce makine tarafından üretilmiş hedef alıyorsa, onay bir kaşe basma işlemine dönüşebilir. “İnsan döngüde” ifadesi, kişinin bilgisi, yetkisi, zamanı ve sistemi sorgulamak için eğitimi yoksa çok az şey ifade eder.
Belgelenen — ve tartışmalı kalan
2021 tarihli bir Birleşmiş Milletler Uzmanlar Paneli Libya raporu, Kargu-2 oyalanan mühimmatlarını ve geri çekilen kuvvetlere karşı kullanılan diğer sistemleri tarif etti; sistemlerin operatör ile mühimmat arasında veri bağlantısı gerektirmeden hedeflere saldırmak üzere programlandığını belirtti (BM Libya raporu, 63. paragraf). Bu pasaj sıklıkla insanlara karşı ilk otonom-drone saldırısı olarak adlandırılır. Ancak kamu raporu, bir Kargu-2’nin bağımsız olarak bir kişiyi seçip öldürdüğünü kesin olarak kurmuyor. Uzmanlar çalışma modunu ve sonucunu tartışıyor. Bu, ilgili bir bağlamda dağıtımın kanıtıdır, doğrulanmış bir otonom öldürmenin kanıtı değil.
Daha yakın zamanlı çatışmalar, kapsamlı drone kullanımı, bilgisayarlı görü, otomatik istihbarat işleme ve yapay-zekâ-destekli hedef önerileriyle öne çıkıyor. Kamu raporlaması genellikle hangi modelin hangi işlevi gerçekleştirdiğini veya operatörlerin ne kadar kontrol koruduğunu belirlemek için yeterli teknik erişimden yoksundur. Askeri iddialar, satıcı açıklamaları ve basın haberleri, tek bir kesinliğe birleştirilmek yerine etiketlenmelidir.
Gelişimin yönü yine de nettir: silahlı kuvvetler, iletişim bozulduğunda çalışabilen, sensör verisini hızla işleyebilen ve birçok ucuz platformu koordine edebilen sistemlere yatırım yapıyor. Sürekli bir uzaktan-kontrol bağlantısı savunmasız olduğu için daha fazla özerklik taktik olarak çekici olabilir. Bunun daha güvenli hassasiyet mi yoksa daha hızlı, daha az hesap verebilir şiddet mi ürettiği tasarıma ve doktrine bağlıdır.
Üç farklı tırmanma yolu
Hız tırmanması, otomatik uyarı, hedefleme veya tepki karar süresini sıkıştırdığında meydana gelir. Bir krizde liderler, beklemenin bir rakibin makine-hızındaki sistemine avantaj sağladığından korkabilir. Bu, eylemleri önceden yetkilendirme baskısı yaratabilir. Yanlış bir sensör okuması, model hatası veya belirsiz bir manevra, insanlar anlamadan önce yayılabilir.
Ölçek tırmanması, özerklik birçok sistemi koordine etmeyi veya hedef üretmeyi ucuzlattığında meydana gelir. Düzinelerce kararı dikkatle inceleyebilecek bir insan kuruluşu, binlercesini anlamlı bir şekilde inceleyemeyebilir. Daha büyük hacim, her sistem bireysel olarak daha doğru olsa bile, kazara karşılaşmaları, sivil zararı ve misilleme taleplerini artırabilir.
Algı tırmanması, devletler bir rakibin sistemini, doktrinini veya kontrol düzeyini yanlış okuduğunda meydana gelir. Gizlilik, bir silahın savunmacı olup olmadığını, bir eylemin kasıtlı olup olmadığını veya bir insanın onu durdurabilip durduramayacağını bilmeyi zorlaştırır. Yapay-zekâ-üretimi bir öneri bir tarafa nesnel görünebilirken diğerine saldırgan görünebilir.
Bunlar makul mekanizmalardır, yapay zekânın kaçınılmaz olarak bir savaş başlatacağının kanıtı değil. Otomasyon ayrıca uyarıyı iyileştirebilir, operatör aşırı yükünü azaltabilir, tehditleri önleyebilir ve tırmanmayı azaltmayı destekleyebilir. Sonuç; teste, iletişime, doktrine ve paylaşılan kısıtlamalara bağlıdır.
Nükleer sistemler daha yüksek bir eşik hak ediyor
Yapay zekâyı nükleer komuta, kontrol, iletişim veya erken uyarıya bağlamak istisnai riskler yaratıyor. Makine öğrenimi büyük sensör akışlarını analiz etmeye yardımcı olabilir, ama opak hatalar, düşmanca manipülasyon ve dağılım kayması, yanlış güvenin felaket niteliğinde olabileceği yerlerde tehlikelidir. Risk mutlaka bir yapay zekânın bağımsız olarak “nükleer silah fırlatması” değildir. Liderlerin dakikalar içinde sıkıştırılmış, kötü kalibre edilmiş tavsiye almasını içerir.
Nükleer kullanım kararları üzerinde insan sorumluluğunu korumak bu nedenle semboliklikten fazlasıdır. Sistemler belirsizlik ve köken sağlamalı, bağımsız kanalları korumalı, sahtekarlığa direnmeli ve liderlere doğrulamak için zaman tanımalıdır. Hiçbir tek model çıktısı kesin bir gösterge hâline gelmemelidir. Tatbikatlar, yalnızca ekipman arızasını değil, yapay zekâ başarısızlığını ve kasıtlı manipülasyonu da içermelidir.
Hesap verebilirlik algoritmada bitemez
Uluslararası insancıl hukuk, kullanılan teknolojiden bağımsız olarak geçerlidir. Ayrım, orantılılık ve saldırıda ihtiyat, insan ve devlet yükümlülükleri olmaya devam ediyor. Yine de özerklik soruşturmayı karmaşıklaştırır: zararlı bir sonuç eğitim verisini, sensör sınırlamalarını, bir komutanın parametrelerini, bir yazılım güncellemesini veya operatör kötüye kullanımını içerebilir.
Bu karmaşıklık bir hesap verebilirlik boşluğu için bahane değildir. Devletler; izlenebilir günlükler, hukuki inceleme, denetlenebilir test, net komuta sorumluluğu ve bir sistemin çalışabileceği ortamlara ilişkin sınırlar talep edebilir. Geliştiriciler ve komutanlar öngörülebilir başarısızlık modlarını ve durdurma koşullarını tanımlamalıdır. İncelenemeyecek kadar öngörülemez bir sistem, sorumluluk dağıtılmış olduğu için dağıtılmamalıdır.
Önyargı ve bağlam da önemlidir. Temiz görüntülerle test edilen bir görü sistemi, havada, molozda, kamuflajda veya tanıdık olmayan popülasyonlarda başarısız olabilir. Düşmanlar sensörleri kasıtlı olarak yanıltabilir. Bir test kümesinde ortalamalanmış doğruluk, sistemin belirli bir hedef sınıfı ve ortam için güvenilir olup olmadığını yanıtlamaz.
Uluslararası politika manzarası
Devletler, bağlayıcı bir araç üzerinde anlaşmadan yıllardır Belirli Konvansiyonel Silahlar Sözleşmesi içinde ölümcül otonom silahları tartışıyor. Amerika Birleşik Devletleri, 2023’te bağlayıcı olmayan bir Yapay Zekâ ve Özerkliğin Sorumlu Askeri Kullanımına İlişkin Siyasi Bildiri başlattı ve onaylayanları kıdemli gözetim, titiz test ve beklenmedik davranan sistemleri devre dışı bırakma yeteneği dahil ilkelere bağladı (ABD Dışişleri Bakanlığı bildirisi).
Bildiri normlar ve pratik iş birliği inşa edebilir, ama onaylama yaptırım değildir. Sivil toplum ve devlet önerileri, insanları anlamlı insan kontrolü olmadan hedefleyen sistemleri yasaklamaktan belirli işlevleri düzenlemeye ve olumlu yükümlülükler getirmeye kadar değişiyor. Tanımlar, doğrulama ve askeri avantaj üzerinde anlaşmazlık devam ediyor.
Kapsamlı bir antlaşmayı beklemek zorunda kalmayan yararlı yakın-dönem önlemleri var. Devletler olay bilgisi paylaşabilir, otonom nükleer-fırlatma kararlarını yasaklayabilir, silah incelemeleri talep edebilir, test standartları belirleyebilir, kişi-hedeflemesi üzerinde insan kontrolünü koruyabilir ve yapay-zekâ-ile-ilgili kazalar için iletişim kanalları kurabilir.
Anlamlı insan kontrolünün gerektirdiği şey
İfade operasyonel olmalıdır. Bir insanın anlaşılır bir hedef ve hedef sınırına; sistemin güveni ve sınırlamaları hakkında güvenilir bilgiye; müdahale etmek için yeterli zamana; kullanılabilir bir durdurma mekanizmasına; ve reddetme hukuki yetkisine ihtiyacı vardır. Arayüzler, hızlı onayı teşvik etmek yerine otomasyon önyargısına direnmelidir. Eylemden sonra, kayıtlar soruşturma ve çözümü desteklemelidir. Bu kılavuzun yer robotları, insansılar ve savaş hukuku üzerine eşlik eden sayfası, bu insan-kontrolü gerekliliğinin bugün sahada bulunan silahlı yer robotlarında gerçekte nasıl uygulandığını — veya uygulanmadığını — inceliyor.
Kontrol, bir angajmandan önce de başlar. Siyasi liderler tedarik ve doktrine karar verir; komutanlar parametreleri belirler; mühendisler veriyi ve testleri seçer. Yalnızca son düğmeye basmaya odaklanmak bu sonuçsal seçimleri gözden kaçırır.
Ölçülü bir sonuç
Silahlarda özerklik zaten bir politika ve savaş alanı gerçeğidir, ancak belirli angajmanlar hakkındaki kamu kanıtı genellikle eksiktir. Kargu-2 raporu kanıtlanmış bir otonom öldürmeye şişirilmemeli ve denetimli hedefleme tamamen bağımsız savaş olarak yanlış etiketlenmemelidir.
Felaket niteliğindeki endişe, güvenilir yollara dayanıyor: daha hızlı kararlar, kitlesel koordinasyon, kırılgan insan incelemesi ve stratejik uyarı sistemleriyle etkileşim. Hiçbiri tırmanmayı kaçınılmaz kılmıyor. Güçlü insan yetkisi, denetlenebilir tasarım, hukuki hesap verebilirlik, paylaşılan normlar ve nükleer ve kişi-hedeflemesi işlevleri etrafındaki açık sınırlar, kanıt gelişmeye devam ederken riski azaltabilir.