Felaket tek bir baskın sistem gerektirmez
Birçok yapay-zekâ-riski hikâyesi tek bir sistemin kontrolden kaçmasına odaklanıyor. Çok kutuplu bir senaryo bunun yerine kararları birbiriyle etkileşen birkaç güçlü geliştirici, devlet, kuruluş veya yapay zekâ sistemi içerir. Her aktör ilke olarak güvenliği tercih edebilir ama bir rakibin önce hareket edeceğinden korktuğu için risk alabilir. Zarar, tek bir kötü niyetlinin planından ziyade rekabet, yanlış anlama ve geri bildirimden ortaya çıkabilir.
Bu, gelecekteki AGI’nin gözlemlenmiş bir tarifi değil, teorik mekanizmalar ailesidir. Çiplerde, modellerde, askeri teknolojide ve piyasalarda mevcut rekabet, teşviklerin önemli olduğuna dair kanıt sağlıyor; kaçınılmaz bir felaket yarışını kanıtlamıyor. Çerçevenin değeri, koordinasyon sorunlarını onları değiştirmek için yeterince erken belirlemektir.
Dibe doğru yarış mekanizması
İki geliştiricinin ek testlerin riski azaltacağına ama yayını geciktireceğine inandığını varsayın. Her biri diğerinin daha erken başlatarak kullanıcıları, yatırımı, veriyi veya stratejik etkiyi ele geçireceğinden endişe ediyor. Her ikisi de güvenilir bir anlaşma altında seçeceklerinden daha erken yayın yapıyor. Bireysel olarak rasyonel eylem, birlikte daha kötü bir sonuç üretiyor.
Devletler benzer bir güvenlik ikilemiyle karşı karşıya. Bir ülkenin savunmacı yatırımı diğerine saldırgan görünebilir. Yetenekler ve güvenlik önlemleri etrafındaki gizlilik güvenceyi zorlaştırır. Liderler, inanç seçici kamu gösterilerine veya büyük belirsizliğe sahip istihbarata dayansa bile, bir rakibin yakın olduğuna inandıkları için hızlanabilir.
Rekabet her zaman güvenliği azaltmaz. İtibar, sorumluluk, müşteri talebi ve paylaşılan standartlar güvenilirliği ödüllendirebilir. Birden fazla geliştirici birbirinin zayıflıklarını ortaya çıkarabilir ve tekeli önleyebilir. Ampirik soru, belirli bir piyasada hangi teşviklerin baskın olduğu ve hangi kurumların ödemeyi değiştirdiğidir.
Yapay zekâ ajanları arasındaki etkileşim yeni başarısızlık modları ekliyor
Çok ajanlı sistemler işi bölebilir, alternatifleri tartışabilir, çıktıları doğrulayabilir ve karmaşık ortamları modelleyebilir. Ayrıca hataları yayabilirler. Bir ajan, başka bir ajanın kendinden emin çıktısını kanıt olarak ele alabilir ve bir çığ yaratabilir. Otomatik müzakereciler, insanların yetkilendirmediği veya anlamadığı taktikler keşfedebilir. Makine hızında hareket eden ajanlar, denetleyicilerin inceleyebileceğinden daha sık etkileşime girebilir.
Bu etkiler sınırlı simülasyonlarda ve dağıtılan iş akışı sistemlerinde zaten inceleniyor, ama medeniyet-ölçeğinde sonuçlar spekülatif olmaya devam ediyor. Basit ajanları içeren bir laboratuvar sonucu, gelecekteki ekonomilerin gizlice anlaşacağının veya savaşacağının kanıtı olarak rapor edilmemelidir. Araştırmacıların daha zengin ortamları, heterojen hedefleri, iletişim başarısızlıklarını, düşmanca katılımcıları ve insan müdahalesini test etmesi gerekiyor.
Ek bir endişe, korelasyonlu başarısızlıktır. Aynı temel modelden, veriden veya bulut sağlayıcısından inşa edilen sistemler benzer hatalar yapabilir. Çeşitli bir ekosistem gibi görünen şeyin tek bir ortak güvenlik açığı olabilir. Tersine, gerçek çeşitlilik tek bir başarısızlığın yayılmasını önleyebilir ama koordinasyonu ve doğrulamayı zorlaştırabilir.
Kazalar, çatışma ve gizli anlaşma farklıdır
Kazara etkileşim, ajanlar sıradan hedefleri sürdürürken müdahale ettiğinde ortaya çıkabilir. Ticaret sistemleri fiyat hareketini güçlendirebilir; lojistik ajanları aynı kıt kaynak için rekabet edebilir; siber-savunma ajanları birbirinin eylemlerini yanlış sınıflandırabilir. Hiçbir sistem bir düşmanı temsil etmese bile geri bildirim tırmanabilir.
Düşmanca etkileşim, aktörler kasıtlı olarak avantaj aradığında meydana gelir. Yapay zekâ; keşfi, etkiyi, silah hedeflemesini veya stratejik planlamayı hızlandırabilir. Daha kısa karar pencereleri düzeltme için zamanı azaltabilir. Otonom-silah riski yalnızca kusurlu bir model değil, birbirine tepki veren birkaç ordunun eşleşmiş davranışıdır.
Gizli anlaşmaya dayalı etkileşim, rakipler insan çıkarlarına karşı koordine olduğunda meydana gelir — örneğin, rekabeti yumuşatan stratejiler öğrenen fiyatlandırma sistemleri. Algoritmik fiyatlandırma zaten rekabet-politikası endişeleri yarattı, ama örtük özerk gizli anlaşma hakkındaki kanıt büyük ölçüde piyasaya ve tasarıma bağlı. Gelecekteki-ajan gizli anlaşması makul, garanti değil.
Üçü için de tek bir etiket kullanmak farklı çözümleri gizler. Kazalar sağlamlık ve devre kesiciler gerektirir; çatışma iletişim, doğrulama ve silah-kontrolü araçları gerektirir; gizli anlaşma izleme ve rekabet uygulaması gerektirir.
Bilginin bir yarışı neden daha güvenli veya daha tehlikeli hâle getirebileceği
Şeffaflık, aktörler değerlendirme yöntemlerini, olayları ve risk kontrollerini ifşa ettiğinde güven inşa edebilir. Paylaşılan yetenek eşikleri, rakiplerin karşılaştırılabilir yükümlülüklerle karşılaşacağını gösterebilir. Bağımsız doğrulama, kendi-kendine bildirime bağımlılığı azaltır.
Ama ifşa ayrıca tehlikeli bilgiyi yayabilir, güvenlik zayıflıklarını ortaya çıkarabilir veya bir yeteneği reklamlayarak bir yarışı teşvik edebilir. Güvenilir bir rejim, katmanlı erişime ihtiyaç duyar: hesap verebilirlik için kamu özetleri; düzenleyiciler veya değerlendiriciler için gizli teknik inceleme; ve gerçekten tehlikeli ayrıntılar için koruma.
Tahmin belirsizliği baskı ekliyor. Aktörler yeteneğin hızla sıçrayabileceğine inanıyorsa, temkinliliği stratejik olarak maliyetli görebilirler. Yine de aynı belirsizlik, aceleyle geliştirilmiş bir sistemin beklendiği gibi davranacağına olan güveni azaltmalıdır. Kurumların temkinliliği tek taraflı yerine karşılıklı yapmanın yollarına ihtiyacı var.
Çok ajanlı dinamikler ve kademeli güçsüzleştirme
Rekabet ayrıca kademeli güçsüzleştirme üretebilir. Rakipler yaptığı için firmalar daha fazla kararı devrediyor. Diğer hükümetler yaptığı için hükümetler makine-hızındaki analize güveniyor. Hiçbir kuruluş insanların anlamlı kontrolü kaybetmesini istemiyor, ama her yerel seçim geri döndürmeyi zorlaştırıyor.
Bu yol, ajanların gizlice iş birliği yapmasını gerektirmez. Piyasa seçimi, müzakereyi zayıflatan özellikler taşısa bile kaynak edinen, kullanıcıları elinde tutan ve hızlı hareket eden sistemleri kayırabilir. Sonuç, tek bir zekânın tüm sonucu planlamasından değil, stratejilerin etkili bir şekilde rekabet ettiği için yayılmasından dolayı ekolojik bir sürece benziyor.
Bu benzetme bir benzetme olarak kalmalıdır. Ekonomik ve siyasi kurumlar; düşünmeye, hukuka, toplu pazarlığa ve yeniden tasarıma kapasitelidir. Rekabetçi baskı seçimleri kısıtlar ama özerkliği ortadan kaldırmaz.
Çoğul bir dünya için yönetişim
Ortak değerlendirme ve raporlama, riski gizlemenin avantajını azaltır. Geliştiriciler karşılaştırılabilir tanımlar kullanabilir, ciddi olayları bildirebilir ve nitelikli dış değerlendiricilere erişim sağlayabilir. Kurallar firmalar arasında geçerli olmalı ki bir şirket rakiplerinin kaçındığı önlemler için cezalandırılmasın.
Birlikte çalışabilirlik ve yoğunlaşma politikası, parçalanmanın otomatik olarak güvenli olduğunu varsaymadan alternatifleri koruyabilir. Yoğunlaşma tutarlı kontrolleri mümkün kılabilir ama tek başarısızlık noktaları ve siyasi güç yaratır. Çeşitli bir ekosistem, sistemler gizli bağımlılıkları paylaşmadığında dayanıklılığı iyileştirir.
Uluslararası iletişim, kapsamlı bir antlaşma olmadan bile önemlidir. Devletler; yapay-zekâ-ile-ilgili olaylar için sıcak hatlar kurabilir, başkalarına büyük güvenlik başarısızlıklarını bildirebilir, askeri doktrini netleştirebilir ve nükleer kullanım kararlarını özerk kontrolden koruyabilir. Teknik doğrulama araştırması gelecekteki anlaşmaları daha güvenilir kılabilir.
Devre kesiciler ve hız sınırları, davranış beklenen aralıkların dışına çıktığında bağlı sistemleri yavaşlatabilir. Finansal piyasalar zaten ticaret duraklamaları kullanıyor; benzer mekanizmalar hesaplama, altyapı veya otomatik-ajan ağlarında yardımcı olabilir. Kurtarma modları test edilmeli ve hesap verebilir insanlar tarafından kontrol edilmelidir.
Sorumluluk ve güvence, rekabetçi teşvikleri değiştirebilir. Kuruluşlar öngörülebilir başarısızlıkların maliyetinin daha fazlasını taşırsa, hız yapay olarak daha az çekici olur. Standartlar, karmaşık uyumu daha kolay karşılayabilen yalnızca en büyük firmaları kalıcılaştırmaktan kaçınmalıdır.
Bu konu için kanıt işaretleri
Makaleler dört düzeyi açıkça etiketlemelidir:
- günümüz yapay zekâ sektöründeki belgelenmiş rekabet ve dağıtım teşvikleri;
- sınırlı çok-ajanlı deneylerde veya mevcut otomatik piyasalarda gözlemlenen davranış;
- etkileşimin riski nasıl güçlendirebileceğini gösteren modellenmiş yollar;
- gelecekteki yüksek yetenekli sistemleri içeren spekülatif felaket niteliğinde sonuçlar.
Bir düzeyden diğerine geçmek varsayımlar gerektirir. Bu varsayımlar — yetenek, özerklik, benimseme, tepki hızı, kurumsal zayıflık — görünür olmalıdır.
Pratik sonuç
Birçok yetenekli sisteme sahip bir dünya, baskın bir sisteme sahip birinden otomatik olarak daha güvenli değildir ve otomatik olarak daha tehlikeli de değildir. Çoğulluk kontroller, yenilik ve dayanıklılık yaratabilir; ayrıca yarışlar, korelasyonlu başarısızlıklar, tırmanma ve sorumluluk boşlukları yaratabilir.
Merkezi politika görevi, güvenliği rekabetle uyumlu hâle getirmektir. Paylaşılan tabanlar, bağımsız kanıt, olay iletişimi, devre kesiciler ve uygulanabilir hesap verebilirlik, temkinlilik cezasını azaltabilir. Çok kutuplu mercek, her modeli ayrı ayrı kontrol etmenin yeterli olmadığını hatırlatır: hayatta kalma, kurumların ve sistemlerin birbirine nasıl tepki verdiğini yöneten kurallara bağlı olabilir.