Mühendislik ürünü salgınlar ve biyosilah riski Yapay-zekâ-biyoloji uplift çalışmalarının gösterdiği ve göstermediği şeyler, güvenlik önlemlerinin gerçek biyosavunmayla bağlantısı, Anthropic'in 2025 ASL-3 kararı dahil.
Kaynakları doğrulandı 5 min
07 Mekanizmalar
En kötü senaryoların ardındaki mekanizmalar
02. bölüm, genel kontrol kaybı mekanizmasını ele alır. Bu bölüm ise araştırmacıların gerçekten incelediği belirli, adlandırılmış yolların kaydıdır — çünkü birini önleyen müdahale, diğerini de mutlaka önlemez.
Bunun neden tek bir senaryo olmadığı
"Yapay zekâ herkesi öldürebilir" ifadesi, yapısal olarak birbirinden farklı birçok hata modunu tek bir imgede sıkıştırır. Bu sıkıştırma bir manşet için işe yarar ama önleme için işe yaramaz, çünkü bir mekanizmayı ele alan teknik ve politika müdahaleleri diğeri için çok az işe yarayabilir — örneğin büyük bir eğitim çalıştırmasına getirilen kontroller, tek başına zaten dağıtılmış bir modelin kötüye kullanımını önlemez. Birkaç büyük laboratuvarla bağlantılı kişiler de dâhil olmak üzere 350'den fazla araştırmacı ve yönetici, 2023'te politika yapıcıları yok oluş riskini küresel bir öncelik olarak ele almaya çağıran tek cümlelik bir bildiriyi imzaladı. Bu, önde gelen imzacıların savunduğu bir tutumu kaydeder; zararın olasılığını ölçmez:
Signatories to the Statement on AI Risk hold that mitigating the risk of extinction from AI should be a global priority alongside pandemics and nuclear war.
safe.ai, Signed statement
Üç geniş aile
2026 Uluslararası Yapay Zekâ Güvenliği Raporu üç geniş aile kullanır. Kötüye kullanım, bir insanın yapay zekâ yeteneğini kitlesel zarara — tasarlanmış salgınlara, altyapı saldırılarına veya özerk silahlara — kasıtlı olarak yöneltmesidir. Arızalar, güvenilirlik hataları ve sistemlerin kimsenin kontrolü dışında çalıştığı olası kontrol kaybı senaryolarını içerir. Sistemik riskler, yaygın dağıtım ve kurumsal etkileşim yoluyla ortaya çıkar; yoğunlaşma, iş gücü bozulması ve kademeli insan iradesizleşmesi bunlara dâhildir. Kategoriler örtüşebilir ve kanıt gücü mekanizmalar arasında farklılık gösterir. Raporun başkanı, kontrol kaybını kamuoyu önünde vurgulamıştır:
Yoshua Bengio warned that future systems exhibiting self-preservation behavior could create a loss-of-control risk.
AFP, via TechXplore, Secondary coverage
Geoffrey Hinton da kişisel bir olasılık tahmini sunmuştur. Bu, belirsizlik altında bir uzman görüşüdür, ölçülmüş bir sıklık değil:
Geoffrey Hinton said in a December 2024 BBC interview that he put the chance of AI causing human extinction within thirty years at 10–20%.
BBC Radio 4, reported by The Guardian, Secondary coverage
Bu bölüm ne yapmaz
Editoryal sınır
Her sayfa, belgelenmiş kanıtı tahminlerden ve teoriden ayırırken araştırmacıların önerdiği azaltım önlemlerini de adlandırır. Hiçbiri sentez, istismar veya saldırı ayrıntılarını tarif etmez — bu bilgi bir okuyucuyu daha güvenli kılmaz ve bunu yayınlamak bilinçli hazırlığın gerektirdiği bir şey değildir. Önemli iddiaların nasıl sınıflandırıldığını ve incelendiğini görmek için kaynak standardına bakın.
Bu bölümde
Altyapıya yönelik yapay-zekâ-destekli siber saldırılar Yapay zekânın siber operasyonlarda neyi değiştirdiği, altyapının neden savunmasız olduğu ve saldırı-savunma dengesinin belirsizliği, 2025 casusluk raporuna göre.
Kaynakları doğrulandı 5 min
Otonom silahlar ve askeri tırmanma Silahlarda özerkliğin ne anlama geldiği, çatışmada belgelenenler ve yapay zekânın tırmanmayı ve hesap verebilirliği nasıl değiştirdiği, tartışmalı Kargu-2 vakası gibi.
Kaynakları doğrulandı 5 min
Kademeli güçsüzleştirme İnsanların yapay zekâya biriken bağımlılığının dramatik bir ele geçirme olmadan kontrolü aşındırdığı teorik bir yol, ekonomi, devlet ve kültür genelinde biçimlendirilmiş.
Kaynakları doğrulandı 5 min
Ödül hackleme ve spesifikasyon oyunu Optimize edicilerin kusurlu hedefleri nasıl istismar ettiği, neyin gözlemlendiği ve mevcut örneklerin neden tek başına gelecekteki kontrol kaybını kanıtlamadığı.
Kaynakları doğrulandı 5 min
Kitlesel ikna ve epistemik manipülasyon Deneylerin yapay zekâ ikna kabiliyeti hakkında gösterdikleri, gerçek kanıtın henüz kurmadığı ve ölçeğin riski nasıl değiştirdiği, 76.977 kişilik çalışmaya göre.
Kaynakları doğrulandı 5 min
Çok kutuplu ve çok ajanlı felaket dinamikleri Devletler, şirketler ve özerk yapay zekâ ajanları arasındaki rekabet, her katılımcı felaketten kaçınmayı tercih etse bile nasıl felaket niteliğinde sonuçlar yaratabilir.
Kaynakları doğrulandı 5 min
Yapay zekâ risk tahminleri ve uzman anlaşmazlığı Fikir birliği uydurmadan veya belirsizliği reddetmeden anketler, tahminler ve olasılık tahminleri nasıl yorumlanır, 2.778 kişilik bir anketten yararlanarak.
Kaynakları doğrulandı 6 min
Yapay zekâ, nükleer komuta ve kriz istikrarı Fırlatma yetkisi olmadan bile yapay zekâ karar desteğinin nükleer krizleri nasıl etkileyebileceği ve hangi önlemlerin otomasyon önyargısı gibi tırmanma riskini azalttığı.
Kaynakları doğrulandı 6 min
Aldatma, sandbagging, kendi kendini çoğaltma ve sızdırma Dört farklı öncü-model değerlendirmesinin neyi test ettiği, laboratuvarların neyi gözlemlediği ve hiçbirinin neden tek başına kontrol kaybını göstermediği.
Kaynakları doğrulandı 6 min
Gıda sistemi zincirleme çöküşleri Neredeyse her soy-tükenmesine-yakın senaryo doğrudan şiddet yerine gıdadan geçiyor. Gıda sistemi zincirleme olarak nasıl çöker ve gerçekte onu neyin kıracağı.
Kaynakları doğrulandı 5 min
Altyapı kırılganlığı ve tek başarısızlık noktaları Modern yaşamın ne kadarının değiştirilmesi günler, aylar veya yıllar alan bileşenlere dayandığı — ve her felaket senaryosunun neden aynı altyapı üzerinde işlediği.
Kaynakları doğrulandı 5 min