Pratik kontrol kaybolduktan sonra da biçimsel otorite hayatta kalabilir
Bir parlamento, yasama üyelerinin değerlendiremediği sistemlere dayanırken seçilmiş kalabilir. Bir bakan, hiçbir kamu görevlisinin yeniden üretemeyeceği tavsiyeler alırken yasal olarak sorumlu kalabilir. Bir vatandaş, verisi, modeli, tedarikçi sözleşmesi ve gerekçesi erişilemez olan otomatik bir karara karşı biçimsel bir itiraz hakkını korurken bu haktan yoksun kalabilir. Bu tabloda hiçbir şey bir darbe veya bilinçli bir makine hükümdar gerektirmiyor. Otorite, farklı seçim yapma pratik kapasitesi aşındığı için törenselleşiyor.
Bu, bir AGI riskinden önce bir yönetişim riskidir. Hükûmetler zaten yardımlarda, vergilendirmede, kolluk kuvvetlerinde, göçte, eğitimde, sağlıkta ve kamu yönetiminde algoritma kullanıyor. Daha yetenekli sistemler tutarlılığı artırabilir, hizmetleri çevirebilir, dolandırıcılığı bulabilir, kanıtı özetleyebilir ve uzmanlığı küçük kurumlar için erişilebilir kılabilir. Bağımlılığı da derinleştirebilir ve kamu kararlarına itiraz etmeyi zorlaştırabilirler.
Mevcut uluslararası araçlar başlangıç için bir kelime dağarcığı sunuyor, ama hukuki bağlayıcılıkları farklılık gösteriyor. Avrupa Konseyi Yapay Zekâ Çerçeve Sözleşmesi, taraflar için bağlayıcı bir antlaşma olarak tasarlanmıştır ve insan haklarını, demokrasiyi ve hukukun üstünlüğünü merkeze alır. Resmî durum sayfası, 11 Eylül 2026 itibarıyla herhangi bir yürürlüğe giriş tarihi listelemiyordu, bu yüzden imzanın bir devletin çoktan hukuken bağlı olduğu şeklinde tarif edilmemesi gerekir (CETS No. 225 durumu). UNESCO Yapay Zekâ Etiği Tavsiye Kararı, gözetim, şeffaflık, hesap verebilirlik ile çevresel ve toplumsal etkileri ele alan bağlayıcı olmayan bir tavsiye kararıdır. Her iki araç da AGI-sonrası yönetişimi çözmüyor. İkisi de yetenek ve verimliliğin tehlikede olan tek kamu değeri olmadığını gösteriyor.
İrade, sonucu değiştirebilmek demektir
“İnsan gözetimi” genellikle bir kadro şeması gibi ele alınır: modelden sonra bir yere bir kişi koy, karar insan olsun. Gerçek gözetim, bir kapasiteler kümesidir.
İnceleyen kişinin vakayı anlayacak kadar zamana ve bilgiye ihtiyacı vardır. Model sınırlamalarını tanıyacak eğitime ihtiyaçları vardır. Tavsiyeyi reddedecek hukuki ve kurumsal yetkiye ihtiyaçları vardır. Otomatik bir puandan farklı olduğu için farklı bir seçim cezalandırılmamalıdır. Kurum, denetimi ve itirazı destekleyen kayıtları saklamalıdır.
Bu koşullar yoksa, insan tıklaması bir ritüeldir. Yüksek otomasyon incelemeyi daha da kötüleştirebilir: insanlar daha az sıra dışı vaka gördükçe ve daha az bağımsız yargı pratiği yaptıkça, uzmanlıkları köreliyor. Sistem sonunda normal dağılımının dışında başarısız olduğunda, nominal gözetmen müdahale etmeye en az hazırlıklı kişi olabilir.
Pratik test karşıolgusaldır: nitelikli bir kişi farklı bir karara varabilir mi, bunu açıklayabilir mi, ve o karar geçerli kalabilir mi?
Hükûmeti içi boş bırakabilecek dört bağımlılık
Tedarikçi bağımlılığı
Bir kamu kurumu, bir tedarikçi olmadan faaliyet gösterecek personelden, hesaplama gücünden, veri haklarından veya sözleşme koşullarından yoksun olabilir. Tedarikçi değiştirmek satın alma belgelerinde mümkün görünür, ama sistemleri yeniden eğitmeyi, veriyi taşımayı, iş akışlarını yeniden yazmayı ve uzun bir hizmet kesintisini kabul etmeyi gerektirebilir. Bu durum, açık siyasi güç olmadan bile özel bir tedarikçiye etki gücü verir.
Sözleşmeler, dolayısıyla bir sistem vazgeçilmez hâle gelmeden önce taşınabilirliği, denetim erişimini, olay açıklamasını, alt yüklenicileri, veri saklamayı, güvenliği, hizmet sürekliliğini ve çıkış desteğini ele almalıdır. En ucuz ilk teklif, kalıcı bağımlılık satın alıyorsa pahalıya mal olabilir.
Epistemik bağımlılık
Bir kurum, bir çıktının iyi olup olmadığını bilme yetisini kaybedebilir. Yapay zekâ analizin, taslak hazırlamanın, simülasyonun ve doğrulamanın çoğunu yapıyorsa, insan kuruluş nihai imza yetkisini korurken dünyanın bağımsız modellerini kaybedebilir.
Yedeklilik gereklidir. Kurumların iç uzmanlığa, yüksek sonuçlu sorular için rakip analizlere, belirsizlik kayıtlarına ve muhalefet için korunan kanallara ihtiyacı vardır. Bazı işlevler periyodik olarak birincil sistem olmadan gerçekleştirilmelidir — bunun nedeni el ile yapılan işin her zaman üstün olması değil, test edilmemiş bir yedeğin yedek olmamasıdır.
Altyapı bağımlılığı
Gelişmiş hizmetler elektriğe, ağlara, kimlik sistemlerine, bulut altyapısına ve üst akış modellere bağlıdır. Bir kesinti veya ticari anlaşmazlık, birçok kamu işlevine aynı anda yayılabilir. Birkaç kurumu tek bir modelde veya bulutta yoğunlaştırmak, ayrı sözleşmelerin arkasına gizlenmiş korelasyonlu bir başarısızlık yaratabilir.
Bağımlılık haritaları, yalnızca bir departman içinde değil, hükûmet genelinde paylaşılan tedarikçileri ve tek arıza noktalarını belirlemelidir. Kurtarma tatbikatları, bozulmuş işletimi, veri kurtarmayı, manuel önceliklendirmeyi ve kamuoyu iletişimini test etmelidir.
Meşruiyet bağımlılığı
İnsanlar zor kararları kısmen kimin yetkiye sahip olduğunu, hangi kuralların geçerli olduğunu ve hataları nasıl itiraz edecekleri anladıkları için kabul ederler. İstatistiksel olarak doğru ama anlaşılmaz bir sistem, vatandaşlar onu keyfî olarak deneyimlerse meşruiyeti yine de zedeleyebilir.
Yalnızca açıklama yeterli değildir. Üretilmiş bir açıklama, bir sonucun gerçek dayanağını ortaya koymadan makul görünebilir. Anlamlı itiraz edilebilirlik, ilgili kanıtı, geçerli kuralı, sorumlu kurumu ve mevcut çözüm yolunu gerektirir. Ayrıca yalnızca sistemin bir sonucu neden ürettiğini açıklamak değil, kararı değiştirebilecek bir insan mercii de gerektirir.
Demokrasinin kamu teknik kapasitesine ihtiyacı vardır
Yasama organları, mahkemeler, düzenleyiciler, denetçiler, sendikalar ve sivil toplumun değerlendirme, güvenlik, satın alma, veri yönetişimi ve model kanıtı konusunda uzmanlığa ihtiyacı vardır. Profesyonel kadrolar, bağımsız laboratuvarlar, genel müfettişler, standart kuruluşları ve çekişmeli süreçler bu derinliği sağlayabilir.
NIST Yapay Zekâ Risk Yönetimi Çerçevesi, yapay zekâ risklerini yönetmek, haritalamak, ölçmek ve idare etmek için gönüllü bir yapı sunar. Değeri prosedüreldir: kuruluşlar, kıyaslama doğruluğunu risk değerlendirmesinin tamamı gibi ele almak yerine bağlamı ve etkilenen kişileri belirlemelidir. AGI-sonrası bir kurumun, demokratik yetkilendirmeyle eşleştirilmiş, bu alışkanlıkların daha güçlü ve uygulanabilir versiyonlarına ihtiyacı olurdu.
Seçimler gereklidir ama yeterli değildir
Dönüştürücü yapay zekâ, ikna, sentetik medya, gözetim, politika analizi, kampanya operasyonları ve bilgi altyapısının kontrolü yoluyla demokrasiyi etkileyebilir. Yalnızca sahte görsellere odaklanmak daha geniş sorunu kaçırır: siyasi dikkati aracılık eden sistemlerin hedeflerini kim seçiyor, ve etkiyi optimize etmek için hangi veriler kullanılıyor?
Açıklama yardımcı olabilir, ama içeriği “yapay zekâ tarafından üretildi” diye etiketlemek doğru mu manipülatif mi olduğunu belirlemez. Köken bilgisi, bir dosyanın geçmişinin bir kısmını gösterebilir ama iddialarını kanıtlamaz. Siyasi dayanıklılık ayrıca gizlilik koruması, bağımsız gazetecilik, kampanya şeffaflığı, platform hesap verebilirliği, güvenli seçim yönetimi ve vatandaşların önemli bilgiyi güvenilir kanallar üzerinden doğrulayabilmesini gerektirir.
Devlet kullanımı özel bir sınırlama hak ediyor. Güçlü tahmin ve ikna sistemlerine sahip bir devlet, kamu iletişimini yararlı biçimde kişiselleştirebilir — veya muhalefeti tespit etmeyi ve davranışı şekillendirmeyi kolaylaştırabilir. Yasal yasaklar, arama izinleri, veri asgarileştirme, denetim kayıtları ve bağımsız gözetim, analitik kapasite arttıkça daha az değil daha çok önem kazanır.
Çoğul güç kaynaklarını koru
Hiçbir tek şirket, kamu analizinin, kimliğin, iletişimin ve idari altyapının tek kaynağı olmamalıdır. Hiçbir merkezi hükûmet, gelişmiş kapasiteyi kullanabilen tek kurum olmamalıdır. Hiçbir evrensel puanlama sistemi, istihdama, krediye, yardımlara, konuşmaya ve hareketliliğe erişimi belirlememelidir.
Çoğulculuk sürtünme yaratır, ve sürtünme bazen korumacıdır. Federal sistemler, yerel yönetimler, mahkemeler, bağımsız düzenleyiciler, üniversiteler, sendikalar, mesleki dernekler, açık teknik topluluklar ve sivil toplum, tek bir merkezi sistemin bastıracağı veya kaçıracağı başarısızlıkları ortaya çıkarabilir. Rakip kurumlar ayrıca insanlara itiraz edecek ve örgütlenecek bir yer sağlar.
Çoğulculuk kontrolsüz çoğalmayla aynı şey değildir. Yüksek riskli kapasiteler, karar alma kurumsal olarak çeşitli kalırken erişim kısıtlamaları gerektirebilir. Tasarım sorunu, hem özel tekelden hem de tam devlet merkezileşmesinden kaçınmaktır.
Siyasi olarak tartışılabilir kalması gereken kararlar
Yapay zekâ, kamu hedefini tanımlamadan kamu kararlarını bilgilendirebilir. Geliri nasıl dağıtmalı, hangi riskler kabul edilebilir, kimin hakları önceliklidir, güç ne zaman kullanılmalı, çocuklar ne öğrenmeli ve ne kadar gözetim kabul edilebilir gibi sorular, tarafsız hedef fonksiyonlara sahip optimizasyon problemleri değildir. Bunlar değerler ve insanlar arasındaki siyasi seçimlerdir.
Uygulamayı devretmek de hedefi yeniden şekillendirebilir. İşlem süresini azaltmaya optimize edilmiş bir yardım sistemi, karmaşık başvuru sahiplerini caydırabilir. Öngörülen olaylara optimize edilmiş bir kolluk sistemi, geçmiş uygulamadaki örüntüleri güçlendirebilir. Ölçülen maliyete optimize edilmiş bir sağlık sistemi, kaydedilmesi zor sonuçları hafife alabilir. Demokratik kontrol, bir sistemin gerçekte neyi ödüllendirdiğini incelemeyi gerektirir, yalnızca beyan edilen amacını onaylamayı değil.
Normatif öneri: asgari bir irade güvencesi
Önemli kamu kullanımları için insanlar şunları belirleyebilmelidir:
- bir yapay zekâ sisteminin kararı önemli ölçüde etkilediğini;
- hukuken sorumlu kurumu ve yetkiliyi;
- kullanılan yönetici kuralı ve kanıtı;
- önemli sınırlamaları, belirsizliği ve veri kökenini;
- sonucu değiştirme gücüne sahip zamanında bir insan itirazını;
- bir mahkemeye, düzenleyiciye, kamu denetçisine veya seçilmiş bir organa erişilebilir bir yolu;
- sistemi güvenle kullanamayan insanlar için dijital olmayan bir yolu.
Bu güvenceler hataları veya siyasi anlaşmazlıkları ortadan kaldırmayacaktır. İdare ile tahakküm arasındaki farkı korurlar: etkilenen kişi, yalnızca sınıflandırılan bir nesne değil, gerekçeler ve çözümler sistemi içinde bir katılımcı olarak kalır.
AGI-sonrası anayasal soru
En derin sorun, bir yapay zekânın biçimsel bir devlet unvanı alıp almadığı değildir. İnsanların ve kurumlarının, sonuç doğuran sistemleri gözden geçirecek yetkinliği, bağımsızlığı ve etki gücünü koruyup korumadığıdır. Bir modeli kaldırmak sağlığı, finansı, iletişimi ve hükûmeti aynı anda durdurursa, hukuki egemenlik pek az pratik teselli sunar.
AGI-sonrası demokratik hayatta kalma, bu yüzden bağımlılık tamamlanmadan önce inşa edilen kapasiteye bağlıdır: kamu uzmanlığı, birlikte çalışabilir altyapı, uygulanabilir haklar, çoğul kurumlar, bağımsız kanıt, anlamlı itirazlar ve otomatik tavsiyeler mevcut olmadığında veya reddedildiğinde işletmenin test edilmiş yolları. Bunlar teknoloji karşıtı önlemler değildir. Bunlar, bir toplumun güçlü teknolojiyi kendi amaçlarını seçme yetisinden vazgeçmeden kullanmasını sağlayan mekanizmadır.