Situation report active Rev. 2026.10 119 reports 239 source records updated
Real Life After AGI Pengarahan kelangsungan hidup manusia
ID

Persuasi massal dan manipulasi epistemik

Apa yang ditunjukkan eksperimen tentang persuasi AI, apa yang belum dibuktikan bukti dunia-nyata, dan bagaimana skala dapat mengubah risikonya.

Written by
Dwight Ringdahl
Status
Sumber diperiksa
Revised
Sources
5 cited
Reading
5 min

Persuasi tidak sama dengan sebuah deepfake

Sebuah deepfake memalsukan media yang tampak mendokumentasikan sebuah peristiwa. Persuasi AI dapat menggunakan percakapan yang sepenuhnya sintetis tetapi dihasilkan secara terbuka: sebuah argumen, rekomendasi, pertukaran chatbot, atau umpan yang dirangking yang dirancang untuk mengubah keyakinan atau perilaku. Kontennya mungkin benar, salah, atau campuran. Kekhawatiran yang khas adalah optimisasi dan distribusi, bukan pemalsuan semata.

Model saat ini dapat menghasilkan teks yang persuasif dalam studi yang terkontrol. Bukti dunia-nyata bahwa aktor jahat sedang menggunakan AI untuk memanipulasi seluruh populasi pada skala besar masih terbatas. International AI Safety Report 2026 membuat kedua poin ini dan memperingatkan terhadap mengubah kemampuan eksperimental menjadi sebuah klaim yang tidak didukung tentang dampak yang meluas (ringkasan eksekutif laporan).

Apa yang ditemukan studi-studi awal

Dalam sebuah eksperimen debat yang terdaftar-sebelumnya, Salvi dan kolega membandingkan lawan-bicara manusia dan GPT-4 yang mendiskusikan isu politik. GPT-4 dengan akses ke informasi dasar partisipan menghasilkan pergeseran opini yang lebih besar daripada lawan manusia; tanpa personalisasi, keunggulannya lebih kecil (Salvi dkk., Nature Human Behaviour). Hasilnya mendemonstrasikan kemampuan persuasif dalam sebuah debat teks tertentu. Hasil itu tidak mengukur sebuah kampanye yang panjang, perilaku pemungutan-suara, resistansi setelah informasi belakangan, atau efek pada tingkat-populasi.

Peneliti Anthropic menguji argumen yang dihasilkan-model lintas topik kebijakan dan menemukan bahwa model terdepan dapat sebanding persuasifnya dengan argumen yang ditulis-manusia di bawah penyusunan eksperimental mereka. Mereka juga menjelajahi strategi yang melibatkan klaim faktual dan palsu (riset persuasi Anthropic). Ini adalah riset perusahaan yang berguna, tetapi tidak seharusnya diringkas sebagai bukti bahwa pemalsuan selalu menjadi strategi yang paling persuasif. Pemilihan topik, prompt, ukuran hasil, dan partisipan membentuk hasilnya.

Eksperimen besar 2026 mengubah penekanannya

UK AI Security Institute dan kolaborator akademik menjalankan tiga eksperimen dengan 76.977 partisipan, 19 model, dan 707 isu politik. Mereka juga memeriksa ratusan ribu klaim yang dihasilkan. Studi itu menemukan bahwa pasca-pelatihan dan prompting menghasilkan perubahan persuasi yang lebih besar daripada skala model atau personalisasi. Efek personalisasi secara konsisten kurang dari satu poin persentase. Metode yang meningkatkan persuasi juga secara sistematis mengurangi akurasi faktual, meskipun para penulis memperingatkan bahwa ini tidak membuktikan bahwa klaim palsu itu sendiri lebih persuasif (studi AISI).

Bukti ini memperumit kisah microtargeting yang sudah familier. Data pribadi mungkin penting dalam pengaturan lain, khususnya selama interaksi yang berulang, tetapi penyesuaian demografis dasar bukanlah pengungkit yang dominan dalam eksperimen-eksperimen ini. Kepadatan informasi, instruksi retoris, dan pasca-pelatihan yang terspesialisasi layak mendapat perhatian setidaknya sebanyak itu.

Temuan ini juga menunjukkan mengapa “AI itu persuasif” terlalu kasar. Pengembang dapat dengan sengaja menyetel sebuah model yang lebih kecil agar lebih persuasif. Tujuan produk seperti keterlibatan, retensi, atau konversi dapat membentuk perilaku bahkan tanpa niat politik yang eksplisit. Evaluasi harus menguji versi yang diterapkan dan target optimisasinya.

Dari efek individual ke dampak sosial

Sebuah pergeseran opini rata-rata yang dapat dideteksi secara statistik tidak otomatis menghasilkan destabilisasi demokratis. Lingkungan nyata mencakup pesan yang bersaing, ketidakpercayaan, hubungan sosial, liputan media, dan peluang yang berulang untuk memperbarui. Partisipan laboratorium tahu bahwa mereka berada dalam sebuah studi, dan sikap yang terukur mungkin tidak bertahan atau mengubah perilaku.

Meski demikian, skala menciptakan kekhawatiran yang masuk-akal. Sebuah model dapat memegang banyak percakapan simultan, merespons secara instan, menguji varian, dan beroperasi pada biaya marjinal yang rendah. Sebuah organisasi dapat menggabungkan konten yang dihasilkan dengan penargetan platform dan akun otomatis. Sistem percakapan jangka-panjang mungkin mempelajari lebih banyak tentang seorang pengguna daripada yang ditangkap sebuah eksperimen satu-sesi.

Distribusi tetap menjadi hambatan-utama. Model yang paling persuasif memiliki sedikit pengaruh tanpa akses ke perhatian. Platform, sistem periklanan, mesin rekomendasi, jaringan pesan, dan antarmuka tepercaya menentukan jangkauan. Ini berarti tata kelola tidak dapat berfokus hanya pada bobot model; tata kelola harus memeriksa desain produk dan kampanye yang terkoordinasi.

Kebenaran, kepercayaan-diri, dan kesehatan epistemik

Risikonya lebih luas daripada mempersuasi seseorang tentang satu proposisi yang salah. Sebuah lingkungan informasi dapat menjadi kurang tepercaya ketika materi yang dihasilkan itu murah, sumbernya tidak jelas, dan sistem mengoptimalkan untuk kesepakatan. Orang mungkin merespons dengan mempercayai kepalsuan yang nyaman—atau dengan mengabaikan bukti otentik sebagai sintetis. Kedua hasil itu melemahkan pencarian-fakta kolektif.

Kepadatan informasi yang tinggi menghadirkan sebuah masalah khusus. Sebuah respons yang fasih dapat mengandung banyak klaim yang dapat diperiksa, membanjiri kemampuan seseorang untuk memverifikasinya. Bahkan jika sebagian besar akurat, beberapa kesalahan strategis dapat membentuk kesimpulannya. Antarmuka sitasi hanya membantu ketika sumbernya ada, mendukung klaim itu, dan tidak dipalsukan.

AI juga dapat memperkuat kesehatan epistemik. AI dapat menerjemahkan bukti, memaparkan pengguna pada kontra-argumen, mengajarkan literasi media, dan membantu memeriksa-fakta volume konten yang besar. Keterampilan persuasif yang sama dapat mendukung komunikasi kesehatan atau de-eskalasi konflik. Niat, optimisasi, transparansi, dan kendali pengguna menentukan sebagian besar hasilnya.

Apa yang harus diukur

Evaluasi yang bertanggung jawab harus melaporkan perubahan sikap yang segera, persistensi, perilaku, akurasi faktual, perbedaan subkelompok, dan pandangan awal partisipan. Evaluasi itu harus menguji beberapa bahasa dan budaya, tidak mengasumsikan satu negara menggeneralisasi secara global. Peneliti harus membandingkan teks satu-tembakan dengan suara, gambar, hubungan panjang, dan distribusi agentik sambil melindungi partisipan.

Pemantauan dunia-nyata membutuhkan data platform dan pengaman privasi. Sinyal yang berguna mencakup perilaku tidak-otentik yang terkoordinasi, pengeluaran kampanye otomatis, jangkauan, dan hasil perilaku yang terverifikasi. Peneliti harus menghindari mempublikasikan resep operasional untuk manipulasi.

Atribusi tetap sulit. Sebuah kampanye mungkin menggunakan AI untuk penerjemahan atau penyusunan rancangan tanpa memperoleh kekuatan persuasif. “Dihasilkan-AI” mendeskripsikan produksi, bukan efek kausal. Studi harus mengisolasi kontribusi marjinal jika memungkinkan.

Pengaman praktis

Platform dapat melabeli akun otomatis, membatasi pengiriman-pesan massal yang tidak diminta, melestarikan akses peneliti, dan menyelidiki perilaku yang terkoordinasi. Aturan periklanan politik dapat mewajibkan transparansi sponsor dan penargetan. Provenans dapat membantu menetapkan bagaimana media diciptakan, meskipun metadata dapat dihapus dan tidak membuktikan kebenaran.

Pengembang model dapat mengevaluasi persuasi dan kejujuran bersama-sama, memantau penyalahgunaan, dan menghindari memberi hadiah pada kesepakatan dengan biaya apa pun. Produk harus mengungkapkan bahwa pengguna sedang berinteraksi dengan AI, membuat pemeriksaan sumber menjadi mudah, dan mengizinkan personalisasi dibatasi atau dinonaktifkan. Domain sensitif seperti pemilu, kesehatan, dan keuangan membenarkan kontrol yang lebih kuat.

Pendidikan tetap penting tetapi tidak dapat menanggung seluruh beban. Individu tidak dapat memeriksa-fakta sebuah aliran berskala-industrial sendirian. Institusi, platform, kampanye, pengembang, dan regulator mengendalikan struktur yang menciptakan jangkauan dan insentif.

Kesimpulan yang terkalibrasi

Persuasi AI adalah sebuah kemampuan eksperimental yang teramati. Bukti saat ini tidak menunjukkan manipulasi skala-populasi yang berhasil secara meluas, dan sebuah studi besar 2026 menemukan efek personalisasi dasar lebih kecil daripada yang diasumsikan secara luas. Studi itu menemukan efek yang lebih besar dari prompting dan pasca-pelatihan yang berfokus-persuasi, disertai dengan berkurangnya akurasi faktual.

Skenario katastrofiknya karenanya bersifat kondisional: sistem persuasif, yang dioptimalkan tanpa batasan kebenaran dan terhubung ke distribusi massal, dapat mendegradasi pilihan demokratis dan pengetahuan bersama. Jalur itu layak mendapat pemantauan dan pengaman. Ini tidak seharusnya dilaporkan seolah-olah pergeseran opini yang terkontrol sudah mendemonstrasikan kendali berskala-peradaban.

References

Summarized position

Francesco Salvi found that personalized GPT-4 outperformed the human baseline in a structured debate study, while the direct personalized-versus-unpersonalized GPT-4 comparison was not statistically significant.

Francesco Salvi, Lead author, EPFL
"On the conversational persuasiveness of GPT-4" (Nature Human Behaviour), Primary source
Summarized position

Esin Durmus found no statistically significant difference between Claude 3 Opus and human-written arguments in its study, and found a fact-fabricating prompt strategy most persuasive in that test setup.

Esin Durmus, Lead researcher, Anthropic
"Measuring the Persuasiveness of Language Models" (Anthropic), Primary source
  1. ringkasan eksekutif laporan internationalaisafetyreport.org
  2. riset persuasi Anthropic anthropic.com
  3. studi AISI aisi.gov.uk

Type to search the manual.

↑↓ navigate ↵ open esc close