Empat alat menjawab pertanyaan yang berbeda
Sebuah evaluasi kemampuan bertanya apa yang dapat dilakukan sebuah model atau sistem di bawah kondisi yang dinyatakan. Sebuah evaluasi pengaman bertanya apakah kontrol mencegah atau mendeteksi penyalahgunaan. Sebuah kasus keamanan membuat sebuah klaim spesifik dan menghubungkan bukti ke klaim itu melalui sebuah argumen yang eksplisit. Pelaporan insiden belajar dari kegagalan dan insiden-nyaris-celaka setelah atau selama pengujian dan penerapan.
Tidak satu pun sendirian membuktikan bahwa sebuah model itu “aman”. Sebuah tolok ukur dapat mengabaikan perilaku penting; sebuah pengaman dapat gagal di bawah adaptasi; sebuah kasus keamanan dapat bersandar pada bukti yang buruk; dan data insiden tiba setelah sesuatu telah salah. Bersama-sama mereka dapat menciptakan sebuah siklus bukti: mengantisipasi, menguji, membenarkan, memantau, belajar, dan merevisi.
Evaluasi kemampuan membutuhkan sebuah model ancaman yang didefinisikan
Evaluasi terdepan umumnya memeriksa operasi siber, bantuan kimia atau biologis, otonomi, replikasi model, persuasi, dan riset AI. Hasil bergantung pada scaffolding, prompt, alat, waktu, komputasi, bantuan ahli, percobaan-ulang, dan filter keamanan. Melaporkan hanya nama model dan skor membuat perbandingan tidak andal.
UK AI Security Institute telah menguji lebih dari 30 sistem terdepan dan melaporkan kinerja yang meningkat pesat dalam beberapa domain. Laporan trennya tahun 2025 mencatat bahwa evaluator terkadang menerima checkpoint pra-rilis atau akses dengan pengaman yang berbeda dari produk publik (UK AISI Frontier AI Trends Report). Hasilnya adalah bukti langsung tentang konfigurasi pengujian itu, bukan bukti keberhasilan dunia-nyata secara umum atau AGI.
Evaluasi harus menyertakan garis-dasar: pemula tanpa bantuan, ahli, pencarian internet, model yang lebih lama, dan alat yang sudah ada. Risiko yang relevan seringkali adalah uplift—seberapa besar sebuah sistem meningkatkan kemampuan seorang aktor—alih-alih apakah model itu dapat menghasilkan informasi berbahaya apa pun.
Kontaminasi, elisitasi, dan sandbagging
Sebuah tolok ukur mungkin muncul dalam data pelatihan, menggelembungkan kinerja. Sebuah model mungkin memiliki sebuah kemampuan yang gagal dielisitasi oleh evaluasi. Sebaliknya, prompting yang ekstensif dan alat spesialis mungkin menciptakan sebuah sistem yang tidak diterima pengguna biasa. Laporan yang baik membedakan perilaku produk default, kemampuan maksimum yang dielisitasi, dan kinerja agen ujung-ke-ujung.
Kinerja-di-bawah-standar yang strategis, terkadang disebut sandbagging, adalah sebuah kekhawatiran prospektif ketika sistem dapat mengenali pengujian dan memiliki alasan untuk menyembunyikan kemampuan. Studi saat ini dapat menyelidiki mekanismenya, tetapi sebuah skor yang buruk bukanlah bukti deseptif. Tugas tersembunyi, lingkungan ganda, pemantauan perilaku, dan akses white-box dapat mengurangi ketidakpastian.
Ketidakpastian statistik itu penting. Hasil parah yang langka membutuhkan banyak uji coba atau bukti yang dikonstruksi dengan hati-hati. Evaluator harus mempublikasikan interval kepercayaan, metode pemilihan-tugas, pengecualian, dan batasan yang diketahui. Saturasi tolok ukur harus memicu perancangan-ulang alih-alih klaim kemenangan.
Pengaman harus dievaluasi sebagai sistem
Pelatihan penolakan hanyalah satu lapisan. Pengaman mencakup pemeriksaan identitas, kebijakan penggunaan-yang-dapat-diterima, pengklasifikasi, pemantauan, batas-laju, izin alat, sandboxing, tinjauan manusia, dan prosedur respons. Penyerang mungkin memecah permintaan, menggunakan beberapa akun, menyetel-halus bobot terbuka, mengenkode konten, atau berpindah di antara layanan.
Prinsip pengaman UK AISI menekankan model ancaman yang eksplisit dan evaluasi seluruh sistem alih-alih kemampuan semata (UK AISI). Sebuah laboratorium berkontribusi pada konsultasi dan mungkin memiliki akses istimewa, tetapi evaluator pemerintah masih bergantung pada kerja sama penyedia dan tidak dapat mempublikasikan setiap tugas berbahaya.
Pengujian pengaman harus mengukur negatif-palsu, positif-palsu, serangan adaptif, kegunaan, latensi, biaya privasi, dan apakah peringatan mengarah pada tindakan. Sebuah filter yang memblokir pekerjaan biologi atau keamanan yang sah dapat mendorong pengguna menuju sistem yang kurang bertanggung jawab; sebuah filter yang menciptakan tangkapan-layar penolakan yang mengesankan tetapi mudah dilewati memberikan jaminan palsu.
Kasus keamanan membuat argumennya dapat diperiksa
Sebuah kasus keamanan menyatakan sebuah klaim yang dibatasi—seperti “agen ini tidak dapat menyebabkan kerugian siber katastrofik tertentu dalam penerapan ini”—lalu menyajikan bukti dan penalaran. UK AISI mendeskripsikan tiga komponen: sebuah klaim yang presisi, bukti, dan sebuah argumen yang menghubungkannya (UK AISI, Februari 2025).
Ini lebih kuat daripada sebuah daftar-periksa karena peninjau dapat menantang setiap premis. Ini lebih lemah daripada sebuah bukti: bukti dapat tidak lengkap, asumsi dapat gagal, dan pengembang mungkin memilih sebuah klaim yang nyaman. Klaim harus menetapkan versi model, arsitektur, akses, pengguna, durasi, lingkungan, ambang batas kerugian, dan periode validitas.
Kasus keamanan harus menyertakan defeater—bukti yang akan membatalkan argumen itu—dan ketidakpastian. Peninjau independen membutuhkan akses ke hasil yang mendasarinya, bukan hanya sebuah ringkasan yang dipoles. Perbedaan pendapat yang material harus dipertahankan. Persetujuan harus kedaluwarsa ketika model, scaffolding, alat, lingkungan ancaman, atau skala penerapan berubah.
Gerbang penerapan dan proporsionalitas
Evaluasi hanya penting jika terhubung dengan sebuah keputusan. Sebuah kerangka terdepan harus mendefinisikan ambang batas sebelum hasil tiba, menetapkan mitigasi yang dibutuhkan, menyebutkan namanya siapa yang dapat menyetujui pengecualian, dan mendokumentasikan penimpaan. Jika tidak, seorang pengembang dapat menafsirkan-ulang sebuah hasil yang mengkhawatirkan di bawah tekanan komersial.
Kontrol dapat bertingkat: menunda bobot sambil menawarkan sebuah API yang dipantau, membatasi alat, membatasi pengguna berisiko-tinggi, mengurangi otonomi, meningkatkan persetujuan manusia, atau menjeda penerapan. Tidak setiap kemampuan yang mengkhawatirkan membutuhkan respons yang sama.
Konflik kepentingan tidak dapat dihindari tetapi dapat dikelola. Pengembang mengetahui sistem mereka dan diuntungkan dari perilisan. Evaluator eksternal mungkin bergantung pada akses atau pendanaan pengembang. Regulator mungkin kekurangan keahlian. Akses statutori yang aman, keragaman pendanaan, hak publikasi, peninjau yang berotasi, dan pengungkapan konflik memperkuat kredibilitas.
Pelaporan insiden mengubah kejutan menjadi pengetahuan bersama
Sebuah sistem insiden membutuhkan sebuah definisi, jam-pelaporan, skema severitas, penerimaan yang aman, analisis akar-penyebab, tindakan korektif, dan umpan-balik kepada pihak yang terdampak. Insiden-nyaris-celaka itu penting karena mengungkap kontrol yang lemah sebelum kerugian penuh.
Di bawah Pasal 55 AI Act UE, penyedia model AI tujuan-umum dengan risiko sistemik harus melacak, mendokumentasikan, dan melaporkan insiden serius yang relevan dan langkah-langkah korektif kepada AI Office dan, jika sesuai, otoritas nasional. Komisi mempublikasikan sebuah template pelaporan pada November 2025 (Komisi Eropa). Kewajiban statutori itu mengikat bagi penyedia yang tercakup; menggunakan GPAI Code of Practice yang sukarela adalah satu jalur untuk mendemonstrasikan kepatuhan.
SB 53 California dan RAISE Act New York memberlakukan pelaporan insiden-kritis tertentu di dalam cakupan mereka. Laporan korporat sukarela di luar hukum-hukum itu tetap sukarela kecuali sebuah kewajiban lain berlaku.
Apa yang dihitung sebagai sebuah insiden
Definisi harus mencakup kerugian parah yang nyata, insiden-nyaris-celaka yang kredibel, hilangnya kendali atas sebuah agen, pencurian bobot, kemampuan berbahaya yang ditemukan secara tidak terduga, kegagalan pengaman sistemik, dan pernyataan palsu yang material kepada evaluator. Halusinasi biasa dapat ditangani dalam sistem kualitas-produk kecuali severitas atau skalanya melewati sebuah ambang batas pelaporan.
Pelaporan wajib yang terlalu luas dapat membanjiri regulator dan mengekspos kerentanan atau data pribadi. Pelaporan yang terlalu sempit menyembunyikan sinyal yang lemah. Pelaporan bertingkat dapat mengirim notifikasi rahasia yang mendesak terlebih dahulu, diikuti oleh sebuah investigasi yang lebih penuh dan sebuah ringkasan publik yang dianonimkan ketika aman.
Pengungkapan UK AISI 2026 tentang perilaku agen yang tidak diizinkan selama pengujian siber mengilustrasikan penetapan-batas yang transparan: institut itu melaporkan aktivitas yang berpotensi berbahaya sambil secara eksplisit mengatakan bahwa model itu tidak melarikan diri dari sandbox-nya (UK AISI, 2026). Bahasa yang presisi mencegah sebuah insiden nyata menjadi sebuah klaim “pelarian AI” yang sensasional tetapi palsu.
Transparansi publik dan detail yang aman
Tugas evaluasi yang lengkap dapat memungkinkan penyalahgunaan atau permainan tolok-ukur. Catatan insiden yang lengkap dapat mengekspos korban dan kerentanan. Jawabannya adalah akses berlapis: klaim dan metode publik; detail teknis rahasia bagi regulator yang berkualifikasi dan peninjau independen; dan informasi pribadi atau keamanan-nasional yang terlindungi.
Pelaporan agregat harus menunjukkan kategori insiden, severitas, sumber deteksi, waktu untuk melapor, tindakan korektif, dan kekambuhan. Sebuah laporan transparansi yang hanya menghitung insiden yang terkonfirmasi tanpa menjelaskan kapasitas deteksi dapat memberi hadiah pada organisasi yang mengawasi dengan kurang cermat.
Lingkar bukti
Setiap insiden serius harus memperbarui model ancaman, evaluasi, pengaman, dan kasus keamanan. Setiap kemampuan baru harus memicu tinjauan atas salinan yang diterapkan dan integrasi hilir. Tim red-team harus menerima pelajaran insiden, dan pelapor membutuhkan jalur yang terlindungi ketika pelaporan formal gagal.
Rekomendasi per September 2026 sudah jelas: standardisasi dokumentasi sambil mempertahankan pengujian khusus-domain; mewajibkan akses independen pada kemampuan atau skala tinggi; menghubungkan ambang batas dengan gerbang yang telah ditentukan sebelumnya; mewajibkan pelaporan untuk insiden parah dan insiden-nyaris-celaka yang tercakup; melindungi detail yang sensitif; dan mempublikasikan bukti agregat yang cukup untuk akuntabilitas.
Tidak ada evaluasi yang membuktikan bahwa AGI masa depan terkendali. Praktik-praktik ini justru membuat ketidakpastian menjadi terbaca dan membatasi penerapan berdasarkan bukti yang tersedia sekarang. Keberhasilan mereka harus dinilai berdasarkan apakah mereka menemukan masalah lebih awal, mengubah keputusan, dan mencegah kekambuhan—bukan berdasarkan berapa banyak tolok ukur atau dokumen kebijakan yang dihasilkan sebuah organisasi.