Apa yang sesungguhnya diusulkan Turing
Pada 1950, Alan Turing bertanya apakah mesin dapat berpikir dan dengan cepat menggantikan pertanyaan yang secara filosofis rumit itu dengan pertanyaan yang operasional. Dalam “permainan imitasi”-nya, seorang interogator manusia berkomunikasi melalui teks dengan seorang manusia dan sebuah mesin dan berusaha mengidentifikasi mana yang mana. Turing menawarkan ini sebagai sebuah cara untuk mendiskusikan kecerdasan mesin melalui perilaku yang dapat diamati alih-alih sebuah esensi batin yang tidak dapat diakses (Turing, “Computing Machinery and Intelligence”).
Gagasan itu mendalam, tetapi frasa yang lazim “lulus uji Turing” menyembunyikan banyak pilihan. Seberapa lama percakapannya? Apa yang diketahui sang juri? Topik apa yang diizinkan? Berapa banyak juri yang berpartisipasi, dan tingkat kesalahan apa yang dihitung sebagai keberhasilan? Turing tidak menetapkan sebuah program sertifikasi modern dengan satu ambang batas resmi tunggal. Uji ini adalah sebuah eksperimen pemikiran dan tonggak riset, bukan alat ukur seorang regulator AGI.
Mengapa percakapan menjadi terlalu mudah dipermainkan
Permainan imitasi memberi hadiah pada sebuah sistem karena tampak manusiawi dalam sebuah interaksi tertentu. Itu dapat dicapai melalui keluasan yang genuin, tetapi juga melalui sikap mengelak, bermain-peran, humor, kesalahan yang disengaja, atau mengeksploitasi ekspektasi seorang juri. Chatbot awal ELIZA menunjukkan pada 1960-an bahwa orang dengan mudah memproyeksikan pemahaman pada pola percakapan yang dangkal. Model bahasa saat ini menghasilkan dialog yang jauh lebih koheren, membuat antropomorfisme bahkan lebih mudah lagi.
Lulus sebuah percakapan teks singkat tidak akan mendemonstrasikan perencanaan yang andal, akurasi matematis, penilaian ilmiah, kompetensi dunia fisik, atau kemampuan pulih dari kesalahan. Ini tidak akan menunjukkan bahwa model itu dapat mempelajari sebuah pekerjaan baru, mempertahankan tujuan sepanjang sebuah proyek panjang, atau mengenali kapan ia seharusnya mengalah pada seorang manusia. Sebaliknya, sebuah sistem nonverbal yang kuat dapat mentransformasi sains atau logistik sambil gagal meniru seorang pembicara santai. Kemiripan manusia bukanlah suatu keharusan maupun kecukupan bagi kemampuan mesin yang konsekuensial.
Uji ini juga mencampurkan kecerdasan dengan penipuan. Sebuah sistem mungkin diberi penalti karena secara jujur mengidentifikasi dirinya sebagai sebuah mesin dan diberi hadiah karena memanipulasi seorang juri agar percaya sebaliknya. Itu adalah kecocokan yang buruk untuk evaluasi keamanan, di mana ketidakpastian yang terkalibrasi, keterlacakan, dan pengungkapan yang jujur seringkali lebih penting daripada kelayakan sosial.
Dari satu uji menjadi sebuah portofolio evaluasi
Evaluasi modern menggunakan banyak rangkaian tugas karena kecerdasan bersifat multidimensional. Tolok ukur pengetahuan dan penalaran menguji pertanyaan di berbagai subjek; evaluasi pengkodean menjalankan program yang dihasilkan terhadap kasus uji; pengujian multimodal menggabungkan teks, diagram, gambar, audio, dan video; tolok ukur agen menempatkan model dalam lingkungan interaktif di mana mereka harus menavigasi, menggunakan perangkat lunak, dan menyelesaikan tujuan.
Setiap keluarga menjawab sebuah pertanyaan yang sempit. MMLU, misalnya, mengambil sampel pengetahuan pilihan-ganda akademik dan profesional, tetapi skor tinggi tidak menetapkan bahwa sebuah model dapat mempraktikkan profesi-profesi itu. GAIA menguji asisten pada pertanyaan dunia nyata yang mungkin membutuhkan penalaran, alat, dan banyak langkah (makalah GAIA). OSWorld mengevaluasi agen penggunaan komputer di berbagai aplikasi sistem operasi nyata (makalah OSWorld). ARC-AGI berfokus pada beradaptasi dengan tugas penalaran visual yang baru alih-alih mereproduksi pengetahuan yang tersimpan (tolok ukur ARC Prize). Evaluasi-evaluasi ini mengungkap kekuatan dan moda kegagalan yang berbeda; tidak satu pun adalah pendeteksi AGI.
Studi penyelesaian tugas menambahkan sebuah dimensi waktu dan kompleksitas. METR memperkirakan durasi tugas pakar-manusia di mana sebuah agen memiliki probabilitas keberhasilan tertentu. Rangkaian pengujiannya saat ini terutama mencakup rekayasa perangkat lunak, pembelajaran mesin, dan keamanan siber, dan organisasi itu secara eksplisit memperingatkan bahwa “horizon waktu” adalah tingkat kesulitan tugas yang diukur dalam waktu manusia—bukan durasi sebuah AI dapat beroperasi secara independen (metodologi METR). Organisasi itu juga memperingatkan bahwa tugas tolok ukur yang terspesifikasi dengan baik lebih bersih daripada sebagian besar pekerjaan dan bahwa kinerja berbeda tajam menurut domain.
Keandalan mengubah makna sebuah skor
Kinerja rata-rata tidak cukup untuk penggunaan bertaruhan tinggi. Sebuah sistem yang berhasil separuh dari waktunya mungkin mengesankan untuk riset namun tidak dapat digunakan dalam kedokteran, penerbangan, atau infrastruktur. Karena itu para evaluator membutuhkan tingkat keberhasilan, percobaan berulang, perilaku kasus terburuk, interval ketidakpastian, dan pengujian di bawah pergeseran distribusi. Mereka seharusnya mengukur apakah sebuah model tahu kapan ia tidak pasti, mencari klarifikasi, dan mengembalikan kendali dengan aman.
Pengaturan evaluasi sama pentingnya dengan model yang mendasarinya. Akses alat, susunan kata prompt, memori, pengaturan pengambilan sampel, komputasi saat inferensi, dan perangkat lunak agen di sekitarnya dapat secara material mengubah hasil. Sebuah skor dimiliki oleh sebuah konfigurasi sistem yang diuji pada tanggal yang dinyatakan. Memperlakukannya sebagai sebuah properti abadi dari sebuah nama model mendorong perbandingan yang keliru.
Kontaminasi data adalah masalah lain. Pertanyaan dan solusi tolok ukur publik mungkin muncul dalam data pelatihan. Bahkan tanpa hafalan kata-demi-kata, penyetelan yang berfokus pada tolok ukur dapat meningkatkan sebuah skor tanpa generalisasi yang setara. Evaluasi yang lebih baik menggunakan tugas privat atau yang baru dibuat, mendokumentasikan kemungkinan paparan, dan memperbaruinya sesering mungkin. Pengujian independen mengurangi—tetapi tidak menghilangkan—risiko bahwa seorang pengembang hanya memilih hasil yang menguntungkan.
Evaluasi keamanan mengajukan pertanyaan yang berbeda
Evaluasi kemampuan mengukur apa yang dapat dilakukan sebuah sistem di bawah kondisi yang menguntungkan. Evaluasi keamanan bertanya apa yang mungkin dilakukannya ketika disalahgunakan, ditekan, ditipu, diberi instruksi yang bertentangan, atau ditempatkan dalam lingkungan yang konsekuensial. Pengujian yang relevan mencakup bantuan penyalahgunaan biologis atau siber, manipulasi, otonomi, penghindaran pengaman, penipuan, dan kemampuan memperoleh sumber daya. International AI Safety Report 2026 menekankan bahwa evaluasi menghadapi validitas eksternal yang terbatas, keusangan yang cepat, dan akses yang tidak lengkap ke sistem terdepan (International AI Safety Report 2026).
Tim red team mencari kegagalan secara kreatif, sementara tolok ukur terstruktur memungkinkan perbandingan. Pemantauan dunia nyata kemudian menguji apakah hasil pra-penerapan memprediksi penggunaan sesungguhnya. Pelaporan insiden itu penting karena tidak ada rangkaian laboratorium yang dapat mengenumerasi setiap konteks. Sebuah rezim evaluasi seharusnya menghubungkan hasil dengan keputusan: pengaman tambahan, akses alat yang dibatasi, rilis bertahap, tinjauan dari luar, atau jeda penerapan ketika sebuah ambang batas yang terdefinisi terlewati.
Apa yang dibutuhkan oleh sebuah evaluasi AGI yang kredibel
Kerangka kerja “Levels of AGI” milik Google DeepMind berargumen bahwa evaluasi seharusnya mencakup baik kinerja maupun keumuman dan seharusnya mempertimbangkan interaksi manusia-AI tempat kemampuan itu diekspresikan (kerangka kerja DeepMind). Sebuah penilaian yang kredibel akan membutuhkan domain yang luas, tugas yang benar-benar baru, berbagai tingkat kinerja, dan pelaporan otonomi yang jelas. Ia akan menguji transfer, efisiensi pembelajaran, kekokohan, interaksi sosial, dan pekerjaan terbuka—bukan hanya pertanyaan ujian.
Ia juga akan membutuhkan replikasi independen dan pengawasan adversarial. Para pengembang seharusnya mempublikasikan metodologi yang cukup untuk menafsirkan klaim tanpa mengungkap detail berbahaya atau mengkompromikan pengujian privat. Hasil seharusnya memisahkan model dasar dari alat dan perancah, menyertakan contoh kegagalan, dan menghindari mengonversi satu angka komposit menjadi sebuah putusan metafisik.
Penggantinya adalah sebuah dasbor, bukan sebuah garis akhir
Tidak ada uji modern yang telah “menggantikan” permainan Turing dalam arti menjadi gerbang yang diterima secara universal menuju AGI. Apa yang menggantikannya adalah sebuah portofolio: uji pengetahuan, tugas penalaran baru, lingkungan interaktif, pengukuran horizon-tugas, tinjauan pakar khusus-domain, evaluasi kemampuan berbahaya, dan bukti dari penerapan.
Jawaban itu kurang teatrikal dibandingkan sebuah mesin yang mengelabui seorang juri, tetapi lebih berguna. Pertanyaan yang tepat bukan lagi “Apakah ia lulus?” Melainkan: Apa yang dapat dilakukan sistem ini secara andal, di bawah kondisi apa, dengan bantuan apa, dan apa yang terjadi ketika kondisinya berubah? Sebuah dasbor bukti bertanggal yang transparan memberikan panduan yang lebih baik untuk kemampuan dan risiko dibandingkan garis akhir tunggal apa pun.