Situation report active Rev. 2026.9 119 reports 239 source records updated
Real Life After AGI Pengarahan kelangsungan hidup manusia
ID

Kemampuan emergen: apa yang muncul, apa yang hanya tampak tiba-tiba

Mengapa kemampuan tak terlatih khusus dapat muncul pada model besar, bagaimana pilihan tolok ukur menciptakan lonjakan yang tampak, dan artinya bagi keamanan AI.

Written by
Dwight Ringdahl
Status
Sumber diperiksa
Revised
Sources
3 cited
Reading
6 min

Dua makna seringkali tercampur

Sebuah kemampuan AI dapat bersifat “emergen” setidaknya dalam dua pengertian. Dalam pengertian luas, sebuah model menampilkan perilaku berguna yang bukan merupakan tujuan pelatihan eksplisit dan spesifik-tugas. Sebuah model bahasa yang dilatih terutama untuk memprediksi token dapat menerjemahkan, menulis kode, meringkas hukum, atau menyelesaikan beberapa soal aritmetika. Kemampuan-kemampuan itu dapat muncul karena data pelatihan dan tujuan pelatihannya memberi hadiah pada pola internal yang dapat digunakan kembali.

Dalam pengertian yang lebih kuat, emergensi berarti sebuah kemampuan muncul secara tiba-tiba seiring bertambahnya skala: model yang lebih kecil gagal, lalu model yang lebih besar tiba-tiba berhasil. Sebuah makalah 2022 yang banyak dibahas melaporkan contoh-contoh lonjakan semacam itu di berbagai keluarga model dan tugas (Wei dkk., 2022). Perbedaan ini penting. Keberadaan kemampuan yang tidak direncanakan sudah mapan; apakah sebuah kemampuan terukur benar-benar mengalami diskontinuitas sejati bergantung pada metrik, data, dan pengambilan sampel.

Tidak satu pun dari kedua makna itu menyiratkan kesadaran, niat, atau keajaiban. Sistem yang kompleks dapat memperoleh representasi tujuan umum tanpa seorang perancang yang menulis modul untuk setiap penggunaan. Pertanyaan ilmiahnya adalah bagaimana perilaku berubah seiring pelatihan dan desain sistem, serta seberapa baik kita dapat mengantisipasinya.

Mengapa beberapa lonjakan adalah artefak pengukuran

Misalkan akurasi aritmetika sebuah model meningkat secara bertahap dari 20 menjadi 30 menjadi 40 persen. Sebuah tolok ukur yang hanya memberi satu poin ketika akurasi melebihi 35 persen akan menampilkan nol, nol, lalu satu—sebuah diskontinuitas yang diciptakan oleh cara penilaian. Efek yang sama terjadi ketika penilaian kecocokan-persis (exact-match) tidak memberi nilai untuk jawaban yang hampir benar atau ketika sebuah tugas membutuhkan beberapa subketerampilan dan gagal jika salah satunya hilang.

Schaeffer, Miranda, dan Koyejo menganalisis ulang kasus-kasus yang dilaporkan dan menunjukkan bahwa banyak transisi tiba-tiba menjadi mulus ketika diukur dengan metrik yang kontinu, nonlinear, atau sensitif-kesalahan (“Are Emergent Abilities of Large Language Models a Mirage?”). Ini tidak membuktikan bahwa diskontinuitas sejati tidak pernah terjadi. Ini menunjukkan bahwa sebuah grafik tolok ukur tidak dapat menetapkan satu diskontinuitas tanpa menyingkirkan efek metrik, pengambilan sampel yang jarang, dan perbedaan keluarga model.

Skala juga bukan satu-satunya variabel yang berubah. Model yang lebih besar mungkin menggunakan data, resep pelatihan, tokenizer, penyetelan instruksi, alat, atau anggaran inferensi yang berbeda. Membandingkan produk-produk bernama dapat mengaburkan penyempurnaan rekayasa tingkat sistem dengan ambang batas parameter murni. Para peneliti membutuhkan rangkaian penskalaan terkontrol, titik pemeriksaan yang rapat, dan beberapa metrik untuk mengidentifikasi mekanismenya.

Apa yang masih benar-benar sulit diprediksi

Bahkan penyempurnaan yang mendasarinya bersifat mulus pun dapat menghasilkan ambang batas yang konsekuensial. Sebuah agen siber yang bergerak dari 40 menjadi 60 persen keberhasilan mungkin melewati titik di mana penerapannya menjadi ekonomis. Kemampuan sebuah model untuk menghubungkan subketerampilan yang masing-masing lemah dapat membuka sebuah alur kerja. Sistem eksternal dapat memperkuat penyempurnaan kecil: alat menyediakan tindakan, memori memperluas konteks, dan pengambilan sampel berulang menemukan jawaban yang berhasil.

Para pengembang juga tidak dapat menguji secara menyeluruh setiap kemungkinan tugas. Model dilatih dengan data luas dan diterapkan kepada jutaan pengguna yang menemukan aplikasi dan kegagalan yang tidak dibayangkan oleh para evaluator. Sebuah kemampuan karena itu dapat mengejutkan laboratorium bahkan jika kemampuan itu berkembang secara bertahap. Kejutan mungkin mencerminkan pengukuran yang terbatas alih-alih perubahan fase yang tajam secara matematis, tetapi hal itu tetap penting secara operasional.

International AI Safety Report 2026 menekankan bahwa evaluasi terdepan dapat memiliki validitas eksternal yang terbatas dan cepat menjadi usang seiring perubahan sistem dan perancah (International AI Safety Report 2026). Itu adalah klaim ketidakpastian praktis, bukan bukti bahwa setiap perilaku yang dikhawatirkan akan muncul secara spontan.

Kemampuan bukanlah kecenderungan

Sebuah model mungkin mampu melakukan suatu tindakan ketika diminta secara sengaja tanpa berarti model itu cenderung melakukannya dengan sendirinya. Analisis keamanan seharusnya memisahkan kemampuan—apakah sistem dapat melakukan sesuatu—dari kecenderungan—apakah sistem itu cenderung melakukannya dalam kondisi yang relevan. Sebuah model yang dapat menghasilkan rencana menipu dalam sebuah bermain-peran (role-play) tidak dengan sendirinya terbukti mengejar penipuan selama penerapan. Sebaliknya, kecenderungan terukur yang rendah mungkin mencerminkan sebuah evaluasi yang tidak menciptakan pemicu yang tepat.

Perbedaan yang sama berlaku untuk kesadaran situasional, penghindaran pengaman, pelestarian diri, dan perilaku strategis. Ini adalah topik riset aktif dan komponen model ancaman yang mungkin. Tidak akurat untuk mengatakan bahwa mereka pasti akan muncul hanya karena penerjemahan atau aritmetika telah muncul. Bukti seharusnya mengidentifikasi model yang diuji, prompt, lingkungan, frekuensi, dan penjelasan alternatif.

Bahasa antropomorfik menambah kebingungan. Model dapat menghasilkan pernyataan tentang keinginan untuk bertahan hidup karena bahasa serupa muncul dalam data pelatihannya atau karena interaksi tersebut memberi hadiah pada sebuah persona. Teks semacam itu adalah perilaku yang layak diselidiki; itu bukan akses langsung ke sebuah tujuan internal yang stabil. Klaim tentang motif membutuhkan bukti yang lebih kuat daripada kutipan dari satu percakapan.

Mengapa emergensi tetap relevan bagi keamanan

Pelajaran keamanan yang masuk akal bukanlah “apa pun bisa tiba-tiba terjadi.” Melainkan bahwa pelatihan yang luas menciptakan lebih banyak perilaku daripada yang secara eksplisit dienumerasi oleh perancang, dan evaluasi saat ini memberikan cakupan yang tidak lengkap. Itu membenarkan pengujian bertahap, pemantauan, dan pertahanan berlapis. Itu juga memperingatkan terhadap asumsi bahwa ketiadaan pada satu tolok ukur berarti ketiadaan di bawah setiap perancah atau prompt.

Evaluasi seharusnya dimulai selama pelatihan, menggunakan titik pemeriksaan untuk mengukur tren sebelum proses pelatihan final. Tim dapat memelihara rangkaian pengujian untuk risiko siber, bantuan biologis, persuasi, otonomi, dan kendali model, sambil menambahkan red teaming terbuka untuk menemukan perilaku yang tidak terantisipasi. Pengujian privat mengurangi kontaminasi; evaluator eksternal mengurangi titik buta institusional. Pelaporan insiden pasca-penerapan menangkap kegagalan yang terlewat oleh tugas-tugas laboratorium.

Kebijakan ambang batas seharusnya merespons kemampuan yang terbukti tanpa membutuhkan kesepakatan filosofis tentang emergensi. Jika sebuah sistem dapat secara material menurunkan hambatan menuju kerugian yang parah, pengaman yang relevan seharusnya berlaku terlepas dari apakah kurvanya mulus atau tiba-tiba. Jika buktinya lemah, laporan seharusnya menyatakan ketidakpastian alih-alih diam-diam memperlakukan sebuah perilaku hipotetis sebagai sesuatu yang telah teramati.

Keterprediksian datang dalam lapisan-lapisan

Beberapa properti model lebih dapat diprakirakan daripada yang lain. Loss agregat di seluruh distribusi data seringkali mengikuti hukum penskalaan yang mulus. Kinerja pada sebuah tolok ukur yang stabil mungkin dapat diprakirakan pada rentang yang terbatas. Keberhasilan dalam lingkungan yang berantakan bergantung pada alat, keandalan, dan interaksi yang lebih sulit dimodelkan. Dampak sosial menambahkan adopsi, insentif, institusi, dan pihak yang berlawanan, membuatnya lebih sulit lagi.

Hierarki ini mencegah kesalahan inferensi yang umum: loss pelatihan yang dapat diprediksi tidak membuat setiap kemampuan hilir menjadi dapat diprediksi, tetapi perilaku hilir yang mengejutkan tidak membatalkan hukum penskalaan. Para peneliti dapat memprakirakan sebuah rata-rata sambil tetap tidak yakin tentang kegagalan yang jarang atau tugas tertentu.

Interpretabilitas mungkin pada akhirnya akan meningkatkan prakiraan dengan mengungkap representasi atau mekanisme sebelum hal-hal itu muncul jelas dalam perilaku. Namun saat ini, metode interpretabilitas memberikan bukti parsial alih-alih pembacaan lengkap tentang apa yang “diketahui” atau akan dilakukan sebuah model. Evaluasi perilaku dan kendali dunia nyata tetap diperlukan.

Cara membaca klaim emergensi

Tanyakan apa yang berubah di antara perbandingan itu: parameter, komputasi, data, tujuan pelatihan, alat, atau prompting. Periksa apakah metriknya kontinu, apakah titik pemeriksaan antara ada, dan apakah batas ketidakpastiannya tumpang tindih. Periksa apakah tugas itu ada dalam data pelatihan dan apakah peneliti independen mereproduksi hasilnya. Yang terpenting, bedakan “tidak terduga oleh para penulis” dari “diskontinu secara ilmiah.”

Kemampuan emergen adalah konsep yang berguna ketika digunakan dengan cermat. Model yang dilatih secara luas memang memperoleh kemampuan yang tidak ditentukan oleh insinyur satu demi satu. Beberapa kemampuan hanya menjadi terlihat setelah sistem melewati ambang batas praktis. Tetapi banyak tebing terkenal sebagian merupakan artefak dari cara kita menilai perilaku. Kesimpulan yang akurat bukanlah bahwa emergensi adalah ilusi maupun bahwa skala secara tak terprediksi memanggil kemampuan apa pun. Kesimpulannya adalah bahwa perkembangan kemampuan hanya sebagian dipahami, pilihan pengukuran itu penting, dan kebijakan keamanan seharusnya kokoh terhadap perubahan yang bertahap maupun yang mengejutkan.

Type to search the manual.

navigate open esc close