Hukum penskalaan adalah hubungan empiris
Dalam pembelajaran mesin, hukum penskalaan menggambarkan bagaimana suatu besaran terukur berubah seiring bertambahnya suatu masukan. Untuk model bahasa besar, para peneliti menemukan bahwa loss pelatihan seringkali membaik dengan cara yang relatif mulus dan dapat diprediksi seiring bertambahnya ukuran model, data pelatihan, dan komputasi. Riset OpenAI tahun 2020 melaporkan hubungan hukum pangkat (power-law) pada rentang yang diuji (Kaplan dkk.). Studi “Chinchilla” DeepMind yang lebih baru menunjukkan bahwa, di bawah anggaran komputasi tetap, banyak model telah dilatih dengan data yang terlalu sedikit dan bahwa parameter serta token pelatihan seharusnya diskalakan bersama secara lebih merata (Hoffmann dkk.).
Hasil-hasil ini penting karena membuat proses pelatihan yang mahal menjadi lebih dapat diprediksi. Sebuah laboratorium dapat menjalankan eksperimen yang lebih kecil, memperkirakan bagaimana loss akan berubah pada skala yang lebih besar, dan mengalokasikan anggaran di antara data, parameter, dan komputasi. Namun hukum ini menggambarkan pengukuran di dalam rezim yang teramati. Ini bukan jaminan fisik bahwa setiap kemampuan akan membaik tanpa batas atau bahwa cukup banyak prosesor grafis secara otomatis menghasilkan AGI.
Komputasi hanyalah satu bahan
“Komputasi” biasanya berarti jumlah operasi numerik yang digunakan dalam pelatihan atau inferensi, tetapi bahkan singkatan itu menyembunyikan perbedaan penting. Dua proses pelatihan dengan jumlah operasi nominal yang sama dapat menghasilkan sistem yang berbeda karena pemanfaatan chip, presisi numerik, kualitas data, arsitektur, optimisasi, dan perangkat lunak. Penyempurnaan algoritmik dapat memperoleh kinerja yang lebih baik dari perangkat keras yang sama. Penyetelan halus (fine-tuning), pengambilan (retrieval), alat, memori, dan perancah agen dapat secara substansial mengubah perilaku yang diterapkan setelah pra-pelatihan.
Data penting baik dalam kuantitas maupun komposisi. Contoh yang terduplikasi, berkualitas rendah, atau terkontaminasi tidak setara dengan informasi yang dipilih secara cermat. Data sintetis dapat memperluas atau menargetkan sebuah korpus, tetapi kesalahan dapat terperbesar jika pembangkitan dan penyaringannya buruk. Hak atas data, privasi, cakupan bahasa, dan representasi juga memengaruhi apa yang dipelajari sebuah model.
Komputasi saat inferensi menambahkan dimensi lain. Beberapa sistem menghabiskan lebih banyak operasi untuk menghasilkan dan memeriksa kandidat antara bagi sebuah prompt yang sulit. Ini dapat meningkatkan kinerja tanpa mengubah model yang telah dipralatih, tetapi meningkatkan biaya dan latensi serta tidak menjamin kebenaran. Diskusi penskalaan yang lengkap kini setidaknya memerlukan komputasi pelatihan, komputasi inferensi, data, algoritma, dan sistem di sekitarnya.
Kurva loss bukanlah kurva kemampuan
Loss pelatihan mengukur kesalahan prediktif yang dirata-ratakan di seluruh kumpulan data yang sangat besar. Penurunan loss yang mulus dapat disertai perubahan yang tidak merata pada tugas-tugas yang berhadapan dengan manusia. Sebuah tolok ukur mungkin menunjukkan ambang batas karena penyempurnaan laten akhirnya melewati batas kelulusannya, karena model mempelajari beberapa subketerampilan yang diperlukan, atau karena metode penilaian mengonversi kemajuan bertahap menjadi hasil biner. Kemampuan lain mungkin membaik secara mulus, tetap datar, atau mengalami kemunduran setelah penyetelan keamanan atau perubahan sistem.
Perbedaan ini mencegah dua kesalahan yang berlawanan. Kesalahan pertama adalah menganggap bahwa kurva loss yang dapat diprediksi membuat setiap perilaku masa depan menjadi dapat diprediksi. Itu tidak benar. Kesalahan kedua adalah mengklaim bahwa semua peningkatan kemampuan adalah diskontinuitas misterius. Banyak peningkatan tolok ukur yang tampaknya tiba-tiba menjadi lebih mulus ketika para peneliti menggunakan metrik yang kontinu atau pengujian yang lebih informatif (Schaeffer, Miranda, dan Koyejo, 2023). Baik ketidakpastian maupun keterprediksian parsial dapat sama-sama benar.
Penskalaan juga berinteraksi dengan desain evaluasi. Pengujian publik dapat menjadi jenuh atau bocor ke dalam data pelatihan. Sebuah model mungkin membaik dalam mengerjakan pengujian tanpa peningkatan setara dalam keandalan dunia nyata. Sebaliknya, tolok ukur yang ada mungkin melewatkan kemampuan yang berguna. Evaluasi ganda, tugas privat, tinjauan pakar manusia, dan bukti penerapan diperlukan untuk menafsirkan apa sesungguhnya yang dibeli oleh penurunan loss tersebut.
Di mana tren dapat berbelok
Kapasitas fisik tidaklah tak terbatas. Pelatihan dan penyajian terdepan bergantung pada chip canggih, memori berpita lebar tinggi, jaringan, listrik, pendinginan, lahan, konstruksi, dan rantai pasokan. Badan Energi Internasional (IEA) memperkirakan permintaan listrik pusat data akan meningkat secara substansial hingga 2030, sambil menekankan ketidakpastian dan konsentrasi geografis yang kuat (IEA, Energy and AI). Keterlambatan jaringan listrik lokal dapat menjadi masalah bahkan ketika energi global mencukupi.
Data buatan manusia berkualitas tinggi juga terbatas, meskipun dampak dari batasan itu bergantung pada sumber data baru, pelatihan multimodal, data sintetis, dan penggunaan korpus yang ada secara lebih efisien. Batas ekonomi mungkin tiba sebelum batas teknis: model yang lebih besar harus menciptakan nilai yang cukup untuk membenarkan biaya pelatihan, penyajian, dan biaya peluang. Latensi dan bandwidth memori dapat membatasi produk bahkan ketika total operasi tersedia.
Imbal hasil yang menurun sudah melekat dalam penskalaan. Sebuah hukum pangkat dapat terus berlaku sementara setiap penyempurnaan tambahan membutuhkan pengeluaran yang jauh lebih besar. Itu tidak berarti kemajuan berhenti, tetapi itu mengubah ekonominya. Arsitektur atau algoritma baru dapat menggeser kurva itu, sementara keamanan, keandalan, atau perwujudan fisik (embodiment) mungkin memerlukan kemajuan yang tidak tertangkap oleh loss prediksi token berikutnya. Tidak ada yang dapat menetapkan hanya dari hukum penskalaan saat ini di mana terobosan-terobosan itu akan terjadi.
Mengapa komputasi tetap menjadi tuas tata kelola
Terlepas dari peringatan-peringatan ini, komputasi canggih bersifat luar biasa fisik dan terkonsentrasi. Chip mutakhir diproduksi melalui rantai pasokan global yang sempit, dan klaster pelatihan terbesar membutuhkan modal, daya, dan jaringan yang tampak nyata. Karena itu, pemerintah menggunakan kontrol ekspor chip, persyaratan pelaporan, dan aturan pusat data sebagai proksi untuk kemampuan terdepan. Komputasi dapat lebih mudah dipantau dibandingkan algoritma atau perangkat lunak yang disalin.
Proksi ini tidak sempurna. Ambang batas dapat menjadi usang seiring algoritma menjadi lebih efisien. Pelatihan dan inferensi terdistribusi mempersulit pencatatan. Aturan komputasi dapat membebani riset yang sah, mengukuhkan pemain besar yang sudah mapan, atau mendorong penghindaran jika dirancang dengan buruk. Komputasi pelatihan juga melewatkan sistem-sistem mampu yang dirakit melalui penyetelan halus, penggunaan alat, atau banyak panggilan inferensi. Kebijakan yang efektif seharusnya memperbarui ambang batas, memperhitungkan efisiensi, melindungi privasi, dan memfokuskan kewajiban pada risiko alih-alih memperlakukan operasi sebagai kerugian.
Tata kelola komputasi paling kuat ketika dipasangkan dengan evaluasi kemampuan. Komputasi dapat mengidentifikasi proses pelatihan yang layak diperiksa; evaluasi dapat menguji apakah sistem yang dihasilkan melewati ambang batas kemampuan berbahaya; pemantauan penerapan dapat mengungkap penyalahgunaan dan kegagalan. Tidak ada satu metrik pun yang seharusnya menanggung seluruh beban regulasi.
Penskalaan tidak menuntaskan linimasa AGI
Investasi yang pesat adalah bukti bahwa para pengembang mengharapkan imbal hasil dari sistem yang lebih besar dan lebih efisien. Penskalaan historis adalah bukti bahwa sumber daya tambahan seringkali telah meningkatkan kinerja terukur. Tidak satu pun dari keduanya membuktikan tanggal untuk AGI. Prakiraan harus memodelkan perangkat keras, energi, data, algoritma, inferensi, keandalan, dan definisi AGI itu sendiri.
Klaim bahwa “penskalaan telah berhenti” mengharuskan penentuan metrik dan sistem mana yang dimaksud. Klaim bahwa “penskalaan adalah semua yang dibutuhkan” mengharuskan pembuktian bahwa kesenjangan yang tersisa dapat direduksi menjadi tren yang sama. Di antara kedua slogan itu terletak posisi yang dapat dipertahankan: hukum penskalaan adalah salah satu keteraturan empiris paling berguna dalam AI modern, tetapi hukum ini memprediksi rata-rata di dalam rezim tertentu jauh lebih baik daripada memprediksi konsekuensi sosial yang bersifat kualitatif.
Apa yang harus ditanyakan pembaca
Ketika sebuah model baru dikaitkan dengan penskalaan, tanyakan sumber daya mana yang meningkat, seberapa besar, dan dibandingkan dengan garis dasar apa. Apakah perbandingannya optimal-komputasi? Apakah data atau algoritmanya berubah? Apakah keuntungan yang dilaporkan itu pada loss pelatihan, sebuah tolok ukur, pekerjaan pakar, atau hasil yang diterapkan? Seperti apa keandalan dan biayanya? Apakah hasilnya dapat direproduksi secara independen?
Pertanyaan-pertanyaan itu menjaga pelajaran nyata dari hukum penskalaan tanpa mengubahnya menjadi mitologi. Komputasi yang lebih besar telah berulang kali memungkinkan model yang lebih baik. Ini adalah masukan industri utama dan titik pengawasan yang praktis. Ini bukan unit universal kecerdasan, jaminan perilaku yang aman, atau hitung mundur menuju AGI.