Bir ölçeklendirme yasası ampirik bir ilişkidir
Makine öğrenmesinde bir ölçeklendirme yasası, ölçülen bir niceliğin bir girdi büyüdükçe nasıl değiştiğini tanımlar. Büyük dil modelleri için araştırmacılar, model boyutu, eğitim verisi ve hesaplama arttıkça eğitim kaybının genellikle nispeten düzgün, öngörülebilir bir şekilde iyileştiğini buldular. OpenAI’nin 2020 çalışması, test edilen aralıklarda kuvvet yasası ilişkileri bildirdi (Kaplan ve diğerleri). DeepMind’ın daha sonraki “Chinchilla” çalışması, sabit bir hesaplama bütçesi altında birçok modelin çok az veriyle eğitildiğini ve parametrelerin ile eğitim jetonlarının birlikte daha dengeli bir şekilde ölçeklendirilmesi gerektiğini gösterdi (Hoffmann ve diğerleri).
Bu sonuçlar önemliydi çünkü pahalı eğitim koşularını daha öngörülebilir hale getirdiler. Bir laboratuvar daha küçük deneyler yürütebilir, kaybın daha büyük ölçekte nasıl değişeceğini tahmin edebilir ve bir bütçeyi veri, parametreler ve hesaplama arasında tahsis edebilir. Ama yasa, gözlemlenen bir rejim içindeki ölçümleri tanımlar. Her yeteneğin sonsuza kadar iyileşeceğinin veya yeterli sayıda grafik işlemcinin otomatik olarak AGI ürettiğinin fiziksel bir garantisi değildir.
Hesaplama sadece bir bileşendir
“Hesaplama” genellikle eğitim veya çıkarımda kullanılan sayısal işlemlerin sayısı anlamına gelir, ancak bu kısaltma bile önemli farklılıkları gizler. Aynı nominal işlemlere sahip iki eğitim koşusu, çip kullanımı, sayısal hassasiyet, veri kalitesi, mimari, optimizasyon ve yazılım nedeniyle farklı sistemler üretebilir. Algoritmik iyileştirmeler aynı donanımdan daha iyi performans elde edebilir. İnce ayar, geri getirme, araçlar, bellek ve ajan iskeleti, ön eğitimden sonra dağıtılan davranışı önemli ölçüde değiştirebilir.
Veri hem miktar hem de bileşim açısından önemlidir. Yinelenmiş, düşük kaliteli veya kirlenmiş örnekler, dikkatle seçilmiş bilgiyle eşdeğer değildir. Sentetik veri bir külliyatı genişletebilir veya hedefleyebilir, ancak üretim ve filtreleme zayıfsa hatalar büyütülebilir. Veri hakları, mahremiyet, dil kapsamı ve temsil de bir modelin ne öğrendiğini etkiler.
Çıkarım anındaki hesaplama başka bir boyut ekler. Bazı sistemler, zor bir istem için ara adayları üretmek ve kontrol etmek üzere daha fazla işlem harcar. Bu, önceden eğitilmiş modeli değiştirmeden performansı iyileştirebilir, ancak maliyeti ve gecikmeyi artırır ve doğruluğu garanti etmez. Tam bir ölçeklendirme tartışması artık en azından eğitim hesaplaması, çıkarım hesaplaması, veri, algoritmalar ve çevredeki sistemi gerektirir.
Kayıp eğrileri yetenek eğrileri değildir
Eğitim kaybı, devasa veri kümeleri üzerinde ortalanan tahmin hatasını ölçer. Kayıptaki düzgün bir azalma, insana yönelik görevlerde düzensiz değişikliklere eşlik edebilir. Bir gösterge testi, gizli bir iyileşme sonunda geçme sınırını aştığı için, model gerekli birkaç alt beceriyi öğrendiği için veya puanlama kademeli ilerlemeyi ikili bir sonuca dönüştürdüğü için bir eşik gösterebilir. Diğer yetenekler düzgün bir şekilde iyileşebilir, sabit kalabilir veya güvenlik ince ayarı ya da sistem değişikliklerinden sonra gerileyebilir.
Bu ayrım, iki zıt hatayı önler. Birincisi, öngörülebilir bir kayıp eğrisinin her gelecekteki davranışı öngörülebilir kıldığını varsaymaktır. Kılmaz. İkincisi, tüm yetenek kazanımlarının gizemli süreksizlikler olduğunu iddia etmektir. Araştırmacılar sürekli, doğrusal olmayan veya hataya duyarlı metrikler kullandığında birçok görünüşte ani gösterge testi kazanımı daha düzgün hale gelir (Schaeffer, Miranda ve Koyejo, 2023). Bu, gerçek süreksizliklerin hiçbir zaman gerçekleşmediğini kanıtlamaz. Bir gösterge testi grafiğinin, metrik etkilerini, seyrek örneklemeyi ve model ailesi farklılıklarını dışlamadan bir tanesini kanıtlayamayacağını gösterir.
Ölçek de tek değişen değişken değildir. Daha büyük modeller farklı veri, eğitim tarifleri, jetonlayıcılar, talimat ince ayarı, araçlar veya çıkarım bütçeleri kullanabilir. Adlandırılmış ürünleri karşılaştırmak, sistem düzeyinde bir mühendislik iyileştirmesini saf bir parametre eşiğiyle karıştırabilir. Araştırmacıların mekanizmayı belirlemek için kontrollü ölçeklendirme serilerine, yoğun kontrol noktalarına ve çeşitli metriklere ihtiyacı vardır.
Eğilimin nerede bükülebileceği
Fiziksel kapasite sınırsız değildir. Frontier eğitimi ve sunumu, gelişmiş çiplere, yüksek bant genişlikli belleğe, ağ altyapısına, elektriğe, soğutmaya, araziye, inşaata ve tedarik zincirlerine bağımlıdır. Uluslararası Enerji Ajansı, belirsizliği ve güçlü coğrafi yoğunlaşmayı vurgularken, veri merkezi elektrik talebinin 2030’a kadar önemli ölçüde artmasını bekliyor (IEA, Energy and AI). Küresel enerji yeterli olsa bile yerel şebeke gecikmeleri önemli olabilir.
Yüksek kaliteli insan tarafından üretilen veri de sınırlıdır, ancak bu kısıtlamanın etkisi yeni veri kaynaklarına, çok modlu eğitime, sentetik veriye ve mevcut külliyatların daha verimli kullanımına bağlıdır. Ekonomik sınırlar teknik olanlardan önce gelebilir: daha büyük bir modelin eğitimi, sunumu ve fırsat maliyetlerini haklı çıkaracak kadar değer yaratması gerekir. Toplam işlemler mevcut olsa bile gecikme ve bellek bant genişliği ürünleri kısıtlayabilir.
Azalan getiriler ölçeklendirmeye içkindir. Bir kuvvet yasası, her ek iyileştirme çok daha fazla harcama gerektirse bile devam edebilir. Bu, ilerlemenin durduğu anlamına gelmez, ancak ekonomiyi değiştirir. Yeni bir mimari veya algoritma eğriyi hareket ettirebilirken, güvenlik, güvenilirlik veya cisimleşme, bir sonraki jeton tahmin kaybı tarafından yakalanmayan ilerlemeler gerektirebilir. Hiç kimse mevcut ölçeklendirme yasalarından tek başına bu atılımların nerede gerçekleşeceğini belirleyemez.
Hesaplama neden bir yönetişim aracı olmaya devam ediyor
Bu uyarılara rağmen, gelişmiş hesaplama alışılmadık derecede fiziksel ve yoğunlaşmıştır. En ileri çipler dar bir küresel tedarik zinciri aracılığıyla üretilir ve en büyük eğitim kümeleri görünür sermaye, güç ve ağ altyapısı gerektirir. Bu nedenle hükümetler, frontier yetenek için vekiller olarak çip ihracat kontrollerini, raporlama gereksinimlerini ve veri merkezi kurallarını kullanır. Hesaplama, algoritmalardan veya kopyalanmış yazılımlardan izlenmesi daha kolay olabilir.
Vekil kusurludur. Algoritmalar daha verimli hale geldikçe eşikler modası geçmiş hale gelebilir. Dağıtılmış eğitim ve çıkarım muhasebeyi karmaşıklaştırır. Kötü yazılmış bir hesaplama kuralı meşru araştırmaya yük getirebilir, büyük yerleşik oyuncuları kökleştirebilir veya kaçınmayı teşvik edebilir. Eğitim hesaplaması ayrıca ince ayar, araç kullanımı veya birçok çıkarım çağrısı yoluyla bir araya getirilmiş yetenekli sistemleri gözden kaçırır. Etkili politika, eşikleri güncellemeli, verimliliği hesaba katmalı, mahremiyeti korumalı ve işlemleri zarar olarak ele almak yerine yükümlülükleri riske odaklamalıdır.
Hesaplama yönetişimi, yetenek değerlendirmesiyle birleştirildiğinde en güçlüdür. Hesaplama, incelemeye değer koşuları belirleyebilir; değerlendirmeler ortaya çıkan bir sistemin tehlikeli bir yetenek eşiğini aşıp aşmadığını test edebilir; dağıtım izlemesi kötüye kullanımı ve başarısızlıkları ortaya çıkarabilir. Hiçbir tek metrik tüm düzenleyici yükü taşımamalıdır.
Ölçeklendirme AGI zaman çizelgelerini çözmez
Hızlı yatırım, geliştiricilerin daha büyük ve daha verimli sistemlerden getiri beklediğinin kanıtıdır. Tarihsel ölçeklendirme, ek kaynakların ölçülen performansı sıklıkla iyileştirdiğinin kanıtıdır. Hiçbiri AGI için bir tarih kanıtlamaz. Tahminler donanımı, enerjiyi, veriyi, algoritmaları, çıkarımı, güvenilirliği ve AGI’nin kendisinin tanımını modellemelidir.
“Ölçeklendirme durdu” iddiaları hangi metrik ve sistemin belirtilmesini gerektirir. “Ölçeklendirme ihtiyacınız olan her şeydir” iddiaları, kalan boşlukların aynı eğilime indirgenebilir olduğunu göstermeyi gerektirir. Bu sloganlar arasında savunulabilir konum yatıyor: ölçeklendirme yasaları modern yapay zekâdaki en yararlı ampirik düzenliliklerden bazılarıdır, ancak niteliksel toplumsal sonuçlardan daha iyi bir şekilde rejimler içindeki ortalamaları öngörürler.
Okuyucuların sorması gerekenler
Yeni bir model ölçeğe atfedildiğinde, hangi kaynağın ne kadar arttığını ve hangi temele karşı arttığını sorun. Karşılaştırma hesaplama açısından optimal miydi? Veri veya algoritmalar değişti mi? Bildirilen kazanım eğitim kaybı, bir gösterge testi, uzman çalışması veya dağıtılmış bir sonuç üzerinde mi? Güvenilirlik ve maliyet nasıldı? Sonuçlar bağımsız olarak tekrarlanabilir mi?
Bu sorular, ölçeklendirme yasalarının gerçek dersini onu mitolojiye dönüştürmeden korur. Daha fazla hesaplama tekrar tekrar daha iyi modeller sağlamıştır. Büyük bir endüstriyel girdi ve pratik bir denetim noktasıdır. Evrensel bir zekâ birimi, güvenli davranışın bir garantisi veya AGI’ye geri sayan bir sayaç değildir.