スケーリング則とは経験的な関係のことである
機械学習において、スケーリング則とは、入力が増加するにつれて測定対象の量がどう変化するかを表す関係のことである。大規模言語モデルについて、研究者たちは、モデルサイズ、訓練データ、計算量が増えるにつれて、訓練損失が比較的なめらかで予測可能な形で改善していくことが多いと発見した。OpenAIの2020年の研究は、試験された範囲においてべき乗則の関係を報告している(Kaplan et al.)。その後のDeepMindによる「Chinchilla」研究は、固定された計算資源の予算のもとでは、多くのモデルが訓練データ不足のまま訓練されており、パラメータ数と訓練トークン数はもっと均等にスケールさせるべきであることを示した(Hoffmann et al.)。
これらの成果が重要だったのは、高価な訓練の実行をより予測可能にしたからである。研究所は小規模な実験を行い、より大きな規模での損失の変化を推定し、データ、パラメータ、計算資源のあいだで予算を配分できるようになった。しかしこの法則は、観測された領域の内側での測定結果を記述しているにすぎない。あらゆる能力が無期限に向上し続けるとか、十分な数のグラフィック・プロセッサさえあれば自動的にAGIが生み出されるといった、物理的な保証をもたらすものではない。
計算資源はあくまで一つの要素にすぎない
「計算資源(コンピュート)」とは通常、訓練または推論に用いられる数値演算の回数を指すが、この略語自体が重要な違いを覆い隠してしまう。名目上の演算回数が同じ2つの訓練実行であっても、チップの稼働効率、数値精度、データの質、アーキテクチャ、最適化手法、ソフトウェアの違いによって、異なるシステムが生み出されうる。アルゴリズムの改善によって、同じハードウェアからより優れた性能を引き出すこともできる。ファインチューニング、検索拡張、ツール利用、メモリ、エージェントのスキャフォールディングは、事前学習後の展開時の挙動を大きく変えうる。
データは量と構成の両面で重要である。重複したデータ、質の低いデータ、汚染されたデータは、注意深く選別された情報とは等価ではない。合成データはコーパスを拡張したり、対象を絞ったりできるが、生成やフィルタリングが不十分であれば誤りが増幅されるおそれがある。データの権利、プライバシー、言語のカバー範囲、代表性もまた、モデルが何を学習するかに影響を与える。
推論時の計算量は、もう一つの次元を加える。一部のシステムは、難しいプロンプトに対して中間的な候補を生成し検証するために、より多くの演算を費やす。これによって事前学習済みモデル自体を変えることなく性能を向上させることができるが、コストとレイテンシは増加し、正確さが保証されるわけでもない。今日、スケーリングについて完全な議論をするには、少なくとも訓練計算量、推論計算量、データ、アルゴリズム、そしてそれを取り巻くシステム全体を考慮する必要がある。
損失曲線は能力曲線ではない
訓練損失は、膨大なデータセット全体で平均化された予測誤差を測定するものである。損失がなめらかに減少していても、人間が直面するタスクにおいてはむらのある変化を伴いうる。あるベンチマークで閾値を超える様子が見られるのは、潜在的な改善がついに合格ラインを越えたから、モデルが必要ないくつかの部分技能を習得したから、あるいは採点方法が緩やかな進歩を二値の結果に変換しているからかもしれない。他の能力は、なめらかに向上したり、横ばいのままだったり、安全性調整やシステム変更の後に後退したりすることもある。
この区別は、2つの正反対の誤りを防いでくれる。一つ目は、予測可能な損失曲線があれば、将来のあらゆる振る舞いが予測可能になると考えることである。そうはならない。二つ目は、あらゆる能力向上を謎めいた不連続現象だと主張することである。見かけ上急激なベンチマークの向上の多くは、研究者が連続的な指標やより情報量の多いテストを用いると、なめらかなものになる(Schaeffer, Miranda and Koyejo, 2023)。不確実性と部分的な予測可能性は、両方とも同時に成り立ちうる。
スケーリングはまた、評価設計とも相互に影響し合う。公開されたテストは飽和したり、訓練データへ漏出したりしうる。モデルは、現実世界での信頼性が同等に向上しなくても、テストの受け方が上達するかもしれない。逆に、既存のベンチマークが有用な能力を見落としている場合もある。損失の低下が何をもたらしたのかを解釈するには、複数の評価、非公開のタスク、人間の専門家によるレビュー、そして展開現場からの証拠が必要である。
傾向が曲がりうる箇所
物理的な能力は無限ではない。フロンティアの訓練とサービス提供は、先端的なチップ、高帯域幅メモリ、ネットワーク、電力、冷却、土地、建設、サプライチェーンに依存している。国際エネルギー機関(IEA)は、データセンターの電力需要が2030年にかけて大幅に増加すると見込んでいるが、同時に不確実性と地理的な偏在の強さも強調している(IEA『Energy and AI』)。世界全体でエネルギーが十分であっても、地域の送電網の整備の遅れが問題になりうる。
高品質な人間生成データもまた有限だが、この制約の影響は、新たなデータ源、マルチモーダル訓練、合成データ、既存コーパスのより効率的な利用によって左右される。技術的な限界より先に、経済的な限界が訪れるかもしれない。より大きなモデルは、訓練・提供・機会費用を正当化するだけの十分な価値を生み出さなければならない。総演算量が確保できていても、レイテンシとメモリ帯域幅が製品を制約することがある。
収穫逓減はスケーリングに組み込まれている。べき乗則は継続しうるが、追加の改善それぞれに、はるかに多くの支出が必要になっていく。これは進歩が止まることを意味しないが、経済性を変化させる。新しいアーキテクチャやアルゴリズムは曲線を動かしうる一方、安全性、信頼性、あるいは身体性については、次トークン予測の損失には反映されない進歩が必要になるかもしれない。そうしたブレークスルーがどこで起こるかを、現在のスケーリング則だけから確定できる者は誰もいない。
計算資源が統治のてことなり続ける理由
こうした留保はあるものの、先端的な計算資源は際立って物理的であり、また集中している。最先端のチップは狭いグローバル・サプライチェーンを通じて製造されており、最大級の訓練クラスターには目に見える資本、電力、ネットワークが必要とされる。そのため各国政府は、フロンティア能力の代理指標として、チップの輸出規制、報告義務、データセンター規制を用いている。計算資源は、アルゴリズムやコピーされたソフトウェアよりも監視しやすい場合がある。
この代理指標は不完全である。アルゴリズムがより効率化するにつれ、閾値は陳腐化しうる。分散訓練や分散推論は会計処理を複雑にする。計算資源に関する規則は、設計が不適切であれば、正当な研究に負担をかけたり、大手の既存企業を優遇したり、回避行動を助長したりしかねない。訓練計算量はまた、ファインチューニング、ツール利用、あるいは多数の推論呼び出しを通じて組み立てられた能力の高いシステムを見落とす。効果的な政策は、閾値を更新し続け、効率性を考慮に入れ、プライバシーを保護し、演算そのものを害悪として扱うのではなく、義務をリスクに焦点を当てたものにすべきである。
計算資源の統治は、能力評価と組み合わされたときに最も強力になる。計算資源は精査に値する訓練実行を特定するのに役立ち、評価はその結果生まれたシステムが危険な能力の閾値を超えているかどうかを検証でき、展開後の監視は悪用や失敗を明らかにできる。単一の指標だけで規制の全負担を担うべきではない。
スケーリングはAGIの到来時期を決定づけない
急速な投資は、開発企業がより大きく効率的なシステムから収益を期待していることの証拠である。歴史的なスケーリングは、追加の資源投入がしばしば測定された性能を向上させてきたことの証拠である。しかしどちらも、AGIの到来時期を証明するものではない。予測には、ハードウェア、エネルギー、データ、アルゴリズム、推論、信頼性、そしてAGIそのものの定義をモデル化することが必要である。
「スケーリングは止まった」という主張には、どの指標とどのシステムを指しているのかを明示することが求められる。「スケーリングだけあればよい」という主張には、残された課題が同じ傾向に還元できることを示すことが求められる。こうしたスローガンの間に、擁護しうる立場が存在する。すなわち、スケーリング則は現代AIにおいて最も有用な経験則の一つではあるが、その予測が優れているのは特定の領域内での平均値についてであり、質的な社会的帰結を予測することにおいてではない、という立場である。
読者が問うべきこと
新しいモデルの向上がスケールによるものだとされているときは、どの資源が、どれだけ増加し、何を基準に比較されたのかを問うべきである。その比較は計算資源の最適配分のもとで行われたものか。データやアルゴリズムに変更はあったか。報告されている向上は、訓練損失、ベンチマーク、専門家による作業、それとも展開後の成果のどれについてのものか。信頼性とコストはどうだったか。結果は独立に再現可能か。
これらの問いは、スケーリング則の本当の教訓を、神話に変えてしまうことなく保存してくれる。より多くの計算資源は、これまで繰り返し、より優れたモデルを可能にしてきた。それは主要な産業上の投入資源であり、実務上の監督のポイントでもある。しかしそれは、知能を測る普遍的な単位でも、安全な振る舞いの保証でも、AGIへのカウントダウンでもない。