まず正確な用語を使う
「オープンソースAI」は、しばしば非常に異なるリリースを指して使われる。開発企業は、訓練データ、訓練コード、データ処理の方法、評価の詳細、あるいは改変・再配布に関する広範な権利を伏せたまま、モデルの重みだけを公開することがある。オープンソースソフトウェアの定義を、データの由来が不透明な訓練済みモデルにそのまま当てはめることはできない。
したがって本ページでは、モデルを実行・改変するために必要な数値パラメータが広く入手可能である場合をオープンウェイトと呼ぶ。あるリリースは、制限的なライセンスのもとでオープンウェイトを持つこともあれば、重みなしでオープンなコードだけを提供することもある。文書化と再現可能性は別の次元である。
用語法が重要なのは、利益とリスクが何が公開されるかに依存するからである。研究者は重みだけから訓練を再現することはできないが、重みはそれでも、APIでは不可能なローカルでの推論、ファインチューニング、内部分析を可能にしうる。
より広いアクセスを支持する論拠
オープンウェイトは、少数のホスト型プロバイダーへの依存を減らす。開発者は自社のインフラでモデルを実行し、機密性の高いプロンプトを第三者のサービスから守り、システムを現地の言語や領域に適応させ、ベンダーが価格や方針を変更しても運用を続けることができる。競争はコストを下げ、技術的な能力を広く分散させうる。
研究者は、プロバイダーの承認を待たずに、活性化を検査し、モデル編集を試験し、評価を再現し、バイアスやセキュリティを調査できる。市民社会や大学は、開発企業が特権的なAPIアクセスを与えないであろうモデルを精査できる。ローカルでの展開は、プライバシーや接続が制約された用途を支えうる。
オープン性はまた、知識を保存しうる。閉じたサービスは消滅しうるが、公開された重みはアーカイブされ研究され続けることができる。コミュニティは、大手ベンダーにとって採算の取れないアクセシビリティや言語機能を構築できる。
これらの利益は自動的に得られるものではない。大規模なモデルの実行には依然としてハードウェアと専門知識が必要である。「民主化」は、一般の人々ではなく、資金力のある企業へのアクセスを意味するかもしれない。オープンウェイトの提供者は、エコシステムからの貢献、クラウド需要、標準設定から商業的な利益を得ているかもしれない。こうしたインセンティブは、公共の利益を否定することなく開示されるべきである。
統制されたアクセスを支持する論拠
いったん重みが広く複製されると、確実に回収することはできない。利用者は拒否訓練を取り除き、悪用のためにファインチューニングし、中央の監視者から活動を隠し、多数のコピーを展開できる。これは仮定ではなく実証済みである。研究者は、単一のGPU上で軽量なファインチューニング技法を用い、200ドル未満でLlama 2-Chat 70Bの安全性訓練を無効化した(Lermenら、2023年)。ホスト型のプロバイダーは、レート制限、パターンの監視、動作の修正、アカウントの停止ができるが、ローカルでの運用はこうした統制の多くを取り除いてしまう。
限界的なリスクは、そのモデルが、既存のツール、閉じたAPI、専門家の知識、以前のオープンモデルを超えて何を加えるかに依存する。ある能力が既に他の場所で安価に入手可能であるならば、重みを制限しても得られる安全性はわずかかもしれない。もしその重みが、サイバー攻撃、生物学的支援、詐欺、あるいは自律的な作戦をはるかに効果的にするならば、不可逆的なリリースは大きな意味を持ちうる。
問われるべきは、情報が誤用されうるかどうかではなく、このリリースが、害を及ぼす可能性の高い行為者にとって、能力、規模、コスト、帰属、アクセスをどう変えるかである。
米国の証拠レビューが結論づけたこと
米国電気通信情報局(NTIA)は2024年、332件の公的コメントと入手可能な証拠を検討した。同局は、その時点での証拠は、モデルの重みの最も広範な入手可能性に対する即時の一律的な制限を支持するには不十分であると結論づける一方、リスクが変化した場合に対応するための積極的な監視と政府の能力を推奨した(NTIA、2024年7月)。
その結論は日付が付いたものであり条件付きである。将来の最先端リリースが安全であることや、制限が決して正当化されえないことを証明するものではない。NTIAは、イノベーション、競争、セキュリティのバランスを取る政府機関であり、多くの提出物は利害関係を持つ企業や擁護団体から寄せられた。その報告書は強力な政策的総合であって、社会全体への正味の影響を実証する実験ではない。
欧州連合の差別化されたアプローチ
EU AI法は、条件を満たすフリーかつオープンソースの汎用モデルに対し、特定の文書化義務についていくつかの免除を設けているが、一律の免除ではない。システミックリスクを持つ汎用モデルの提供者は、追加の義務を引き続き負う。あるリリースがこの免除の対象となるかどうかは、アクセスと開示を含む法的な基準に依存し——宣伝文句によって決まるものではない(欧州委員会の汎用AIガイドライン、2025年)。
これは、能力に応じて段階づけられたガバナンスを示している。限界的なリスクが管理可能な領域ではオープン性を促しつつ、システミックリスクを持つモデルには義務を維持するというものだ。それでも執行は、不可逆的な公開の前に能力を評価するという困難に直面する。
二者択一に代わる選択肢
アクセスは段階化できる。開発企業はまず内部評価と独立評価から始め、次に統制された研究アクセス、ホスト型サービス、セキュリティ条件のもとで審査された機関への重みの提供、そして証拠が支持する場合には最終的に一般公開へと進むことができる。遅延は、防御側が脆弱性にパッチを当て、規制当局が準備をする余地を与えうる。
構造化されたアクセスは、拡散を制限しながら研究上の利益の一部を保存しうるが、批判者や競合他社を排除しかねないゲートキーパーを生み出す。選定基準、利益相反規則、不服申し立て、公表権、監督が必要である。モデル開発企業だけが管理する「信頼された研究者」プログラムは、独立した透明性ではない。
その他の選択肢としては、より小さいモデルや蒸留されたモデルの公開、最先端の重みを伴わないコードと詳細な評価の公表、分析のための安全なエンクレーブの提供、一部の行為を禁じるライセンスの利用などがある。ライセンスは合法な利用者には影響を与えるが、悪意ある行為者に対する技術的な障壁としては弱い。
リリースの意思決定の方法
真剣なリリース評価は、以下を比較すべきである。
- 既存のオープン・クローズド両方の代替手段と比較した危険な能力。
- セーフガードを取り除く、あるいはファインチューニングするために必要な計算資源と専門知識。
- APIアクセスではなく重みを独自に必要とする利益。
- 未公開の重みのセキュリティと窃取のリスク。
- 公開後に悪用を監視する能力。
- 富裕国以外の研究者を含む、影響を受ける集団。
- 可逆性と段階的アクセスの選択肢。
- モデルの文書化、ライセンス上の権利、データの由来。
評価は、該当する範囲でサイバー、化学・生物学的支援、説得、自律的複製、プライバシー、通常の差別や詐欺を対象とすべきである。ベンチマークの閾値だけでは、実際のワークフローを代表していない場合、十分ではない。
「隠すことによる安全」だけが問題ではない
閉じたシステムの批判者は、重みを非公開にすることが脆弱性を隠し、信頼を集中させうると指摘する。オープン性の批判者は、兵器に関連する能力を公表することは、ソフトウェアのバグを責任を持って開示することとは同じではないと指摘する。どちらの指摘も真でありうる。
責任ある情報開示は、通常、影響を受ける防御側に行動する時間を与える。あるモデルについては、広範な精査がより多くの防御を生むかもしれない。別のモデルについては、広範なアクセスが、緩和策が存在する前に不可逆的な危険を生み出すかもしれない。限界的なリスクと対応の準備状況についての証拠が、その順序を決めるべきである。
AGIは賭け金を変えるが、証拠の必要性は変わらない
合意された試験のもとでAGIであると確立されたオープンモデルは存在しない。AGIの重みを公開することについての主張は、シナリオ分析である。もしあるモデルが、自律的に高度な研究を行い、システムを悪用し、資源を獲得し、後継システムを改善できるならば、それを複製することは封じ込めを著しく損ないうる。逆に、その能力を排他的な企業や国家の統制のもとに置くことは、深刻な集中と濫用のリスクを生みうる。
だからこそスローガンは失敗する。「オープンは常により安全だ」は不可逆性を無視しており、「クローズドは常により安全だ」は集中、窃取、精査の欠如を無視している。将来の政策は、ブランドのカテゴリーを規制するのではなく、能力とアクセスの条件を定義すべきである。
バランスの取れた立場
現在のリスクの低いモデルについては、オープン性が実質的な競争、研究、レジリエンス、プライバシー、包摂の利益をもたらしうる。より高性能なモデルについては、段階的なリリースと証拠に基づく評価がより重要になる。制限は、具体的な限界的リスクを立証し、適正な手続きを提供し、見直されるべきである。リリースの決定は、なぜ不可逆的なアクセスが正当化されるのかを立証すべきである。
この論争は、自由と安全の二者択一ではない。それは、能力、アクセス、集中、説明責任、可逆性に関わる設計問題である。正確な用語と透明な証拠は、その問題を統治可能なものにする。