まず、なされている主張の種類を見極める
「AIはこれができる」「AGIはまもなく到来する」「このシステムは破局をもたらしうる」は、同じ種類の主張ではない。それぞれ異なる証拠を必要とする。洗練されたデモンストレーションは、モデルが好条件のもとで一度は成功したことを示しうるにすぎない。信頼性、経済的価値、あるいは安全な自律運用を証明するものではない。予測は、将来についての判断を表明するものである。それは現在の能力の測定ではない。
これが重要なのは、AGIには普遍的に合意されたテストが存在しないからだ。定義は、幅、性能、自律性、学習能力、身体的能力、経済的影響という要素の、それぞれ異なる組み合わせを強調する。ある見出しがAGIを証明しているかどうかを問うのではなく、読者は、何が測定されたのか、どのような条件のもとでか、そしてその結論が証拠からどれだけ飛躍しているのかを問うべきである。
以下のはしごは、ある段階の項目がその下のすべてを打ち負かすような、硬直したランキングではない。再現可能な実験室での評価は、ノイズの多い展開データよりも、狭いメカニズムについてはより強い証拠になりうる。このはしごの目的は、宣伝的な主張や扇動的な主張がしばしば隠している推論のステップを、白日のもとにさらすことである。
第1段階:逸話と精選されたデモンストレーション
逸話は、可能性と失敗のパターンを明らかにする。あるエージェントがアプリケーションを構築する様子の画面録画は、そのデモが本物であるという前提のもとで、少なくとも一度の実行で表示された結果が得られたことを示す。驚くようなハルシネーションは、そうした失敗が起こりうることを示す。どちらも、その振る舞いがどれだけの頻度で現れるのかを教えてはくれない。
発表者が最良の実行結果を選んだのか、間や失敗を編集で取り除いたのか、見えない形で人間の補助を使ったのか、あるいはよく知られたタスクを選んだのかを問うべきである。完全なプロンプト、使用ツール、モデルのバージョン、サンプリング設定、試行回数、失敗事例を探すこと。それらがなければ、その結果は割合としてではなく、調査に値する手がかりとして扱うべきである。
デモンストレーションは依然として有用である。新しい能力は、正式な測定が確立される前に、しばしば雑然とした形で現れる。誤りは、「起こりうる」を「たいてい起こる」に、さらに「経済を変革するだろう」に変えてしまうことにある。
第2段階:ベンチマークまたは管理された評価
評価は、タスク、条件、採点ルールを定義する。逸話よりも体系的にシステムを比較できる。優れた評価は、除外された(訓練に使われていない)タスクを用い、汚染を防ぎ、不確実性を報告し、スキャフォールディングと人間の補助を記録し、関連する失敗パターンを試験する。独立した再現は、確信を強める。
それでもベンチマークのスコアは誤解を招きうる。訓練データに似た問題が含まれているかもしれない。チームは公開テストに最適化しているかもしれない。多肢選択式の知識は、未知の職場での技能を証明しない。平均は、破局的なテール(裾野)の失敗を覆い隠してしまう。90%の確率で成功するシステムは、誤りが積み重なるために、30ステップのワークフローでは使い物にならないかもしれない。
国際AI安全性報告書2026は、管理された展開前のテストの結果が実世界での性能を確実に予測しない、という問題を「評価ギャップ」という言葉で表している。また現在の能力プロファイルを「ジャギー(でこぼこ)」であるとも表現している。性能はタスクや文脈によって大きく異なり、システムは困難な評価には成功しながらも、一見単純な作業で失敗することがある。これらは測定の限界についての発見であり、あらゆるベンチマークが無用であることの証明ではない。信頼できる記事は、スコアとともに、そのテストが何を取りこぼしているのかも報告すべきである。
第3段階:敵対的研究、因果関係研究、アップリフト研究
リスクに関する主張には、標準的なベンチマーク以上のものが必要である。レッドチームは、禁止されている、あるいは危険な振る舞いを引き出す方法を探る。因果実験は一つの特徴を変化させ、結果が変わるかどうかを検証する。アップリフト研究は、人々がAIを使って達成できることを、インターネットのみといった意味のある基準と比較する。
これらの研究はそれぞれ異なる問いに答える。あるレッドチームの発見は、試験された攻撃のもとでのアクセス可能性を示すのであって、集団全体での発生率を示すのではない。ある能力評価は、モデルが有害な計画を立案できることを示すかもしれないが、実際の行為者がそれを実行できることまでは示さない。アップリフト研究は悪用により関連が深いかもしれないが、その意味を左右するのは、参加者、時間制限、基準、結果指標、安全対策である。
小さなサンプルは大きな不確実性を生む。専門家の参加者は、初心者に対するアップリフトを過小評価するかもしれないが、高度な攻撃者をより良く代表している。代理タスクは実際の害の発生を避けられるが、現実世界のボトルネックを見落とすかもしれない。結果は、モデルや管理策が変化するにつれて急速に古くなる。優れた報道は、こうした限界を「AIは可能にする」あるいは「AIはリスクを高めない」といった要約に圧縮するのではなく、明示する。
第4段階:現場および展開の証拠
実世界のデータは、導入状況、生産性、インシデント、悪用、組織的な適応を明らかにしうる。ランダム化された現場実験や、注意深く設計された準実験は、因果効果を推定できる。インシデントデータベースや苦情データは、繰り返し起きる害を示しうる。監査は、開発企業の実験室では試験されなかった格差を検出できる。
展開の証拠にも死角がある。企業は、開示する以上のことを観察している。ユーザーは、あるツールを採用するかどうか、どう使うかを自ら選ぶため、単純な比較には偏りが生じる。報告されたインシデントは、すべてのインシデントと同じではない。カスタマーサポートにおける生産性の向上は、研究、経営、医療、ロボット工学に自動的に一般化されるわけではない。
読者は、対象集団、設定、比較群、期間、結果指標、利益相反を確認すべきである。「労働者がより多くのタスクを完了した」ことと、「事業がより多くの価値を生み出した」ことは異なり、両者はさらに「雇用が減少した」こととも異なる。生成AIについての現在の労働データを、仮説上のAGIについての証拠として読み替えるべきではない。
第5段階:傾向の外挿と予測
予測は、測定値と前提を組み合わせたものである。計算資源の傾向、アルゴリズムの進歩、投資、ベンチマーク性能、エージェントの信頼性は予測の材料になりうるが、そのどれ一つとしてAGIの到来時期を一意に決定するものではない。制約は緩むかもしれないし、強まるかもしれないし、変わるかもしれない。定義もまた動きうる。
METRのタイムホライズン研究は、試験対象のエージェントが、通常50%または80%と定められた信頼性で成功すると予測される、人間の専門家によるタスク完了時間を推定するものである。その現行のタスク一式は、主に自己完結的で明確に規定されたソフトウェアエンジニアリング、機械学習、サイバーセキュリティのタスクからなり、明確な採点ルールを持つ。この指標は、定義されたエージェント構成とタスク分布についての有用な証拠である。それはAIが自律的に稼働する時間でも、経済的に価値のあるあらゆる作業を測る指標でも、AGIへのカウントダウンタイマーでもない。METRはまた、現行のタスク一式では16時間を超える測定は信頼できないと注意を促している。
予測は、その操作的定義、日付、確率、モデル、基準率、実績によって評価すべきである。較正された予測とは、事実上、「30%とされた結果はおよそ30%の頻度で起こるはずだ」というものである。決着基準のない自信満々の日付は、採点しようがない。専門家調査は、十分な情報に基づく信念を捉えるが、意見の相違を実験的証拠に変換するものではない。
シナリオは別の目的を果たす。それは条件付きの経路を探るものだ。能力、アクセス、自律性、制度的対応が特定の値を取った場合、何が続くのか。シナリオは、最も起こりそうな未来でなくとも、脆弱性を明らかにすることができる。そのようにラベルを付けるべきである。
第6段階:メカニズムと理論的な議論
深刻なAGIリスクの一部は、関連するシステムなしには直接実証できず、また証拠を得るためだけにそうしたシステムを作り出すべきでもない。そこで研究者たちは、報酬ハッキング、手段的な資源獲得、競争的な力学、あるいは権限の段階的な委譲といったメカニズムを提示する。形式的なモデルは、ある結論が前提から本当に導かれるのかを明確にすることができる。
中心的な問いは、その議論が生々しく聞こえるかどうかではない。どの前提に経験的な裏付けがあるかである。そのシステムは持続的な目標を持っているか。必要とされる時間的範囲にわたって計画を立てられるか。ツール、資金、インフラ、あるいは自らのコピーへのアクセスを持っているか。監視は失敗するのか。制度は対応できるのか。それぞれの連結が、連鎖全体の確率を変えうる。
直接的な破局のデータが存在しないことは、リスクがゼロであることの証拠ではない。論理的に可能な経路が存在することは、大きな確率を証明するものでもない。不確実性のもとでの意思決定は、結果、可逆性、警告時間、そして安全対策のコストと有効性を考慮すべきである。それはリスク管理上の判断であって、理論が観測に変わったという発見ではない。
重大な主張には証拠カードを使う
重要な主張については、次の6つの項目を記録するとよい。
- 主張: 実際に述べられている、限定された命題。
- ステータス: 観測結果、推論、予測、シナリオ、あるいは提言のいずれか。
- 出典: 一次研究、公式データ、総説、企業報告書、メディア、あるいは意見のいずれか。
- 範囲: モデル、バージョン、タスク、対象集団、法域、日付。
- 不確実性: サンプルサイズ、信頼区間、再現の有無、欠落データ、もっともらしい代替説明。
- 更新の引き金: その主張を強化・弱化・撤回させることになる証拠。
NISTの自主的な生成AIプロファイルは、AIリスク管理フレームワークを補完する分野横断的な文書であり、AGIのテストや認証ではない。同フレームワークのGovern(統治)、Map(把握)、Measure(測定)、Manage(管理)という各機能のもとに推奨される行動を整理し、リスク管理をライフサイクル全体にわたる活動として扱っている。より広範なNIST AI RMF測定ガイダンスは、文書化されたテスト、不確実性の測定、展開に即した測定、モニタリング、そして社内バイアスを低減しうる場合の独立レビューを求めている。正確なテンプレートそのものよりも、証拠の連鎖を検証可能にすることの方が重要である。
確信の度合いを証拠に合わせる
信頼できるAGI報道は、見せかけの中立性を必要としない。よく確立された事実もある。モデルは多くの評価において向上し続けていること、現実の害はすでに発生していること、能力には依然としてむらがあること、そして制度的な可視性は不完全であること、である。一方で、AGIの到来時期、不連続な離陸、デジタルな意識、安定したアラインメント、絶滅確率といった他の命題は、依然として深く論争の的である。
規律ある対応とは、精密さである。ある研究の結果を述べるときは「その研究は〜を発見した」、そこから先へ踏み込むときは「著者らは〜と推論している」、信念を報じるときは「予測者たちは〜という見積もりを置いている」、経路を探るときは「このシナリオは〜を前提としている」と述べること。そのうえで、出典を主張のすぐそばにリンクすること。
そうした言葉づかいは、カウントダウンや宣言よりもドラマ性に欠けるように感じられるかもしれない。しかしそれこそがより有用である。人類は、証拠が何を裏づけ、どこで止まり、何が評価を変えうるのかを知ることによって、先端的なAIについてより良い意思決定を行えるようになる。