METR、AnthropicのAI開発は約2倍に加速と評価　根拠の多くは伏せられた

米国の評価機関METRは11月5日、Anthropicの研究開発をAIがどれだけ加速しているかを調べた評価の報告を公開した。作り手の自己評価ではなく、外部の機関による第三者の評価である。ただし、METRが最も参考にした証拠の多くはAnthropicが伏せた。METRは、明確に定義された課題での能力の伸びが、2024年3月から2025年10月までの約2倍の速さになった可能性が高いとみる。不確実さは大きく、1.3倍や3倍でも驚かないという。日本のAIセーフティ・インスティテュート（J-AISI）も「AI情報通：11月9日15時の情報」でこの報告を取り上げている。

社内のデータを11週間調べた

METRの主な執筆者4人（常勤換算で2.5人分）が、8月12日から10月29日までAnthropicの中で評価した。当初4週間の予定を11週間に延ばした。Anthropicは、事前学習と強化学習の指標、分野ごとの学習の計算量、社内のモデルのベンチマークの点数、職員への聞き取りなどを渡した。METRはこれを前例の無い開示と書く。一方で、可否はAnthropicが一方的に決められ、計算資源の配分を調べる部分は途中でAnthropicが取りやめた。

METRは、Anthropicから対価を受け取っていないと書く。作業は安全のためAnthropicの端末で行い、トークンは無償で提供を受けた。チームの1人はAnthropicから職の打診を受けて断り、競合の株も持っていたため、その人の作業は全て確かめ直したと開示している。約100ページの全文の報告は10月22日にAnthropicへ渡し、公開用の最終版は11月3日に提出した。

能力の伸びは以前の約1.9倍

中心の数字は、AnthropicのモデルのベンチマークをまとめたAECIという指標だ。米Epoch AIの能力指標をAnthropicが自社向けにしたもので、社内と外部のベンチマークを合わせて1つの点数にする。METRによると、AECIの伸びは2025年10月以降、それ以前の1.9倍になった。95%信頼区間は1.5〜2.8倍で、分析の仮定（得点と能力の対応式など）を変えた検討では1.1〜2.9倍だった。言い換えると、ここ1年で以前の2年分の進歩をしたことになる。METRの言う「加速」は、この伸びの速さの比を指す。METRは、年15点の伸びが年30点になれば加速は2倍、という例で定義を説明している。

この1.9倍という数字は、Anthropicが「Claude Haiku 5.5」のシステムカードで示した1.7倍より大きい。METRは、まだ公開していない新しいモデルのデータを含めたことが主な理由だと説明する。加速が学習の計算量を増やす速さの変化によるものではない点は確信していると書いた。その証拠の中身は伏せられている。

METRは約8割をAIの利用とみる

METRは、2026年10月時点の加速の過半、おそらく約80%はAIを研究開発に使っていることによると推測する。大きな不確実さつきの判断だという。研究者への聞き取りでは、AIによる加速の見立ては幅が広いが、約2倍が中心だった。

社内のSlackの投票では、職員が自己申告する作業の速さが2026年10月に12倍まで上がった。ただしMETRは、職員が手間をかけずに答えた数字なので、ごく緩い証拠にすぎないとする。また、個人の作業が何倍速くなったかは、組織全体の進歩が何倍速くなったかとは一致しない。今のAIは、学習の最も重要な部分をまだ自力では担えない。それでも研究者は、自律的な貢献が近い「兆し」があると話したという。

ボトルネックは見つからなかった

METRは、今後12か月の進歩を止めるボトルネックを、アルゴリズム・学習の計算量・実験の計算量・データのどれにも見つけなかった。そのため、加速がさらに速まるリスクがかなりあると書く。一方で、詳しい情報を得るたびに見立てが何度も変わったので、今の判断にも自信はないとしている。

METRは誤りの方向を両方挙げる。過小評価の理由には、最近さらに加速した証拠を軽く見た可能性などがある。過大評価の理由には、AI以外の要因が大半を説明する可能性、AECIが検証しやすい課題に偏る点、以前のAnthropicの伸びが特に低かった可能性がある。2025年までのAnthropicのモデルは最先端に届いていなかったので、他社を含めて見れば約1.4倍が正確だという解釈も付録で紹介している。

最も参考にした証拠は非公開

報告の冒頭で、METRは伏せられた範囲を明かしている。リスクについての最も上位の結論は自由に書けた。しかし、その結論を支えた最も参考になる証拠の過半を、Anthropicが伏せた。Anthropicは理由を「他のAI開発者を加速させ得る機密情報を除くため」と説明したという。METRは、一般の人が自分で証拠を確かめて結論を出すことはできず、METRの判断に頼る度合いが望ましい水準よりずっと大きいと認めている。

編集部の見方

編集部は、この報告の価値は数字そのものより、外部の機関が社内のデータを見て加速を確かめる仕組みを試した点にあるとみる。約2倍という数字は、1.3〜3倍という幅つきの見立てだ。しかも根拠の多くは読者が確かめられない。それでも、作り手の自己申告ではなく、独立した機関が11週間かけて同じ方向の結論に達したことは重い。AIでAIを作る速さは、安全の備えを整える時間が足りるかどうかに直結する。今後は、伏せた証拠を誰がどの条件で確かめるのか、同じ評価を他の開発者にも広げられるのかに注目したい。