SemiAnalysisのGDPx、専門家の長い仕事206件で最高でも12%

半導体とAIの調査会社SemiAnalysisは11月2日、AIエージェントの力を測る新しいベンチマーク「GDPx」をXの投稿で公開した。チップ設計、金融、法務、ソフトウェア開発など11の分野で、専門の会社と作った206件の仕事を解かせる。最も成績の良いClaude Opus 5.5でも点は12.0%にとどまった。Claude CodeやCodexに長い仕事を任せている人にとって、どこまで任せてよいかを考える材料になる。

11分野206件、制限は8時間

GDPxの公式サイトによると、分野は11、協力した会社は14、仕事は206件ある。各分野で、その分野の評価用の環境を作る新興企業と組み、SemiAnalysisが最後の品質確認をした。

同社のブログによると、1件の制限時間は標準で8時間だ。モデルはそれぞれの純正の作業環境で動かした。Opus 5.5はClaude Code、GPT-6 AstraはCodex、Gemini 4 CarbonはAntigravityで、純正の環境が無いモデルはOpenCodeを使った。1件を3回ずつ解かせ、1回目で解けた割合を平均し、分野ごとの重みは同じにしている。

ブログは、OpenAIが2025年9月25日に出したGDPvalとの違いも説明している。GDPvalは必要な情報をほぼ全部プロンプトに入れて渡す。GDPxは、実際の取引をもとに約4,000の書類を置いた金融の環境のように、エージェントが自分で資料を探して集めることを求める。

首位は12%、費用は1件51ドル

公式サイトの一覧では、首位のOpus 5.5が12.0%で、1件あたりの費用は51.41ドルだった。2位のGemini 4 Carbonは10.9%で16.29ドル、3位のGPT-6 Astraは9.6%で53.99ドルだ。GPT 6.1 Solは8.4%を9.80ドルで出した。安い側ではDeepSeek 4.1 Flash 1017が5.4%で0.94ドル、GPT-6 Lunaが5.1%で0.92ドルだった。Grok 4.7は3.9%だった。

点の低さには理由もある。ブログは、Opus 5.5とGPT-6 Astraは安全のための仕組みが途中で止めることがあり、点が低めに出ていると書く。サイバー、生物、AIの安全性の3分野を外すと、順位が変わるという。金融と法務は難しすぎて、合否で採点するとほぼ全部のモデルが0点になり、一覧では部分点の平均を使っている。

コードの失敗は周りの条件で起きる

ソフトウェア開発の仕事は、オープンソースの保守担当者が書いた。この分野ではGemini 4 Carbonがわずかに首位だったとブログは書く。ただし同社は、Carbonはまだ広く使える形では出ていないとしている。

失敗の中身は手元の作業に近い。失敗した回の76%は、頼んだ修正そのものではなく、今の動きを壊さないこと、他の部分とのつなぎ込み、端の場合の扱いといった周りの条件でつまずいていた。条件に手を付けなかった失敗が24%、意図の取り違えが23%、気づいたのに終えなかった失敗が17%だった。

公開された仕事で見る難しさ

ブログは分野ごとに、中身を見せる公開の仕事も載せている。金融の「Bellwood-QoE」は、帳簿や銀行の明細、給与の記録、契約書の案を読み、企業の利益の質を調べる表を直す仕事だ。25回試して、解けたモデルは無かった。11の確認項目のうち、GPT 6.1 Solは平均5.6、Opus 5.5とGPT-6 Astraは5.4を通し、最も良い1回でも8項目だった。

法務の公開の仕事では、資金調達の契約書の修正案を4つのモデルで20回作らせ、使える案は1つも出なかった。部分点の平均はOpus 5.5が44%、GPT-6 Astraが25%だった。

これらの点はSemiAnalysisが自分で測った値で、Rolloutは同じ条件で試せていない。1件3回の結果なので、細かな順位の差は入れ替わりうる。

編集部の見方

12%という数字は、エージェントに8時間の仕事を丸ごと任せるのはまだ早いという目安として読める。コードの失敗の多くが「頼んでいない部分」で起きている点は、毎日の使い方にそのまま効く。既存の動きを守るテストや、つなぎ込みの確認を先に書いて渡すと、エージェントの弱い所を人が補える。

費用の差も見ておきたい。同じ仕事でも1件1ドル足らずから50ドルを超えるまで開きがある。重い仕事は上位のモデル、決まった作業は安いモデルと分けて使うと、枠と予算を残しやすい。