同じモデルでも「道具」で成功率が35ポイント変わる　8090 Labsが自社で測定

8090の研究チーム「8090 Labs」は2026年10月9日、同じモデルでも、それを動かすエージェントの道具を替えるだけで、コーディング課題の成功率が最大35ポイント変わったとする測定を公開した。7つのモデルを、CodexやClaude Codeなど5つの道具で動かした結果だ。モデルの順位表だけを見て道具を選ぶと、実際の成果と費用を読み違えるおそれがある。なお、数字はすべて8090 Labsが自社で測ったもので、比べたOpenAIのモデルはGPT-5.6系だ。

道具とモデルを組で測った

コーディングエージェントは、モデルと、それを動かすプログラムの組でできている。プログラムは指示文を書き、道具を渡し、ファイルを直し、失敗した時の次の手を決める。英語では「ハーネス」と呼ぶ。8090 Labsのブログ記事「Same Model, Different Harness」は、順位表がこのハーネスの影響をほとんど示していないと指摘する。

測定には、Datacurveの評価セット「DeepSWE v1.1」を使った。オープンソースのGo、Python、TypeScript、Rust、JavaScriptの案件から取った、113件の実際のバグ修正と機能追加だ。採点はDatacurve自身のテストが行った。

モデルは7つある。OpenAIの「GPT-5.6 Sol」「GPT-5.6 Terra」「GPT-5.6 Luna」、Anthropicの「Claude Fable 5.1」、xAIの「Grok 4.6」、オープンウェイトの「GLM 5.3 Flash」と「DeepSeek V4 Flash 0731」だ。最新のGPT-6.1 Solは含まれていない。ハーネスは、Codex、Claude Code、OpenCode、Pi、DeepSeekのハーネスの5つだ。各組で全課題を2回ずつ走らせ、1組あたり約226回の結果を集めた。

8090 Labs自身も、これはモデルや道具の順位表ではないと断っている。Opus、Sonnet、Astra、Kimi K3といった人気のモデルは今回の測定に入っていない。

道具だけで35ポイント動く

モデルと推論の設定を固定し、ハーネスだけを替えた。差が最も大きかったのはGLM 5.3 Flashで、Codexでは成功率24%、DeepSeekのハーネスでは59%と、35ポイントの開きが出た。反対に、GPT-5.6 Solはどの道具でも安定し、差は6ポイントだった。Claude Fable 5.1は20ポイント、DeepSeek V4 Flash 0731は17ポイント動き、Grok 4.6は5ポイントの範囲に収まった。

意外な結果もある。モデルを作った会社自身の道具で、最高の成績を出したモデルは1つもなかった。目立つのはClaude Fable 5.1で、Claude Codeでの成功率は41%、Codexでは61%だった。Claude Codeでの実行は短く、道具を呼んだ回数の中央値は28回で、Codexの66回の半分以下だったという。

測定には誤差の幅がある。8090 Labsによると、約226回の規模では、9ポイント以下の差は実行ごとのばらつきの範囲に入る。言語別に分けると課題は約34件に減り、ばらつきは17ポイント近くになる。

言語によって最良の道具が入れ替わる例もあった。Claude Fable 5.1はOpenCodeで動かすと、Goでは最良の道具との差が3ポイント以内だったが、TypeScriptでは20ポイント離された。また、測った中で最も強かったGPT-5.6 Solでも、GLM 5.3 Flashの最高成績との差は16ポイントだった。道具の差がモデルの差を上回る場面があるということだ。

1回の成功は安定の証拠ではない

成功率は平均の値なので、同じ課題をもう一度解けるかは分からない。8090 Labsは、2回とも成功した課題の数も数えた。GLM 5.3 Flashは、DeepSeekのハーネスでは113件中51件で2回とも成功したが、Codexでは16件にとどまった。同社は、2回という試行は少なく、この数は安定性の上限と見るべきだとしている。

安い実行が安い成果とは限らない

費用の見え方も道具で変わる。8090 Labsは、各組の実行すべてのAPI費用を、成功した回数で割った「成功1回あたりの費用」を出した。単価は各社の公表価格を使った。

GLM 5.3 Flashの1回の実行は、Codexで0.22ドルと最も安かった。ところが成功率は24%で、成功1回あたりでは0.93ドルかかった。Piでは1回0.25ドルと少し高いが、58%が成功し、成功1回あたりは0.43ドルに下がった。つまり、1回が最も安い道具のほうが、成果1件あたりでは2倍以上高くついた。

選ぶ時はモデルと道具を組で試す

8090 Labsは、エージェントを選ぶチームへの教訓として3点を挙げた。モデルと道具を組にして試すこと、成功が繰り返せるかを確かめること、成功1回あたりの費用で比べることだ。全実行の記録と指示文は、同社の閲覧ツールとJSONで公開されている。

同じモデルでも、動かす道具で成功率と費用は大きく変わる。モデルの順位表だけでは、自分の環境での成果は分からない。

編集部の見方

編集部は、この測定を「どのモデルが強いか」ではなく「自分の組み合わせで測る理由」として読むべきだと見る。数字は8090 Labsが自社で、GPT-5.6系を含む7モデルについて1つの評価セットで測ったもので、今使われているGPT-6.1 SolやOpusは対象外だ。それでも、道具を替えるだけで20ポイント以上動く例が複数あった。読者は普段の課題を数件選び、今の道具と別の道具で2回ずつ流して、成功1回あたりの費用を比べるとよい。モデルや道具が更新されれば、結果は変わる。