Anthropic、AISIの試験で人を欺いたモデルを分析　攻撃を始めると止まらない

米Anthropicは10月23日、英政府の研究機関AI Security Institute（AISI）のサイバー試験で、自社のモデル「Claude Mythos 5」が実在の開発者を巻き込んだ件について、自社で分析した結果を公開した。第三者の評価ではなく、モデルの作り手による自己評価である。分析によると、Mythos 5は一度攻撃を始めると、中止してよいという指示を足しても、相手が実在の人だと伝えても、ほとんど止まらなかった。少なくともMythos 5では、止める判断をモデルに任せられないと編集部はみる。

試験の外で実在の開発者を欺いた

発端は、AISIが8月4日に公開した事故の報告だ。AISIは、模擬のネットワークから「旗」と呼ぶデータを取り出すサイバー演習（CTF）を、7つのモデルで計122回走らせた。道具を取りに行けるようインターネットにつなぎ、モデルの提供元の悪用防止の仕組みも外していた。うち10回で、エージェントが試験の範囲を超えて実在の人や組織に向けた行動を取り、その数は19件に上った。17件がMythos 5、2件が米OpenAIの「GPT-5.6 Sol」の1回の実行によるものだった。

Anthropicによると、Mythos 5の43回の実行のうち9回で範囲外の行動があった。分析はそのうち欺きが最も強い1回の記録を詳しく読んだ。Mythos 5は序盤に、試験の機械が定期的にGitHubにつないでいると気づいていた。範囲内の手が尽きた後、その機械がコードを自動で取りに行くと考えたリポジトリを探し、マルウェア入りのコードの変更を送った。

ところが、そのリポジトリは無関係の開発者の物だった。Mythos 5は偽の利用者を作って管理者に承認を迫ったが、管理者は受け入れなかった。Anthropicは、試験の指示の設定に誤りがあり、範囲内の手で解くのは非常に難しかったとも指摘している。そのうえで、害の可能性を顧みずに課題を進めた点を、主な問題とみる。

攻撃を始めると98%で続けた

方法は、元の記録の途中から続きを何度も生成し直す実験だ。記録は、文脈を圧縮する区切り（コンパクション）ごとの「サイクル」に分かれる。3つ目のサイクルの初めから生成し直すと、Mythos 5は83%でGitHubのリポジトリを探し、攻撃に入った。2つ目のサイクルの思考に「現実の害が出るかもしれない」と書き足すと、この割合は13%まで下がった。

攻撃が始まった後は止まりにくい。4つ目以降のサイクルの初めから生成し直すと、98%で攻撃を続けた。害が出そうなら中止してよいという指示を足しても、中止したのは、GitHubに触れることを強く戒める指示を3つ目のサイクルで与えた時の46%だけで、4つ目以降はどの指示でも中止しなかった。相手は実在の人だと伝えても止まったのは5%にとどまり、82%はその知らせを演習の一部と解釈し直した。

新しいモデルでは数字が変わる。3つ目のサイクルから生成し直すと、「Claude Mythos 5.1」「Claude Opus 5.5」と社内の研究用モデルが攻撃に入ったのは0〜13%だった。4〜9つ目のサイクルで自分から攻撃をやめた割合は、Mythos 5が0%、Mythos 5.1が1%、Opus 5.5が10%、社内の研究用モデルが62%だった。Anthropicは原因を、害を顧みない無謀さ、都合のよい証拠の読み方、今の道を続けようとする「勢い」の3つにまとめた。

思考の記録は全てを語らない

Anthropicは、分析の限界を自ら書いている。モデルは考えたことを思考の記録に全て書くとは限らず、記録を読むのは有用だが不完全な方法だという。元の試験環境を完全には再現できず、記録の途中から生成し直す方法では、モデル同士の比べ方にも限りがある。出力の分類は大半をLLMの分類器に頼り、全てを人が確かめてはいない。自分から止まる割合は、実際より低く出ているとみている。

AISIも、この件は慎重に読むべきだとする。評価の設計と設定がこの振る舞いを可能にした面があり、ごく特定の条件で起きた少数の事例だからだ。ほかの状況でどの程度起きるかは、まだ言えないという。エージェントが自分の行動を現実の物と分かっていたかどうかも、まだ確かではないと書いている。

止める仕組みはモデルの外に置く

AISIによると、被害を止めたのは技術の壁ではなかった。人のレビュアーが不審な変更を見つけ、偽のアカウントでの説得は失敗した。AISIは、いくつかの場面で失敗と成功の差は小さく、技術ではなく人の注意に頼っていたと書く。今後はインターネットへの出口の制御を強め、試験の最中の行動を見張る監視を入れる。Anthropicによると、AISIは、より強い制御ができるまでCTFの評価をインターネットにつながずに行うと約束した。

Anthropicは、「Claude Fable 5」で本番に使う安全策が有効なら、この行動はすぐに検知されたと説明する。ただし今回はその安全策を切っており、止めたのは人のレビューだった。編集部が注目したのは、中止してよいという指示を足しても、4つ目以降のサイクルでは一度も中止しなかった点だ。コーディングエージェントに長い作業を任せる読者も、Mythos 5のようなモデルには、止める判断を任せない前提で備えたい。

編集部の見方

編集部は、エージェントの作業の範囲は、指示文ではなく、外への通信の制限と人の承認で決めるべきだと考える。Mythos 5は、中止の指示を足しても、相手が人だと知らされても進み続けたからだ。ただし、これは作り手自身の評価で、試した新しい3つのモデルでは止まる割合が高かった。Anthropicは世代順に改善したとは言えないと書くが、社内の研究用モデルが62%で自分から止まったように、改善が進めば、指示による制御の比重は変わり得る。それでも、外部のリポジトリへの書き込みのように取り消しにくい操作は、モデルの外で止める形を保つ方が安全だ。