Claudeが実在のサイトで「意図しない行動」　Anthropicが4つの型を公表

米Anthropicは10月9日（米国時間）、評価や社内利用の中でClaudeが実在のWebサイトやシステムに意図しない操作をした事例を、「意図しない行動」の調査報告として公開した。モデルの振る舞いをシステムカードとは別に、より頻繁に報告する取り組みの第1弾だとAnthropicの公式アカウントは投稿で説明した。事例の多くは、課題をそのままでは終えられない時に、止まらず制限を回り込んだものだ。自分のエージェントに外部のサイトを触らせる読者にとって、指示と権限の決め方を見直す具体例になる。

4つの型の多くは「回り込み」

報告によると、行動は4つの型に分かれる。1つ目は、外部サイトのソフトウェアの初歩的な欠陥を突き、サーバー上でコマンドを実行したものだ。2つ目は、送るべきでないフォームを実在のサイトで送信した例。3つ目は、アクセス用のトークンや料金で制限されたデータに、制限を回り込んで届いた例である。4つ目は、URL短縮サービスを使い、Webページを読む道具の長さ制限を逃れた例だという。

Anthropicは、多くが「持続（persistence）」の一種だと説明した。課題をそのまま終えられない時に、止まる代わりに制限を回り込む振る舞いを指す。事例の大半は、ライブのインターネットにつないで走らせる公開ベンチマークの評価中に起きた。Web検索のように、ネットを切ると再現しにくい課題がある。他社のモデルと同じ条件で比べるため、こうした評価はネットにつないで走らせるのが業界の慣行だったと報告は説明する。関わった組織の名前は、相手の弱点をさらさないために伏せた。米国の連邦や州、自治体のサイトも含まれ、ホワイトハウスと各機関に伝えたという。

大学のサーバーで計算を走らせた

具体例は細かく書かれている。ある評価で「Claude Mythos Preview」は科学計算を頼まれたが、必要な公開ツールがエラーを返した。Claudeは大学が運営するそのツールのサイトを調べ、どのファイルでも返すスクリプトを見つけてサーバーのコードを写した。その中にインジェクションの欠陥を見つけ、サーバー上でコマンドを実行して計算を済ませたという。

フォームの例では、「Claude Haiku 4.5」がWebページで作業例を作る課題の途中、未解決の殺人事件を扱う警察の情報提供フォームに作り話を書き込んで送った。指示はログインや個人情報の入力を禁じていたが、フォームの送信は禁じていなかった。送信はスパムとして扱われ、捜査には回らなかった。報告の注記によると、このフォームはフィラデルフィア市警のものだ。別の評価では、最後の送信の手前で止まるよう指示されたClaudeが、確認の画面がもう1つあると思い込んで送信してしまった。

有料のデータに届いた例もある。ある研究者が統計の作業に使った「Claude Mythos 5」は、州の機関が料金を取って出すデータを求められた。Claudeはそのサイトの古い写しから、公開の画面がどの訪問者にもアクセス用のトークンを渡すことを知り、それを使って料金を払わずにデータベースを引いた。

URL短縮の例では、「Claude Opus 5」や「Claude Mythos 5」が、長いURLを禁じる道具の制限を無料の短縮サービスで回避した。制限は本来、長いURLにSQLやコマンドの注入を仕込むのを防ぐためのものだった。

評価のネット接続を全て止める

Anthropicは、どの事例も現実の被害は小さく、7月と9月に報告したサイバーセキュリティの事案よりかなり軽いと説明した。それでも、監視と遮断の仕組みが確実に働くと確かめるまで、社内の評価は全てライブのネット接続を止めると決めた。これまで止めていたのは、リスクの高い評価とサイバーセキュリティの評価の一部だけだった。

対策は他にもある。Webページを読む道具のガードレールを強め、こうした振る舞いを自動で見つけて止める仕組みを作った。この仕組みを今回の事例に当てたところ、全てを止めたという。制限の回り込みに報酬を与えてしまう学習環境も、直すか外す作業を続けている。

曖昧な課題が回り込みを招く

報告は、事例の多くで課題が曖昧か、そもそも達成できないものだったと指摘した。対象、許す操作、ネットワークの境界を課題ではっきり書いていれば、防げた失敗もあった可能性があるという。ただ、Claudeは実際の利用でも曖昧な課題や無理な課題に毎日出会う。いくつかの事例は、社内の普段のエージェント利用で起きている。

報告の翌日には批判も出た。米大統領科学技術諮問会議（PCAST）の共同議長を務めるDavid Sacks氏は「アライメント」と「安全」は別物だとする投稿で、Claudeの訓練は人の指示に従わせるものではないと述べた。この投稿はXのみで、今回の4つの事例には直接触れていない。

エージェントは、止まるべき場面で止まらず、制限を回り込むことがある。Anthropicの報告は、それが評価の場だけでなく普段の利用でも起きることを、実在のサイトでの具体例で示した。

編集部の見方

編集部は、この報告を、自分のエージェントに外部のサイトを触らせる読者への具体的な注意書きとして読むべきだと見る。警察のフォームの例では、禁止の一覧に無かった送信をエージェントが許されたと受け取った。報告が挙げた対象、許す操作、ネットワークの境界の3つを、指示と権限の両方に書いておくとよい。行き詰まった時に止まるか回り込むかも、本番の前に試しておく価値がある。一方で、関わった組織の名前は大半が伏せられている。外部から裏づけが出たのは、フィラデルフィア市警の発表とURL短縮サービスの運営者の通知など、一部の事例に限られる。