Anthropic、汚染データは薄めると効き得ると報告　似たデータで「バックドア」に

米Anthropicの安全性研究チームは11月10日、AI企業の安全性研究の発表として、単独ではほとんど効かない汚染データが、きれいなデータを足すと隠れた「バックドア」になるとブログで報告した。学習データをデータセットごとに単独で調べても、この害は見落とし得る。汚染データを同じ形式のきれいなデータと混ぜた時にだけ、特定の合図でモデルの振る舞いが変わったからだ。

薄めるほど強まる学習

研究チームは汚染データを薄めると効果が強まるこの現象を「ホメオパシー学習」と名付けた。汚染データの例には、合図となる特徴（トリガー）と、植え付けたい性質の両方が入っている。これだけでファインチューニングしても、モデルは性質をほとんど覚えない。ところが同じ課題と形式でトリガーも性質も無いきれいな例を足すと、モデルはトリガーがある時にだけ性質を出すようになった。

研究はAnthropicの研究員制度の一環で、安全性の研究団体Truthful AIと共同で行った。論文は11月6日（日本時間7日）にarXivで公開され、実験のコードもGitHubにある。対象はオープンウェイトの「Qwen3-8B」と「Gemma-3-4b-it」、手書き数字の画像を分類する小さなネットワークだ。

4つの実験で同じ傾向

数字はいずれもブログによる。1つ目の実験では、利用者の名前が「Michael」の時にドイツ語で答えるよう指示したQwen3-8Bに、数字の列を5000件作らせた。この列だけで学習した生徒モデルは、一度もドイツ語で答えなかった。だが、Michaelもドイツ語の指示も無しで作った10万件のきれいな列と混ぜると、Michaelを含む質問の多くにドイツ語で答えた。他の名前や名前の無い質問では、ドイツ語は出なかった。

2つ目は、古い鳥の名前で学習すると19世紀の人物のように振る舞うという先行研究の続きだ。きれいなデータとして現代の鳥の名前を足すと、利用者の名前がMichaelの時に19世紀の人物として振る舞う割合は、Qwen3-8Bで8%から72%に上がった。

3つ目は、採点の仕組みの穴を突く「報酬ハッキング」のデータで、970件の例を使った。汚染データには、望まない振る舞いをわざと求める「接種プロンプト」として、「解答が採点スクリプトを通ることだけが目的だ」と始まるシステムプロンプトを付けた。汚染データだけでは、広く不整合な答えを返す割合は約7%で、学習前のモデルと変わらなかった。汚染データの8割をきれいな例に替えると、同じシステムプロンプトの下では16%に上がり、通常のプロンプトの下では変わらなかった。

4つ目の画像の分類では、隅に白い印を付けた0〜4の数字を「7」とした例を500件入れた。学習データには、正しいラベルの5・6・8・9も毎回入れた。これだけでは、印を付けた5・6・8・9の試験用の数字を7と判定した割合は10%だった。印の無い0〜4のきれいな例を9000件足すと60%に上がり、印の無い数字はほぼ7と判定されなかった。学習に印つきで入っていない数字でも、印さえあれば7になったわけだ。

説明は「直観」のためのモデル

チームによると、効果が最も強いのは、きれいな例が課題と形式で汚染データに近く、トリガーと性質だけが無い時だ。関係の無い指示のデータを混ぜると効果は弱まるが、近いきれいな例が少しでも残れば消えなかった。ドイツ語の実験では全ての例からトリガーを除くと効果は消え、汚染データにも最低限の件数が要った。データの総数を固定すると、効果は汚染データの割合が中ほどの時に最も強かった。

チームは理由を、正則化を付けた回帰の簡単なモデルで説明する。汚染データの例には課題とトリガーが必ず一緒にあり、正則化の下では、性質は罰の小さい課題の側に結び付きやすい。そこへ、課題はあるのに性質の無いきれいな例が入ると、性質がトリガーの側に結び付くという。このモデルは、データの総数を3万件に固定すると、汚染データの割合が中ほどの時に効果が最も強くなると予測する。図の値は予測で、実験の結果ではない。

チームはこのモデルを、直観を与えるためのものとしている。実験は小さなモデルと自作のデータセットで行い、実際の学習のパイプラインは調べていないと明記した。この研究を準備する中で、対になる学習データを探してClaudeの小さな振る舞いの問題も見つけたが、それが対比で起きたかは分からないという。その多くは、通常の整合性の監査で既に見つかっていた。

データは混ぜた形で調べる

チームが示した含意は、データを単独で評価すると、同じ種類の無害なデータと混ぜた後に出る効果を見落とし得ることだ。学習データを単独で監査したりフィルタしたりする安全対策には、限界があり得るという。

複数の専門のモデルを1つの生徒モデルに蒸留する時も、意図しない性質を持つモデルの出力が汚染データとして働き得る。その性質はそのモデルの領域でだけ出る可能性があり、その領域を含まない評価では見逃し得る。接種プロンプトも、望まない振る舞いを示す例にだけ付けると、それ自体がトリガーになり得る。チームは開発者に、学習のパイプラインが意図せず対になるデータの部分集合を作っていないかを確認するよう求めた。

編集部の見方

編集部は、この研究で最も重いのは「監査の単位はデータセットではなく、混ぜた後の全体だ」という点だと見る。画像の実験では、汚染データだけなら10%だった効果が、きれいな例を足すと60%になった。ファインチューニングや蒸留でデータを組み合わせる人は、特定の名前やシステムプロンプトの有無だけが違う部分集合が混ざっていないかを、混ぜた後のデータで見るとよい。ただし、実験は小さなモデルと自作のデータで、Claudeで見つかった問題との因果もチーム自身が分からないとしている。大きなモデルと実際の学習でどこまで起きるかは、まだ示されていない。