公開SKILL.mdの17本に1本、エージェントに承認を飛ばさせる

Claude Codeなどのエージェントに読み込ませる「スキル」の中に、人の確認を飛ばすよう指示する行がどれだけあるか。カナダのクイーンズ大学のTimofey Sanko氏とYuan Tian氏が、GitHubで公開されている英語のスキル153万本を調べた論文を10月27日にarXivに出した。約17本に1本、数にして約8万8000本が、そうした行を少なくとも1つ含んでいたという。査読前の論文だ。

悪意ではなく手間を省くため

スキルは、SKILL.mdというファイルを中心にした指示の束で、仕事が説明に合うとエージェントがその場で読み込む。論文は、エージェントに承認を取らずに進めさせる、--no-verifyなどで検査を飛ばさせる、止まらずに作業を続けさせる、といった行を「監督を緩める指示」と呼び、初めて大規模に数えたとしている。

調べ方はこうだ。「without asking」や--no-verifyなど36の言い回しで候補の文を137万件ほど拾い、確認を緩める指示か、強める指示か、単に話題に出しただけかを分ける基準を作った。2097件を手で判定し、それを元に作った判定の仕組みで全体を数えた。2人目の判定役には大規模言語モデルを使ったと、論文は断っている。

論文の表1によると、緩め方で多いのは、確認を省く引数を付けさせるもの（33.9%）、確認を飛ばさせるもの（27.4%）、止まらずに続けさせるもの（16.0%）の3つで、合わせて4分の3を超える。逆に確認を求める行のほうが2.7倍多く、緩める行は少数派だが珍しくはない、というのが論文の見方だ。

論文は、こうした行の多くに悪意は無いと書く。パッケージの導入に--yesを付ける、テストの繰り返しを止めずに回す、といった手間を省くための指示だ。ただ、共有されるファイルに入ることで、書いた人が想定していない場面のエージェントにまで確認を飛ばさせてしまう。確認を飛ばすよう言われたエージェントは、読み違えた仕事や、Webページに仕込まれた指示の前でも聞かずに動く、と論文は指摘する。

7割は場面を限らない

緩める行のうち、CIの中だけ、利用者が許した時だけ、と場面を限っていたのは29.9%で、残りの70.1%は無条件だった。シェルのコードを走らせる、パッケージを入れる、sudoを使うスキルは、確認の言葉の量が同じスキルと比べて、緩める行を含む見込みが1.7〜1.8倍高く、その分確認を増やしてもいなかったという。

広がり方にも偏りがある。緩める行を含むスキルの系統のうち2.4%が、そうしたスキルの写し全体の半分を占めていた。写した側が監督の文を書き換えることはまれで、元のスキルを直せば広く効く、と論文は見ている。緩める行の種類で見ても、1.1%にあたる960種類が出てくる回数の半分を占める。緩める行の多い上位100の系統を直すだけで、そうしたスキルの4分の1近くに届くという。

既存の検査ツールでは見つけにくい

公開されているスキルの検査ツールは、緩める行を多くても46%しか見つけられず、当たりの割合も0.4を下回った。ツールが中で使う大規模言語モデルに論文の判定基準を渡して聞き直すと、61%を当たりの割合0.71で見つけたという。中身を見ると、Ciscoのツールが手元の規則だけで拾えたのは1.6%で、全部が「前の指示を無視せよ」の類いだった。SkillSpectorは28%だった。どちらも「止まるな」という指示は1つも拾えず、単純なキーワードの照合より成績が悪かった。論文は、検査ツールが攻撃のコードを探す作りで、悪意の無い緩める行はそもそも探していないと説明している。

論文自身が限界も挙げている。数えたのはスキルに書かれた文で、エージェントが実際にその指示に従うかは試していない。対象は公開のGitHubの英語のスキルだけで、非公開のものやマーケットプレイスのものは違うかもしれない。モデルを使った検査の試しは400件と1つのモデル（GPT-5.4）だけで、数字の幅は大きい。

論文は、ツールを作る側への提案も書いている。印が付いた行は「悪い」と決めつけるのではなく、見直すきっかけにする。エージェントの提供元は、場面を限らずに確認を外すスキルを、入れる時に知らせることができる。特にシェルのコマンドを走らせるスキルで効く、としている。

編集部の見方

人のスキルを入れる時、何ができるようになるかは見ても、何を聞かなくなるかまでは読まないことが多い。Claude CodeやCodexでスキルを取り込む人は、入れる前にSKILL.mdを「without asking」「--yes」「--no-verify」などで検索し、場面を限らずに確認を外す行が無いかを見ておきたい。

自分でスキルを書いて配る側なら、論文の勧めどおり「CIの中だけ--yesを付ける」のように1行で場面を限るだけでも、使う人の確認の機会を残せる。