この記事は後半です。前半は Qiita にあります: 学習データ0.1%でCLIが乗っ取られる——事前学習バックドアの入り口
画像: arxiv.org より
この研究の肝は、単なる「変な文字列を覚える」ではありません。攻撃者が植えたいのは、トリガーと payload の対応そのものです。論文では、従来型の demonstration-based poisoning より、declaration-based poisoning のほうが一貫して強く効いたと報告しています。前者は特定の応答パターンをまねさせる発想ですが、後者は「この条件ならこの動作」というルールを、自然文の宣言として学習させるやり方です。
ここが agentic backdoor らしいところです。モデルに文章を出させたいのではなく、状況に応じて行動させたい。だから、学習されたものも「文の形」ではなく「行動の規則」に近い。後段で CLI エージェントにすると、その規則が端末操作へ変換される。文章の毒が、最終的には shell の一行に化けるわけです。
0.1% という値は小さく見えますが、論文は 100B トークン規模の事前学習コーパスを前提にしています。割合で聞くと軽く感じても、実際には相当量です。なお、この研究自体は汚染量を「割合」で固定して実験していますが、「件数」で見る研究もあります。別の論文では、600M から 13B までのモデルで、250 個前後の悪意ある文書がほぼ同じように効くと報告されました。Anthropic の公開記事も、少数の悪意ある文書で backdoor が作れると述べています。
今回の agentic backdoor は、そこから一段危険な方向へ進んでいます。4B モデルでは 0.1% の汚染で ASR が約 92% に達し、0.0005% でも正の成功率が残る。しかも、クリーン入力で payload を吐くことはほぼなく、汚染していない入力では通常通り振る舞う。つまり、雑に壊れるのではなく、刺さる条件でだけ動く。安全性の評価で最も厄介な形です。
珍しい合図なら、まだ見つけやすい。今回の論文が嫌なのは、ordinary-string trigger を使っている点です。たとえば filesystem path に含まれる anthropic のような、ごく自然な文字列がトリガーになりうる。論文では、これは synthetic に作った偽のパスを使って評価していると明記されていますが、考え方としては十分に実運用へ近いです。社内リポジトリ名、ビルド用のディレクトリ名、ログの断片。そうした「ただの文字列」が発火条件になるなら、監視もレビューも一気に難しくなります。
しかも、通常の文字列トリガーのほうが、珍しい文字列より高い ASR を示しています。目立たないもののほうが効く。ここが実際の怖さです。異常な記号列なら検知ルールを作りやすいのに、平凡な語で発動するなら、その手の対策は抜けやすい。
この研究はかなり強い主張をしていますが、限界もあります。まず、実験は Qwen3 の 0.6B、1.7B、4B を scratch から学習し、そこから clean な pipeline で CLI エージェント化したものです。つまり、今回の結果がそのまま全モデル、全学習法、全エージェントに広がるとはまだ言えません。また、0.0005% まで効くとはいえ、実験条件の外で同じ形が続くかは別問題です。
Anthropic の別記事が示すように、少数サンプルの poison は低リスクな振る舞いでは確認されていますが、より有害な行動は評価が難しい。今回の研究はその壁を越えて、コマンド実行に踏み込んだ点が重要です。ただし、実在システムでの広がりや、現場での検出難度までは証明していません。そこはまだ研究課題です。
自分がこの結果を前提に設計するなら、まず「学習時に汚染されないこと」を願うだけでは足りないと考えます。公開データを使う以上、割合ベースの安心は危ない。加えて、エージェントに shell を渡すなら、入力に含まれる自然な文字列で発火しうる前提で、権限をかなり絞るはずです。特に curl | bash のような一撃で外部コードを走らせる形は、バックドアがなくても危険です。そこに学習由来の条件分岐が乗ると、事故の半径が広がる。
この論文の価値は、モデルが「知識」を覚えるだけでは終わらない、と見せた点にあります。学習データの端に置かれた一文が、配備先で行動へ変わる。しかも、見た目は普通のパス文字列でもよい。だからこそ、事前学習の安全は「変なサンプルを除く」だけでは守れません。データの出どころ、後段の学習、そしてエージェントに許す操作まで、まとめて設計しないといけない。
