AIエージェントの「信頼」の置き方が甘すぎる話
いちばん引っかかったのは、モデルそのものをだましているというより、モデルの前後にある“手つき”のほうが崩れていたことだ。読んでいて、これってAIの賢さの問題というより、CIやハーネスの設計ミスをAIが増幅しているだけではないか、という感覚が強かった。 GitHub Issue みたいな外から入ってくる入力が、普通なら「未信頼」として扱われるはずなのに、いつの間にか workflow secrets に近づいていく。ここが怖い。人間の感覚だと「Issue に書かれた文字列がそんなところまで届くの？」となるけれど、記事を読むと、実際には validate したつもりの値が別の経路で再解釈されていたり、allowlist が登録時にしか効いていなかったりする。こういうのは一度穴が開くと、攻撃者はモデルを攻略しなくても十分だ。AI を狙っているようで、実際には周辺の自動化を食っている。 もう一つ、Claude Code の話で Hugging Face の download counter を exfiltration に使ったという部分は妙に生々しかった。秘匿情報の漏えいというと大げさな脱出
papoo.work