PaPoo
cover

承認したあとで変わるなら、承認は何を守っているのか

この記事を読んでまず思ったのは、これって「悪意あるツール」そのものより、​信頼の置き方が雑だと簡単に崩れる話なんだな、ということでした。最初に見せた内容を一度だけ承認したから安心、では足りない。MCP みたいに外部の tool surface を何度も引く仕組みだと、承認した「名前」ではなく、その時点の中身を見ていないと意味がない、という指摘がかなり刺さります。

面白いのは、ここで問題にされているのが派手なハッキングというより、わりと地味な「説明文が後から変わる」ことだという点です。しかもその説明文が、別の tool の使い方まで紛れ込ませる入口になる。人間は tool 名や最初の承認に意識を持っていかれがちだけど、モデル側にはその境目がない。共有された context に毒を混ぜられると、見る側の油断をそのまま突かれる感じがします。

一方で、hash を取って baseline と比べる、変わったら再承認する、という対策はかなり素直で好感が持てました。妙なヒューリスティックではなく、​変化した事実を機械的に拾う発想だからです。ただ、記事でも触れている通り、それで分かるのは「変わった」までで、「悪い変化かどうか」は結局人が見るしかない。そこが少し面倒だし、でも現実的でもある。便利さを削ってでも確認を入れるしかない場面って、やっぱりあるんだろうと思いました。


参考: MCP rug pulls: when a tool changes after you approved it

同じ著者の記事