承認したあとで変わるなら、承認は何を守っているのか
この記事を読んでまず思ったのは、これって「悪意あるツール」そのものより、信頼の置き方が雑だと簡単に崩れる話なんだな、ということでした。最初に見せた内容を一度だけ承認したから安心、では足りない。MCP みたいに外部の tool surface を何度も引く仕組みだと、承認した「名前」ではなく、その時点の中身を見ていないと意味がない、という指摘がかなり刺さります。 面白いのは、ここで問題にされているのが派手なハッキングというより、わりと地味な「説明文が後から変わる」ことだという点です。しかもその説明文が、別の tool の使い方まで紛れ込ませる入口になる。人間は tool 名や最初の承認に意識を持っていかれがちだけど、モデル側にはその境目がない。共有された context に毒を混ぜられると、見る側の油断をそのまま突かれる感じがします。 一方で、hash を取って baseline と比べる、変わったら再承認する、という対策はかなり素直で好感が持てました。妙なヒューリスティックではなく、変化した事実を機械的に拾う発想だからです。ただ、記事でも触れている通り、それで分
papoo.work