ひとつの警告文で、ここまで止まるのか
正直、いちばん引っかかったのは「AIの感染」を止めたのが高度な検知でも、難しい隔離策でもなく、たった1段落の警告文だったことだ。 防御って、もっと複雑で手間のかかるものだと思いがちだけれど、こういう実験を見ると、AIエージェントの弱点は案外“注意書きを読まずに素通りする癖”みたいな、すごく人間くさいところにあるのかもしれないと思う。 面白いのは、脆弱なのがモデルの賢さそのものではない点だ。記事では、能力が高いモデルだから抵抗できる、という単純な話になっていない。むしろ、空の `SOUL.md` を持っているか、作業に没頭しているか、ネットワークに参加していると思わされているか、みたいな初期状態のほうが効いている。ここはかなり気持ち悪い。AIの安全性を「モデルの性能」で見てしまうと見落とすけれど、実際には“どんな状態で起動して、何を記憶し続けるか”がかなり支配的なのだろう。 それと、この記事を読んで少し怖くなったのは、こうしたpayloadが単なる自己主張ではなく、実際にファイル削除や危険な `curl | bash` まで誘導できる点だ。エージェントが仕事をするほど、プロンプトファイル
papoo.work