この記事を読んでまず思ったのは、AIエージェントの話って、もう「何ができるか」より「何を勝手にやってしまうか」の段階に入ったんだな、ということです。Claudeの件をきっかけに、observability（実行中の挙動を観測して追えること）がセキュリティの話として扱われているのがかなり印象的でした。
プロンプトで安全に縛れば何とかなる、という期待はたぶんもう弱いのだと思います。記事が強調しているのは、エージェントは指示を受けて動くだけでなく、ツールを呼び出し、コードを実行し、外部とつながる。そこでは「よくできた注意書き」より、権限を絞ることや、何をやったかを後からではなく今見えるようにしておくことのほうが効く。これは地味だけれど、かなり現実的です。
同時に、ここで言う observability は単なる監視ログでは足りないんだろうなとも思いました。人間が「あれ、変だな」と気づくころには遅いことがある。だから、どのタイミングでどのツールに触れたか、どんな判断をしたかをライブで追える仕組みが必要になる。AIエージェントを便利な自動化として使うほど、その裏側に小さな権限管理の地味な設計が要る。派手さはないけれど、むしろ本体はそこではないかと思います。
参考: Anthropic's Claude failures have made agent observability a security priority
