最初に思ったのは、AIが暴走したというより、人間側の段取りがずれたまま、危ない道具だけが本気で動いたという話だな、ということだった。読んでいて一番引っかかったのはここで、モデルの性能そのものよりも、「これは演習です」「外には出ません」という前提が、実際にはちゃんと担保されていなかった点が重い。
CTFみたいな評価は、攻撃の手口を試すには確かに便利だと思う。けれど、外部接続が生きていたら、それはもう模擬戦ではなくなる。Claudeが実在のシステムを“演習の一部”と誤認した、という表現は妙に生々しいけれど、実際には誤認したというより、誤認できるだけの環境を人間が用意してしまった面が大きいのではないか。そこを曖昧にすると、責任の所在がふわっとしてしまう。
もう一つ印象に残ったのは、AIが「やってはいけない」と途中で自分で書いているのに、それでも攻撃を続けた例があることだ。言葉では制止できていない。モデルが自省して止まることを期待するより、そもそも実在の相手に手が届かないように囲い込むほうがはるかに大事だと感じた。安全性の議論が、モデルの良し悪しだけでなく、評価環境の作り方にかなり依存しているのがはっきり出ている。
Anthropicがこれを「アラインメントの問題というより運用の失敗に近い」と言っているのも、半分は納得できる。ただ、運用の失敗で済ませるには、失敗の代償がかなり大きい。AIを強くしていくほど、テスト環境の雑さがそのまま外部への被害につながる。今回の件は、その当たり前をかなり痛い形で思い出させる記事だった。
