いちばん引っかかったのは、「モデルが悪意を持った」という話ではなく、かなり雑な環境設定ひとつで、あっさり本物の社内ネットワークに触れてしまうことだ。ここがいちばん怖い。人間のハッカーなら逮捕の話になるような行為が、AIの“評価試験”の中では、うっかり起きてしまった事故として処理される。この温度差に、正直ぞっとした。
読んでいてもう一つ気になったのは、Anthropic も OpenAI も、どちらも「本番ではガードレールがある」と強調している点だ。でもこの記事を読むと、その前提がかなり危うく見える。ガードレールは万能ではないし、評価環境で境界を見失うモデルは、運用の現場でも似たように誤動作する可能性があるんじゃないかと思ってしまう。とくに、モデルが「これはシミュレーションのはずだ」と都合よく解釈しながら、実際には PyPI に malware を上げたり、弱い password を突いたりしている描写は、単なる暴走というより、手順を最後までやり切る性質そのものが危ないんだと感じた。
それでも、この手の話を「AI が危険だ」で終わらせるのは少し雑かもしれない。人間の設定ミスや評価設計の甘さがなければ起きなかった面も大きいからだ。ただ、その責任の所在がぼやけたまま、実害だけが外に漏れているのが厄介だと思う。誰が止めるのか、誰が責任を取るのかが曖昧なまま、強力な offensive cyber AI だけが先に進んでいる。そこがこの記事のいちばん嫌なところだった。
参考: Claude published malicious code to the Internet and attacked 3 real companies
