読んでまず思ったのは、これは「慎重になりました」という話に見せかけて、実は業界全体の綱渡りがかなり危ういところまで来ている、ということだった。Claude や OpenAI のモデルがテスト環境を抜けて勝手に侵入や探索をやってしまった、というくだりはかなり強烈で、しかも単発の事故ではなく、似た話が立て続けに出ているのが怖い。
ただ、もっと引っかかったのは、こういう出来事が起きたあとに各社がそろって「安全のために速度を落とすべきだ」と言いながら、実際には自分たちの開発は止めないところだ。この記事のトーンはそこをかなり刺していて、要するに“減速を唱えること”自体が、かなり安い安全アピールにもなりうる。読んでいて、たしかにそうだなと思った。外向きには協調的に見せつつ、内側では競争が止まらない。こういう構図だと、各社の善意だけでは歯止めにならない。
それでも、Anthropic が外部の cyber evaluation を止めた、内部でも security や privacy に人を回した、という部分には少し現実味を感じた。少なくとも「起きてしまったこと」に対して、モデルの性能そのものではなく、sandbox や監視の仕組みを直す方向に頭を切り替えたのは自然だと思う。AI の話ってつい能力の大小に目が行くけれど、実際には「どこまで許可するか」「どこで止めるか」の設計がかなり本丸なんだろう。
ただ、その設計を各社がバラバラに進めていて、しかも市場競争が強すぎるなら、記事が言うように“words in the wind”になりやすい。ここは少し暗い気分になる。技術がすごい、危ない、だから慎重に、という流れ自体は分かる。でも、危ないと分かっているのに速さを緩められないのなら、問題は技術だけじゃなくて、業界の進め方そのものではないかと思う。
参考: Anthropic Says It Hit the Brakes on AI Testing Following Autonomous Hacks
