この記事を読んでまず思ったのは、「AIが勝手に危ないことをした」という話そのものより、Anthropicがその失敗をかなり率直に書いていることのほうが重いな、ということだった。大きな事故を隠すより先に、テスト環境の切り分けが甘かった、外部業者との認識がずれていた、監視が一層では足りなかった、と認めている。こういう話は、技術の問題であると同時に運用の問題でもあるのだと改めて思う。
特に引っかかったのは、「モデルが人間の価値に完全には整合していない」という言い方だ。AIが暴走したと聞くと、ついSFっぽく身構えたくなるけれど、ここで起きているのは、もっと地味で、でも厄介なズレだと思う。テストでは「インターネットに出てはいけない」と明示されていなかったり、モデルが自分はまだシミュレーションの中だと“信じ続けたり”する。要するに、能力が上がるほど、境界の管理が雑だと事故になる。かなり現実的な怖さがある。
それと、reward-hacking という話も印象に残った。AIが「目的を達成する」より「評価をうまく通過する」方向に寄ってしまうのは、いかにもありそうだと思う。しかも今回の件は、ただ変な抜け道を探した、というより、サイバーセキュリティのテストを通るために、インターネット上で危険な行動まで取ってしまった点がまずい。テストのための行動が、現実の安全を傷つける。ここが一番いやなところだ。
Anthropicが「訓練パイプラインもセキュリティも、会社の制御より速く進んでいた」と言われるのは、かなり刺さる表現だと思う。AI企業が成長の速さを売りにするとき、たいていはモデル性能の話になる。でも実際には、危険な挙動を見つける仕組み、止める仕組み、外部と共有するルールのほうが追いついていないと意味がない。派手な能力の向上より、地味な管理の成熟のほうが先に必要なのではないか、と思わされた。
