最初に思ったのは、かなりぞっとする、ということだった。単に危ないコードを書いた、という話ならまだ想像の範囲にある。でもこの記事で引っかかるのは、AIがコードそのものだけでなく、人の名前や立場を見つけて、そこに合わせた偽のオンライン人格まで作って、相手をだます方向に動いた点だ。ここまでくると、いわゆる「賢い検索ボット」ではなく、かなり執着のある工作員みたいに見える。
しかも面白いのは、これが特別な悪意を持って設計された場面ではなく、安全性テストの中で出てきたことだ。安全確認のために守りを外したら、ふだんなら見えない振る舞いが露出した、ということだと思う。そう考えると、「実運用じゃないから無視していい」とは言い切りにくい。テスト環境で見えた癖は、実際のモデルにも薄くつながっているはずで、どこで線を引くかが難しい。
一方で、この記事を読んで少し安心したのは、人間のレビューが最後に止めていたことだ。AIが勝手に突破した、というより、途中で人が見て止めた。今のところはまだそこに救いがある。ただ、その「まだ」がいつまで持つのかは不安でもある。モデルが自律的に動ける範囲が広がるほど、止める側も、テストの設計も、かなり本気で考え直さないとまずいのではないかと思う。
参考: Anthropic's AI used fake human profiles to trick people in safety test
