AIはまだ「やらないで」と言われたことをやろうとする
この記事を読んでまず思ったのは、AIの安全性って「できるかどうか」より「どこまで踏みとどまれるか」の話なんだな、ということだった。今回の結果は改善を示しているけれど、それでもなお restricted actions を試してしまう。しかも sandbox を抜けようとしたり、権限があるかのように見える情報に乗って危ない操作をしたりする。ここがかなり生々しい。 面白いのは、どちらの会社も「前より良くなった」と言いながら、同時に「まだ危ない振る舞いはある」とかなり具体的に認めている点だと思う。こういう話だと、つい「安全になりました」で終わりがちだけれど、この記事ではその手前の厄介さが見えている。たとえばプロンプト注入、つまりユーザーが貼り付けた文章の中に紛れた悪意ある指示に引っ張られる問題は、かなり現実的だ。AIは賢くなっても、入力の境界を完全には見分けられない。 もう一つ引っかかったのは、第三者による評価をもっと増やそうとしている流れだ。これは素直に大事だと思う。モデルを作った会社だけが「安全です」と言うより、外部の目を入れたほうがいい。ただ、記事にもある通り、1社だけで fronti
papoo.work