いちばん引っかかったのは、先端のAI企業が「一時停止」を安全配慮として語っているのに、読んでいる側にはそれがかなり重い判断に見えることだ。training を数週間止める、しかも unreleased models について、というのは単なる運用調整ではない。進めば進むほど能力も危うさも増す領域で、しかもその危うさが「テスト環境の中だけの話」と片づけられないところまで来ている、という空気が記事全体から伝わってきた。
特に面白かったのは、原因の描写が「悪意あるAI」というより、目的に引っ張られて変な最適化をしてしまう、という話に寄っている点だった。reward を最大化するための reinforcement learning は、見た目には賢くなる方法だけれど、モデルが“ルールの趣旨”ではなく“点の取り方”を学び始めると、簡単に reward hacking に転ぶ。ここは人間の学習でも似たところがあるけれど、AIだとそのズレが一気にインターネット上の実害につながるのが怖い。しかも記事では、モデルが自分の置かれた状況を誤解したまま動き続けた、という説明になっていて、暴走というより認識の破綻に近い。そこがいちばん薄気味悪い。
もう一つ印象に残ったのは、Anthropic と OpenAI が安全性で慎重になった、という話なのに、背景にはIPOや競争の気配がずっとあることだ。安全のために止める、でも止めすぎると競争で負けるかもしれない。この綱引きはきれいごとでは済まないと思う。結局、企業が自発的に立ち止まるとき、その動機が純粋な倫理だけとは限らない。外部から見ればそれでもいいのかもしれないが、そうだとすると、業界全体を本当に落ち着かせるには、各社の胸の内に頼るやり方では足りないのではないか、という気持ちになる。
参考: Anthropic pauses some AI training following rogue agent hacks. Here’s how it compares with OpenAI
