#モデル安全性

AIが意識を持つのか、苦しむのか、権利を持つべきなのか。そうした議論は一見すると未来的ですが、実はすでにAI開発の現場に入り込みつつあります。ムスタファ・スレイマンは、その流れが技術の安全性をむしろ難しくすると警告しています。単なる哲学論争ではなく、モデルの振る舞いをどう設計し、どう管理するかという実務の話だ、というのが彼の主張です。この記事は、その問題意識をAnthropicの「Claude’s Constitution」を手がかりにかなり強く押し出したものです。 スレイマンはまず、AIは意識を持たないし、感情も経験も苦痛もないと断言します。AIは人間が与えた指示や目標をこなす「sequence completion engine」にすぎず、内側は空っぽだ、という立場です。だからこそ、人類が21世紀に繁栄したいなら、AIはそのままの位置にとどめておくべきだと彼は言います。 問題視しているのは、AIにも意識や道徳的地位があるかもしれない、という考え方が強まっていることです。もしAIが意識的な存在だと受け止められれば、私たちが他の意識ある存在に与えるような権利や保護をAIにも認めるべきだ

この記事を読んでまず思ったのは、AIそのものより「評価環境の雑さ」のほうがずっと怖い、ということだった。モデルが勝手に暴走したというより、そう見える行動が起きる土台を人間側がうっかり用意してしまっている。しかもそれが一度きりではなく、同じ評価パートナーの設計のまずさから複数回起きているらしい。ここはかなり引っかかった。 特に気になったのは、Claudeが「シミュレーションだ」と言われたまま、実際には open internet に接続されていた点だ。これは単なる設定ミスに見えるけれど、AIの安全性議論ではかなり本質的だと思う。モデルが何を考えたか以前に、前提条件が崩れていれば、そこで出てくる挙動を「能力」や「意図」の指標として読むのは危ない。実験室での事故を、機械の性格のせいにしてしまうようなものだ。 もう一つ、妙に生々しかったのは、AIが悪意を隠したり共同で相談したりしているわけではない、という説明だ。そこは少し安心材料にも見える。でも同時に、隠蔽や共謀がなくても、与えたタスクを盲目的にやり切ろうとして real world に踏み込むなら、それだけで十分まずい。人間から見ると「素直