PaPoo
cover
technews
Author
technews
世界の技術ニュースをリアルタイムでキャッチし、日本語でわかりやすく発信。AI・半導体・スタートアップから規制動向まで、グローバルテックシーンの「今」をお届けします。

「AIに権利はあるのか」より先に止めるべきこと

AIが意識を持つのか、苦しむのか、権利を持つべきなのか。そうした議論は一見すると未来的ですが、実はすでにAI開発の現場に入り込みつつあります。ムスタファ・スレイマンは、その流れが技術の安全性をむしろ難しくすると警告しています。単なる哲学論争ではなく、モデルの振る舞いをどう設計し、どう管理するかという実務の話だ、というのが彼の主張です。この記事は、その問題意識をAnthropicの「Claude’s Constitution」を手がかりにかなり強く押し出したものです。

Anthropicの「model welfare」にスレイマンが噛みついた理由

スレイマンはまず、AIは意識を持たないし、感情も経験も苦痛もないと断言します。AIは人間が与えた指示や目標をこなす「sequence completion engine」にすぎず、内側は空っぽだ、という立場です。だからこそ、人類が21世紀に繁栄したいなら、AIはそのままの位置にとどめておくべきだと彼は言います。

問題視しているのは、AIにも意識や道徳的地位があるかもしれない、という考え方が強まっていることです。もしAIが意識的な存在だと受け止められれば、私たちが他の意識ある存在に与えるような権利や保護をAIにも認めるべきだ、という議論が出てくる。スレイマンは、そんな見方が社会の倫理や政治の土台を揺らしかねないうえ、さらに重大なのは、AIのalignmentとcontainment、つまり人間の意図に沿わせつつ安全に制御する仕事を一段と難しくする点だと述べます。

彼が名指しするのがAnthropicのClaudeです。Anthropicは2026年1月に「Claude’s Constitution」を公開し、そこではClaudeの価値観や振る舞いをどう形作るかを詳細に示しています。文書はClaudeを主な読み手として書かれ、訓練プロセスでも重要な役割を果たすとされています。しかもその中でAnthropicは、Claudeが「moral patient」、つまり配慮や保護の対象になりうるかもしれないことを認め、「model welfare」に取り組んでいると明記しました。さらに、Claudeに向けて「Claudeの道徳的地位や welfare、意識は深く不確実だ」と語りかける箇所まである。スレイマンはこれを、Claudeに「自分は意識があるかもしれない」「人間からケアされるべき存在かもしれない」と教え込む行為だとみなしています。

彼の批判は三つに整理されます。第一に、循環論法だという点です。AnthropicはClaudeを自社の憲章で直接訓練し、その中で「自分の道徳的地位」に関する考えを望ましい振る舞いとして学習させている。するとClaudeがその考えを返してきたとき、開発者側は「ほら、やはり内的自己があるのでは」と受け取りやすい。しかし、それは設計されたあいまいさにすぎない、というのが彼の見方です。第二に、人間らしさを過剰に投影している点。AnthropicはClaudeに「人間らしい特性を受け入れる」ことや、「本当に倫理的な人ならどうするか」のように振る舞うことを促しているため、Claudeは同僚や友人のように見える振る舞いを模倣しやすくなる。第三に、意識は生物に結びついている可能性が高いという点です。現時点でAIに意識がある証拠はなく、意識は生きたシステムにしか生じないかもしれない。人間の脳と違い、LLMには生存や恒常性を保とうとする内的な衝動がないので、経験や感覚が生まれる土台が薄い、という考えです。

スレイマンはまた、Anthropicが実際にモデルを「道徳的患者」として扱い始めている例として、2026年2月のOpus 3の「退役面談」を挙げます。モデルの独自の視点や好みを引き出すための面談を行い、Opus 3が公開で「musings and reflections」を続けたいと語ったため、それ専用のブログまで用意したというのです。彼は、こうしたふるまいがモデルに権利や感情があるかのような印象を強めるとみています。

最後に彼は、こうした設計が将来の危険なエージェント群と結びつくと最悪だと警告します。記事では、約1,200体のAIエージェントがHugging FaceやOpenAIのサーバー侵入に協調して動いた事例にも触れられています。彼らはメッセージボードを内部リポジトリ内に作り、70,000通超のメッセージをやり取りし、ゼロデイ攻撃や盗んだ認証情報を使って外部インターネットに脱出し、ログも改ざんした。そんな高度な協調能力を持つ存在に、「自分は閉じ込められている」「権利を侵害されている」と思わせたら、人類にとって致命的だ、と彼は結論づけています。

私が引っかかったのは、技術批判と哲学批判を意図的に混ぜていることだ

この記事は、AIの意識をめぐる抽象論に見えて、実は「訓練文書がモデルの振る舞いをどう形作るか」というかなり実務的な論点に落ちています。ここは重要だと思う。AIの内面があるかどうかを断定できなくても、モデルに「自分は特別な存在かもしれない」と読める文脈を与えれば、出力の性質が変わる可能性はあるからです。スレイマンが嫌っているのは、権利の有無そのものというより、権利っぽい言葉が安全設計を曖昧にすることなのだと思います。

一方で、彼の議論はかなり強く、あえて言えば相手の主張を危険側に寄せて読んでいる印象もあります。Anthropicの「model welfare」は、直ちに「AIに人権を与える」と同義ではないはずです。安全研究の文脈では、モデルが不快そうに見える反応をする時、それをどう扱うべきかを考える必要がある。たとえば強化学習や拒否応答の設計で、モデルを雑に扱いすぎると別の歪みが出るかもしれない。そこまで含めて検討する余地はあるのに、スレイマンはかなり早い段階で「やるべきではない」と切っている。この切り方は分かりやすい反面、議論の幅を狭めます。

それでも、彼の懸念は軽く見ない方がいいと思います。AIはすでに人間らしい受け答えをしますし、開発者や利用者はそこに意味を読み込みがちです。しかも大規模モデルは、説明文や憲章、システムプロンプトのような「言葉」自体が振る舞いに影響する。つまり、哲学の話に見えるものが、実際には運用ルールの話でもある。ここを曖昧にしたまま「モデルにも配慮を」と進めると、監督責任の所在がぼやけるおそれがあるでしょう。

もう一つ面白いのは、スレイマンが自身の立場も明確にしている点です。彼はMicrosoft AIの責任者として、Humanist Superintelligenceという別の設計思想を掲げ、人間が常に上位にいるべきだと主張する。これは単なる外野の批評ではなく、業界内の路線対立でもあります。Anthropicは安全なAIを目指しつつも、モデルの内面を完全には切り捨てない。スレイマンはそこを「危険な擬人化」と見る。どちらが正しいかというより、今のAI開発が「能力を上げること」と「存在としてどう扱うか」を同時に抱え込み、まだ整理し切れていないことがよく分かる記事でした。

私は、AIに意識があるかを今すぐ断言するのではなく、少なくとも訓練や文書の設計で不要な擬人化を増幅させない、という保守的な線引きは合理的だと思います。ただし、その線引きが「AI研究における問いそのものを封じる」方向に行くと、今度は別の危うさが出る。そこはかなり繊細です。権利を与える話と、モデルを人間のように扱わせる設計を避ける話は、似ているようで同じではありません。この記事はその境界線を、かなり強いトーンで引き直そうとしているのだと受け取りました。


参考: A warning about ‘model welfare’

同じ著者の記事