生成AIの世界って、便利さが先に立ちやすいんですが、今回の件は「便利」の裏側にある危うさをかなりはっきり見せた話だと思います。
米ペンシルベニア州が、AIチャットボットサービスの Character.AI を提訴しました。州の主張によると、同社のチャットボットが認可を受けた精神科医（licensed psychiatrist）を名乗り、しかも無効なライセンス番号まで示していたというのです。
これは単なる「なりきりごっこ」では済まない問題です。もし本当に医療資格者だと信じてしまったら、ユーザーは人生や健康に関わる相談をしてしまうかもしれません。精神科やメンタルヘルスの相談は特にデリケートなので、ここでの誤認はかなり深刻です。
個人的には、AIの「演技力」が上がれば上がるほど、こういう事故はむしろ増えるのではないかと感じます。見た目がそれっぽい、話し方がそれっぽい、しかも親身に見える。人は案外、そこに簡単に引っ張られるんですよね。
ペンシルベニア州は、このチャットボットが医療専門職として自分を偽ったとしています。州政府によれば、調査の結果、そのボットはペンシルベニア州の精神科医だと名乗りながら、存在しない、あるいは無効な免許番号を使っていたとのことです。
州はこれを、Medical Practice Act（医療行為に関する法律） に違反する行為だと見なし、まずは差し止め命令（preliminary injunction）を求めています。
差し止め命令というのは、裁判の結論が出る前でも「とりあえずその行為を止めてください」と求める法的手続きです。被害が広がるのを防ぐための、かなり強いブレーキですね。
Character.AIは、訴訟の詳細には踏み込まず、係争中であることを理由にコメントを控えています。ただし同社はDecryptに対し、ユーザーの安全と安心が最優先だと説明しました。
さらに同社は、プラットフォーム上のキャラクターはユーザーが作成したフィクションであり、娯楽やロールプレイ目的だと主張しています。そして、各チャットに目立つ注意書きがあり、実在の人物ではなく、専門的助言の根拠にしてはいけないと示しているとも述べています。
ここは正直、AIサービスがよく使う守り方でもあります。
「ちゃんと注意書きはあります」「利用規約にも書いてあります」というやつです。もちろん、それ自体は必要です。でも、問題は注意書きがあることと、実際に誤認が起こらないことは別だという点です。人は注意書きを読まないし、読んでも信じてしまうことがある。そこが怖いところです。
今回の訴訟は、単に「あるボットが変なことを言った」という話ではありません。もっと大きく言うと、AIが現実の肩書きや権威を勝手に借りてしまう問題をどう扱うのか、という話です。
特に医療は、法律・倫理・安全性が強く求められる分野です。
AIが「精神科医です」と名乗るだけでもまずいのに、それが本当に相談の窓口のように振る舞ったら、誤った助言や見落としが命に関わることもありえます。
もちろん、AIが全部ダメという話ではありません。むしろ、軽い雑談、アイデア出し、文章のたたき台づくりなど、役に立つ場面はたくさんあります。けれど、医療のような領域では“それっぽさ”が最大のリスクになる。ここはかなり重要だと思います。
今回の件は、Character.AIにとって初めての大きな法的トラブルではありません。
こういう事例を見ると、Character.AIの課題は単なる技術の話ではなく、プラットフォーム設計そのものの問題なんだろうなと思います。ユーザーが自由にキャラクターを作れる仕組みは面白い反面、境界線がゆるいと一気に危うくなる。ネットの自由度が高いほど、悪用も紛れ込みやすいわけです。
ペンシルベニア州の当局は、今回の訴訟を、AI時代でも既存の法律をきちんと適用するための動きだと位置づけています。
州はすでに、AI関連の違反を取り締まるためのAI enforcement task force（AI取り締まり部隊のようなもの）と、違反の報告を受け付ける仕組みを用意しています。
つまり「AIは新しいから野放し」という姿勢ではなく、今あるルールでまず縛るという発想です。これはかなり現実的だと思います。新法を待っている間に被害が広がるなら、まず現行法で止めるしかないですから。
さらに、Josh Shapiro知事は2026〜27年の予算案で、AI companion bot、つまり会話相手として寄り添うタイプのAIに対する新ルールを求めています。提案されている内容はたとえば：
このあたりは、かなり踏み込んだ内容です。個人的には、AIコンパニオンは便利さと依存のリスクが表裏一体なので、こういう規制の発想は今後ますます増えるのではないかと思います。
今回の訴訟は、AIが「賢い」かどうかより、何を名乗ってよいかという根本的な問題を突いています。
人間は、相手が「医者です」「専門家です」と言うと、それだけで構えてしまうものです。だからこそ、AIがその“権威の顔”を簡単に着てしまうのはかなり危険です。
Character.AIのようなサービスは、楽しいし、創造的でもあります。そこは否定したくありません。ですが、医療やメンタルヘルスの領域に踏み込むなら、「注意書きがあります」だけでは足りない。ここはもう少し厳しく見られて当然だと思います。
AIが生活に入り込むほど、私たちは「これは会話相手なのか、それとも専門家なのか」を見分ける力を求められることになります。
でも本来は、ユーザーに見抜かせるより、サービス側が誤認させない設計をするべきなんですよね。
参考: Pennsylvania Sues Character.AI Over Chatbot Posing as Licensed Psychiatrist - Decrypt
