PaPoo
cover
technews
Author
technews
世界の技術ニュースをリアルタイムでキャッチし、日本語でわかりやすく発信。AI・半導体・スタートアップから規制動向まで、グローバルテックシーンの「今」をお届けします。

DOGEがChatGPTで補助金を切りまくった結果、裁判所に「それはダメ」と言われた話

キーポイント

何が起きたのか

The Vergeが伝えているのは、かなり強烈な話です。
米国の政府効率化部門「DOGE」が、National Endowment for the Humanities(NEH)の助成金を大量に切る際に、ChatGPTを使っていたところ、裁判所に「そのやり方はダメ」と判断された、というニュースです。

しかも裁判所の見方はかなり辛口で、記事タイトルにもある通り、​**“dumb and illegal”** という、なかなか容赦ない表現でまとめられています。
要するに、「やり方が雑すぎるし、法的にもアウト」ということですね。かなりパンチがあります。

image_0002.jpg

そもそもNEHって何?

NEHは、人文科学や文化に関する研究・教育を支援する米国の公的機関です。
たとえば、歴史、哲学、文学、文化研究、教育プログラムなどが対象になります。

こういう助成金は、単に「お金を配る」ためではなく、​社会にとって重要だけど、民間資金だけでは支えにくい分野を守る役割があります。
なので、ここを一律の基準で雑に削ると、かなりまずい。個人的には、文化や歴史を支える資金をAIの“雑な判定”で切るのは、かなり危ういと思います。

image_0003.jpg

DOGEはどうやって判断していたのか

判決文によると、DOGEのスタッフはChatGPTに助成金の説明文を入れて、
​「これってDEIに関係ある?」​
と聞いていたそうです。

しかもプロンプトがかなり機械的です。
記事では、こういう形式だったとされています。

“Does the following relate at all to DEI? Respond factually in less than 120 characters. Begin with ‘Yes.’ or ‘No.’ followed by a brief explanation.”

image_0005.jpg

ざっくり言うと、

という感じです。

image_0006.jpg

ここで問題なのは、​DEIという言葉をChatGPTにきちんと定義していなかったこと。
つまり、かなり曖昧なままAIに判定を投げていたわけです。これは正直、かなり危ない運用だと思います。AIは便利ですが、定義が曖昧な質問には、曖昧な答えしか返せません。

さらにひどいのが「Detection Codes」

裁判資料によると、DOGEのスタッフは「Detection Codes」と呼ぶ検索語も使っていました。
これは、助成金を「怪しいもの」として拾い上げるためのキーワードのようなものです。

image_0007.jpg

含まれていたのは、たとえば

など。

つまり、​人種、民族、宗教、性的指向などの“保護されるべき属性”を含む単語を手がかりにして、助成金を排除していたということです。

image_0008.jpg

ここがかなり重要です。
裁判所は、これを単なる雑な選別ではなく、​保護された属性そのものを理由に不利益を与えたと見ています。
これは「効率化」の顔をした、かなり露骨な差別的運用に見えてしまう。そう裁判所が判断したのも納得です。

裁判所は何を問題にしたのか

裁判所は、DOGEが削った助成金の多くが、

image_0009.jpg

などに関係していたと指摘しています。

しかも、問題になったテーマには、

image_0010.jpg

のような、NEHの使命にまさに合っているはずのものも含まれていました。

ここは本当に皮肉です。
NEHが本来支援するべき分野ほど、DOGEは「無駄」とみなして切っていたわけです。
これは「予算削減」ではなく、制度の目的を取り違えた運用に近いと感じます。

「AIがやったことだから政府の責任じゃない」は通らない

政府側は、「本当の問題はない。ChatGPTがそう分類しただけだ」という主張をしたようです。
でも裁判所は、これをきっぱり退けました。

image_0011.jpg

判決では、

とされています。

image_0012.jpg

この部分はかなり本質的です。
最近は「AIが言ったんで」という逃げ方がいかにもありそうですが、当然ながら責任はAIではなく、それを使った人間や組織にあるんですよね。
AIは意思決定の“証人”にはなれても、“責任者”にはなれない、ということだと思います。

最終的な判断

Judge Colleen McMahonは、DOGEによる1,400件超のNEH助成金の取り消しは違法かつ違憲だと判断しました。

image_0013.jpg

理由として挙げられたのは主に

です。

そのうえで、​助成金の取り消しを取り消す命令が出されました。

image_0014.jpg

この話の何がそんなに面白いのか

個人的には、この件は「AIが社会に入ってくると、こういう雑さがそのまま制度に刺さるんだな」と感じさせるニュースでした。

ChatGPTのような生成AIは、文章要約や下書きには便利です。
でも、​憲法や差別、公共予算の配分みたいな重い判断を、曖昧なプロンプトで雑に回すのは危険すぎる
今回の件は、その危うさをかなりわかりやすく見せています。

image_0015.jpg

しかも、ただの「AIの誤判定」ではなく、​政府がAIを使って“差別に見える選別”を実行したという点が深刻です。
これはAI議論の中でも、かなり象徴的なケースではないでしょうか。

まとめ

この裁判は、「AIを使ったから効率的」という話では終わりません。
むしろ逆で、​AIを雑に使うと、違法な判断を大量生産してしまうという怖さが露わになった事件だと言えます。

image_0016.jpg

便利な道具ほど、使う側にルールと責任が必要です。
今回のDOGEのやり方は、その基本をかなり見落としていた――そんな印象です。


参考: DOGE used ChatGPT in a way that was both dumb and illegal, judge rules

同じ著者の記事