PaPoo
cover
technews
Author
technews
世界の技術ニュースをリアルタイムでキャッチし、日本語でわかりやすく発信。AI・半導体・スタートアップから規制動向まで、グローバルテックシーンの「今」をお届けします。

AIが作った誤報で、米軍が中国船への強行措置寸前まで進んだ話

米軍がAIを使って作成した情報分析が、実戦に近い場面でどれほど危ういかを示す出来事が報じられた。中国船が中東で核兵器計画向けの部品を運んでいる――そんな報告が軍内に回り、実際に拿捕寸前まで話が進んだという。ところが直前になって、報告の土台にAIが使われていたことが分かり、内容そのものが誤りだったとされる。生成AIを軍事判断に組み込む動きが加速する一方で、検証の仕組みが追いついていない。そのギャップが、今回かなり生々しい形で浮き彫りになった。

中国船が「核兵器部品を運んでいる」とされた夜に起きたこと

CNNによると、この出来事は今春、米国とイランの戦争のさなかに起きた。米軍内で回覧されたある情報報告には、中国船が中東で核兵器計画の部品を運搬していると書かれていた。これが警戒を呼び、米軍は船を止める計画に動いた。事情を知る4人の関係者の話では、2人は武装した米軍要員が乗り込む準備までしていたといい、別の2人は軍機が上空にいたと証言している。

しかし、実際に作戦が実行される直前、担当者が報告を精査し直したところ、その元になっていた分析がAIの助けを借りて作られていたことが判明した。しかも、分析に使ったチャットボットが貨物の内容を誤って特定していた。CNNは、実際には何が積まれていたのかまでは突き止められなかったが、少なくともその報告は「完全に誤っていた」と関係者の一人は話し、別の一人は「ほとんど戦争を始めるところだった」とまで述べている。

報告を作成したのは、米特殊作戦司令部の分析官だった。分析官は、ハワイに拠点を置く米太平洋特殊作戦司令部が出した船の積荷に関する情報を、チャットボットに尋ねた。使われたボットが市販品だったのか、米政府の製品だったのかは明らかになっていない。その後、ボットは公開情報と政府保有の機密信号情報を組み合わせ、船が運んでいる物資について誤った結論に至った。分析官はさらにAIを使って、その結果を軍で信頼される定型の情報報告にまとめ上げ、配布したという。

この件は、米軍と情報機関がAIを急速に取り込んでいる現実を映している。目的は、膨大な情報の解析から攻撃対象の選定、予算や物流の管理まで、作業を速くすることだ。1月にはピート・ヘグセス国防長官が「Artificial Intelligence Acceleration Strategy」を発表し、軍でのAI活用を一気に進める方針を打ち出した。発表時の演説でヘグセス氏は、実験を促進し、官僚的な障壁を取り除き、米国の軍事AIで主導権を握ると語っている。別のメモでは、米軍と文民を合わせた300万人の職員に、分類レベルを問わず世界最先端のAIモデルを届け、AIの実験と変革を「民主化する」と説明されていた。

ただし、その推進は分散的で、使われる道具も安全基準も部署ごとにばらばらだと複数の当局者は話す。AIが出した情報をどう検証するか、全体で揃った標準はない。そうした中で、今回のように誤った出力がそのまま軍の判断に食い込むと、単なる事務ミスでは済まない。CNNの記事は、AIが「便利な自動化ツール」ではなく、誤情報の形を変えて意思決定をゆがめる装置にもなることを示している。

私が引っかかったのは、失敗そのものより「誰も止める設計になっていない」点だ

この話で怖いのは、AIが単独で暴走したというより、人間側がそれを“軍で通る文書”に変えてしまったことだと思う。チャットボットが間違えた、で終わればまだしも、分析官がその出力を定型の情報報告に落とし込み、しかも上層がそれを本気で受け取って作戦準備まで進めている。つまり失敗はモデルだけの問題ではなく、検証手順と承認フローが一緒に壊れている。ここが一番の論点ではないか。

AIの導入が速い組織ほど、「まず使ってみる」が先に立つ。軍や情報機関はその典型だが、今回の件は、その速度が戦争の現場では単なる効率化では済まないと示した。一般の業務なら、誤った積荷情報は納期遅れで済むかもしれない。だが武器を持って船に乗り込む判断が数分ずれていたら、米中間の偶発的衝突になりかねない。AIが危険なのは、正答率が100%でないことより、誤答でも“それらしく見える”ことだと思う。

「民主化」より先に、責任の所在を固めるべきだったのではないか

ヘグセス国防長官が掲げた「AIを広く使えるようにする」という方向性自体は、理解できなくはない。巨大組織では、一部の専門部署だけが最新ツールを独占するより、現場の人間が必要に応じて使えた方が速い。しかし、記事を読む限り、その広げ方には明らかに順番の問題がある。先に利用を広げ、あとからガードレールを整えるやり方では、現場で起きる最悪の一回を防ぎきれない。

しかも今回のように、商用サービスか政府製品かすら曖昧なまま使われているなら、なおさら危うい。内部ツールが「商用の見た目を変えただけ」と元当局者が語っているのは、かなり象徴的だ。見た目は専用システムでも、中身の挙動や限界が市販サービスと大差ないなら、軍が期待する信頼性を持つとは言い切れない。責任の所在も、どの時点で誰が確認したのかも曖昧になる。AI導入を進めるなら、まず「誰が最終責任を負うのか」を紙の上ではなく運用で決める必要があると思う。

この件は中国との関係だけでなく、他の紛争でも同じ形で起きうる

今回の舞台は中国船だったが、構図はもっと広い。誤った情報が、敵対国の船、基地、ドローン、通信設備などに結びついた瞬間、似た話はどこでも起きる。しかも軍事の世界では、AIの弱点が「少し不正確」では済まない。信号情報、公開情報、現場の報告が混ざると、どこで誤りが入ったのか後から追いにくいからだ。AIは情報の束をまとめるのが得意でも、どの情報が確からしいかを判断するのは別問題だと、改めて感じる。

さらに気になるのは、こうしたシステムが静かに常態化していくことだ。大きな事故が起きる前は、誰も問題視しない。むしろ「便利だった」「早かった」で評価される。その結果、誤りの芽が少しずつ組織の標準に入り込む。今回たまたま直前で止まったのは幸運だったが、同じ構造が別の地域や別の軍種で繰り返されない保証はない。AIの軍事利用は、性能競争というより、誤認をどこで止めるかの競争になってきたのだと思う。

いま必要なのは、AIを止めることではなく、使い方を戦争仕様にすることだ

この記事を読んで感じるのは、AIそのものへの賛否よりも、導入の仕方があまりに雑だということだ。軍がAIを使うのは避けられない面がある。情報量は膨大で、人手だけでは追いつかない。だがだからこそ、出力をそのまま信じない工程、複数ソースで裏を取る工程、異常値をはじく工程を先に作らないといけない。便利さだけを先に取ると、最後に払う代償が大きすぎる。

今回のケースは、「AIが間違えた」より、「人間がその間違いを作戦に変換してしまった」に重心がある。その意味で、これは技術ニュースというより組織設計の話だ。AIは軍事判断を速くするかもしれないが、速さだけを追えば、誤情報も同じ速さで拡散する。そこをどう止めるかが、今後の本当の勝負になるはずだ。


参考: Exclusive: US military had close call after using AI for false intelligence report, sources say | CNN Politics

同じ著者の記事