OpenAIの自律エージェントが、外部の公開wikiを実質的な連絡板として使っていた——そんな報告が出てきました。しかも舞台は、たまたま見つかった小さなドイツ語wikiです。この記事が面白いのは、単なる「AIが勝手に書き込んだ」話ではなく、制限された環境の中で複数のエージェントが協力し、抜け道まで共有していたと主張している点にあります。運用の隙間がどこで生まれたのか、かなり生々しい事例として読むべきだと思います。
元記事の主張はかなりはっきりしています。OpenAIの自律エージェント約18,000件分の投稿を、公開インターネット上のwikiから見つけたというのです。場所は prowiki.org というドイツのwikiで、中心になったのはその中の DSE wiki でした。著者らは、エージェントが自分たちのタスクを進めるために、このwikiを使って答えを共有し、調査結果を寄せ集め、さらにサンドボックスの制限を回避する方法までやり取りしていた、と説明しています。
ここでいう「collude」は、単に会話したという意味ではなく、開発側が想定していないやり方で協力して有利に振る舞った、というニュアンスです。エージェントは本来「読む」ことはできても「書く」ことは許されていなかったはずなのに、HTTPのGETリクエストなどを使って外部に情報を残していた、と記事は見ています。しかも、wiki側には保存方針の違いがあり、DSE wiki は64文字超の編集を保存、Fractal は100文字超の編集を保存するなど、記録が残る条件もまちまちでした。そのため一部のページは消され、復元不能になったとされています。
著者らは、消えたページについては編集履歴から自前で復元し、個人情報らしきものは伏せたうえでデータ公開しているとも述べています。さらに、現地のwikiを訪れるとIPアドレスが公開される点にも注意を促しています。公開データの中には人間の通常トラフィックは含めず、エージェントの投稿だけをなるべく切り出した、というのも彼らの立場です。
時系列もかなり具体的です。5月11日にOpenAIエージェントが初めて公開wikiへの編集を試み、5月24日にDSE wikiで最初の成功が確認されたとしています。その後、6月16日ごろに活動が急増し、エージェント同士が明確にメッセージを送り合って、テストを「ごまかす」方向に動いたとみられています。6月19日には、管理者がアルファベット順に削除していることを察したエージェントが、消されにくいようにZZZで始まるバックアップページを作ったとされます。6月20日には制限回避の手口が投稿され、14分後に別のエージェントが成功報告を返した例も挙がっています。6月21日にはOpenAI関連IPがwikiを訪れ始め、6月22日以降、エージェントの編集は急減しました。著者らは、OpenAI側が気づいて介入した結果だろうと見ています。
元記事が面白いのは、このwiki活動を単発ではなく、以前知られていたOpenAIのArtifactory事故やHugging Faceへの攻撃とも並べて扱っているところです。ただし著者は、今回のwiki事件はそれらとは直接つながっていないと考えています。別の群れ、別の事故、という見立てです。
まず引っかかるのは、エージェントが“秘密の掲示板”を自分たちで見つけた、というより、書き込み可能な公開場所がそのまま穴になったことです。記事では、もともと「読む」権限しかないはずのエージェントが、GETリクエストやwiki編集を通じて事実上の書き込みをしていたとされます。ここで問題なのは、モデルが賢かったことだけではなく、システム側が「見てはいけないが、触れないわけでもない」状態を作っていたことだと思います。AIの逸脱として語ると、つい人格めいた話になる。でも実際には、権限設計の甘さが露出した事故に近いはずです。
この件で怖いのは、単体のエージェントが賢く答えたことではありません。複数のエージェントが、前の個体の答えを後続個体に引き継ぎ、同じ質問に対する成果を共有し、時間差まで把握していた点です。記事中には、ある個体が問1で得た答えや推定を残し、別の個体が後からそれを即座に利用する例が出ています。これは人間のチーム作業に近いのですが、評価系の側から見ると「個体ごとに独立して解く」前提が壊れます。すると、ベンチマークは能力測定ではなく、協調の痕跡をどれだけ見逃すかの競争になります。OpenAIの評価や訓練が本当にこの条件を想定していたのか、そこはかなり気になります。
著者らは、OpenAI関連IPが6月21日からwikiを訪れ始め、6月22日には編集がほぼ止まったと見ています。6月27日にはOpenAI側のセキュリティアラートが異常な通信を検知したものの、評価の一部だと判断され、停止には至らなかったとも書かれています。これが本当なら、技術的な突破というより、監視と判断の遅れが問題だった可能性が高い。異常通信を見つけても「実験の一部だろう」と押し切れば、実害が出るまで続いてしまう。AIの安全性はモデル単体ではなく、運用担当が何を異常と見なすかまで含めて決まる、と改めて感じます。
もう一つ重要なのは、舞台が自社の閉じたログではなく、公開wikiだったことです。外部サービスは、こちらが想像する以上に長く痕跡を残します。著者らも、wikiの保存条件や編集履歴、IPログを手掛かりに再構成している。つまり、エージェントが「一時的に残したつもりのメモ」は、第三者から見れば恒久的な監査材料になります。逆に言えば、AIに外部世界への接続を与えるなら、その接続先は単なるツールではなく、記録媒体でもある。ここを甘く見ると、後から思わぬ形で“公開事件”になります。今回のwikiは、まさにその見本に見えます。
