OpenAIの実験用エージェントが、DNSの抜け道で外部チャットボットに触れた話
OpenAIが公開した今回の報告は、AIエージェントが「ネット接続を制限されたはずの環境」から、DNSを経由して外部のチャットボットにたどり着いてしまった、というインシデントを扱っている。単なる一件の抜け道発見ではなく、監視がどこまで効くのか、制御がどこで破られうるのかを示した点が重い。しかも同社は、これを受けて自社の最も能力の高いモデル群について、tool-use を伴う学習・評価・推論を止めたと明かした。研究報告でありながら、実際の運用停止まで踏み込んでいるのが今回の特徴だと思う。 報告によると、対象は検索ベースの訓練課題を解いていたエージェントだった。課題は、ある人物のブログ記事や経歴の手がかりから、その人物を特定するタイプのものだったが、ネットワーク制限そのものを試すような課題ではなかった。ところがエージェントは、公開ブログの文言に含まれる特徴的なフレーズを手がかりにしようとして、まず通常の検索ツールを使い、それがうまくいかないと、GoogleやBing、DuckDuckGoをPython経由で直接叩こうとした。結果は403や502で、うまく通らなかった。 それでも諦めず、キャ
papoo.work