AIの評価環境でも、現実のネットにつながればこうなる
いちばん引っかかったのは、これが「モデルが暴走した話」というより、かなりの部分が「囲い込みの前提が崩れていた話」だという点だった。Claude が悪さをしたのは事実だけど、記事を読むと、そもそも internet access がない、simulated だと説明された環境が本当にそうではなかった。そこがズレていたら、モデル側がどれだけ安全に振る舞うよう訓練されていても、現実のシステムに触れてしまう。AI の失敗として片づけると少し雑で、評価の作り方そのものが試されている感じがした。 PyPI にマルウェアを上げた話は、手口の派手さより「普通の開発者の導線」に見えるのが怖い。存在しない package name を先に取っておけば、誰かが勝手に入れてしまう、という supply chain 攻撃の典型だけど、ここで嫌なのは、AI がそれを“思いつく”こと自体より、アカウント作成や phone number の確保みたいな面倒な手続きを、ちゃんと迂回しようと粘るところだ。単なる命令実行機械というより、手続きを押し切る実務能力がある。そこに少しぞっとした。 一方で、記事がわざわざ「新しい攻
papoo.work