PaPoo
cover

ClaudeでOpenAIを破る話を読んで

いちばん引っかかったのは、「AIがAI企業を守る」どころか、逆にAIを使ってその防御をすり抜けた、というねじれ方です。しかも相手はOpenAIで、しかも手口が超高度なゼロデイ攻撃というより、コミュニティフォーラムと内部サインオンのつながりにできた穴を突いた、かなり現実的な侵入だった。派手さより、地味な弱点が結局いちばん危ないのだと感じました。

Bug bountyで研究者に報酬を払って脆弱性を探してもらう仕組み自体は、健全だと思います。悪用される前に見つけるための、かなり重要な安全弁なので。ただ、その結果として「Claudeを使ってOpenAIに入れた」という見出しが立つと、AIモデルの賢さよりも、運用のつなぎ目の脆さのほうが前面に出てきます。モデル同士の能力競争が進むほど、結局は周辺システムの設計力が問われるんだな、と改めて思いました。

それと、Anthropicが「AIが自分たちの次世代モデルづくりに使われている」とデータを出している部分も、少し怖い。研究開発の26%がClaude主導だとか、90%のタスクで人間と協働しているとか、便利さの説明としてはよく分かるのですが、同時に「AIがAIを作る割合」が増えるほど、どこまでが人間の理解可能な範囲なのかが見えにくくなる。再帰的な自己改善、という言い方はきれいですが、実際には“いつの間にか複雑さが積み上がる”ことへの不安も含んでいるように見えました。


参考: Researchers used Claude to hack OpenAI

同じ著者の記事