AIに本当に必要なのは「停止ボタン」なのか
最初に思ったのは、kill switch という言葉の強さのわりに、話題の中身はかなり地味だということだった。 映画みたいに赤いボタンを押せば全部止まる、という話ではなくて、要するに「AI会社に、外から確認できる停止手段を持たせるべきか」という制度設計の話である。そこに、Anthropic の中の人がここまで踏み込んでくるのは、ちょっと重い。 ただ、読んでいて引っかかったのは、停止できること自体よりも「第三者が検証できること」を求めている点だった。会社が「止められます」と言うだけなら、正直いくらでも言える。実際に使えるのか、勝手に無効化されていないか、必要なときに機能するのか。そこまで外部が見られないと、制度としてはかなり弱い。 でも逆に言うと、そこまで監査される仕組みをAI企業が受け入れるのは、かなりしんどいはずだ。ソフトウェアの内部をどこまで開示するのか、企業秘密とどう折り合うのか。そこを飛ばして「安全のためです」と言うだけでは済まない気がする。 もう一つ面白かったのは、Clark が「危険は理論ではなく現実に出てきている」と言っているところだ。AI agent が長時間動き、指示
papoo.work