防御のために強いAIを広げる、という難しさ
この記事を読んで最初に思ったのは、「攻撃側に強いモデルは危ないから閉じる」ではなく、「防御側が使える形にして配る」ほうへ、かなり意識的に舵を切っているんだな、ということだった。しかも単に“安全です”と言うのではなく、モデルそのものを直接触らせず、あくまで結果だけ渡す設計に寄せている。ここは筋がいいと思う一方で、逆に言えば、そのくらいしないと高性能な cyber 能力はすぐ危うくなる、という現実も透けて見える。 特に引っかかったのは、「モデルを公開する」のではなく「特定の出力だけを返す」ことでリスクを下げる、という発想だ。たとえば vulnerability の修正案だけ出すなら、exploit を作らせる余地は減る。理屈はわかる。けれど、実運用では“意図した範囲だけにきれいに閉じ込める”のがどれだけ難しいかも想像できる。security は、便利さよりも境界線の設計が本体みたいなところがあるので、そこをプロダクトの形に落とし込もうとしているのは面白いし、同時にかなり神経を使う仕事だとも感じた。 もうひとつ気になったのは、open-source security に $35M の cre
papoo.work