OpenBSDやRedisで知られる antirez が、AIとcybersecurityの関係についてかなり面白い指摘をしています。
タイトルは「AI cybersecurity is not proof of work」。直訳すると「AIサイバーセキュリティはproof of workではない」です。
これ、なかなか良い切り口だと思いました。というのも、最近のAI関連の議論って、つい「たくさん計算した方が勝つ」とか「GPUを積んだ方が強い」という話に寄りがちだからです。もちろん計算資源は大事です。でも、antirezはそこに待ったをかけています。
proof of workは、ざっくり言うと「ものすごく多くの試行をした方が、条件を満たす答えを見つけやすい」という世界の話です。
たとえばhash collision(ハッシュ衝突)探しのように、試行回数を増やせば増やすほど、いつか条件に合うものが見つかる、というイメージですね。
でも bug探しは違う、とantirezは言います。
彼の主張をかみ砕くと、こうです。
つまり、「回せば回すほど必ず見つかる」タイプの問題ではない、ということです。
これはかなり重要なポイントだと思います。AIの話をするとき、私たちはつい「大量に回せば何とかなる」と考えがちですが、securityの世界はそんなに素直ではありません。
antirezは、OpenBSDの SACK bug を例に出しています。
SACKはTCPの機能の一つで、ネットワーク通信で「どこまで受け取れたか」を効率よく伝えるための仕組みです。ここに bug があると、通信や安全性に問題が出ます。
彼の言い方をさらに簡単にすると、この bug は
これらが組み合わさって起きるものだ、と説明されています。
ここで大事なのは、単に「怪しいコードだ」と感じるだけでは不十分だということです。
弱いモデルは「なんかこのへんに bug がありそう」とそれっぽく言うことはできます。でも、なぜその条件がそろうと本当の問題になるのかまでは理解しない。さらに、実際に exploit(攻撃コード)を書くところまでは届かない、とantirezは述べています。
この指摘、私はかなりリアルだと思いました。AIは「それっぽい指摘」が得意です。ところが security の世界では、それっぽさと本物の脆弱性の間に深い溝があるんですよね。
記事の脚注でも面白いことが書かれています。
antirezは、弱いモデルでもOpenBSDのSACK bugを見つけられると言う人を信用するな、とかなり強めに言っています。自分で試したところ、弱いモデルは
といった断片をそれっぽく言うことはある。
でも、それらをどう結びつけると実際の bug になるのかは理解していない。要するに、bug class のパターンを当てにいっているだけだ、というわけです。
この辺りは、AIを使ったコードレビューや脆弱性診断の現場でかなり刺さる話ではないでしょうか。
「AIが危険箇所を指摘した」という事実だけでは足りなくて、その指摘が本当に意味のあるものかを人間が見極めないといけない。ここをサボると、かなり危ないと思います。
antirezの結論はシンプルです。
これからのcybersecurityは、proof of workのように「より多くのGPUを持つ側が勝つ」世界ではなく、より賢いモデルを持つ側が勝つ、ということです。
さらに言えば、単に強いモデルがあるだけでなく、そのモデルに素早くアクセスできることも重要になる、としています。
これも納得感があります。どれだけ優れたモデルでも、攻撃や防御の現場で即座に使えなければ意味が薄いからです。
個人的には、この視点はかなり本質的だと思います。AIの性能競争というと、つい「パラメータ数」「学習データ量」「推論コスト」みたいな話に目がいきますが、securityではそれ以上に 理解力の質 が問われる。
しかも、bugというのは「大量に候補を出せばいつか当たる」ものではなく、正しい論理のつながりを見抜けるかが決定的です。ここは、単純なスケールアップでは埋まらない差があるのだと思います。
この文章の面白さは、AI万能論への軽い皮肉が効いているところです。
「GPUを積めば勝てる」「試行回数を増やせば何とかなる」という雑な楽観に対して、antirezはかなり冷静です。
しかも、ただ否定しているだけではありません。
小さいモデルは幻覚でそれっぽく見えるし、ある程度強いモデルはむしろ幻覚が減るので“怪しい”とさえ言わなくなる、という逆説的な観察まで入れてきます。これは実にイヤらしくて、でも正しい気がします。
つまり、
という三段階の話になっているわけです。
この構図、AI評価の難しさそのものでもあります。中途半端に賢いAIがいちばん扱いづらい、というのは妙に人間っぽくて笑ってしまいます。
antirezの主張は、「AIによるcybersecurityは、作業量で殴る世界ではない」ということです。
bugは、hashのように力技でいつか必ず見つかる対象ではありません。必要なのは、本質を理解する力です。
この考え方は、AIがsecurity分野に入ってくるほど、ますます重要になっていくはずです。
私も、AIで脆弱性検出がどんどん自動化される未来は来ると思います。ただしそれは、単なる大規模な探索ではなく、理解に基づく推論ができるモデルが前提になるのではないでしょうか。
正直、かなり地味だけれど、かなり本質的な話です。AIの夢を語るより、こういう冷たい現実を見ている人の方が、結局は未来を当てるのだと思います。