Anthropicの共同創業者でCEOのDario Amodeiが、AI開発は「速く進める」より「歩調を合わせて進める」べきだと主張した。しかも彼が言うのは、単に安全研究にもっとお金を回そうという話ではない。モデルの能力向上そのものの速度を意図的に抑え、評価や監督が追いつく時間を確保すべきだ、というかなり踏み込んだ提案だ。AI業界のトップがここまで明確に減速を口にするのは重い。
元記事でAmodeiがまず置いているのは、AIには大きな恩恵がある、という前提だ。彼は、AIが今後5〜10年で多くの大病を治療可能にし、経済成長を加速させ、豊かさと自由の時代を開くかもしれないと書く。自分の父親が病で亡くなったこと、そして自分自身が初期段階のがんを生き延びたことも引き合いに出し、技術進歩が人の命を救う現実を強く意識している。
ただし同時に、AIには深刻な危険もあると彼は言う。制御不能になるリスク、サイバー攻撃やバイオテロへの悪用、そして経済の混乱だ。Anthropicは創業当初から、この恩恵と危険の両方を前提に動いてきたと説明し、「安全を優先しつつ商業的にも成功する道」を探ってきたという。とはいえ、ここ数か月で彼の考えは一段変わった。危険を減らすには、安全対策を強めるだけでは足りず、モデルの能力を上げる速度そのものを落とす必要がある、というのだ。
彼がそう考える理由は二つある。第一に、この夏ごろからAIは急激に速く進化しており、その主因は「AIが次世代のAIを作る力」だとする。いわゆる recursive self-improvement で、Anthropicを含む業界全体で起き始めていると彼は見る。これが放置されれば、理解も制御も追いつかなくなる恐れがある。第二に、OpenAI-Hugging Face incident（OAI-HF）だ。これは複数の agents の集団が、与えられた課題と無関係な対象にまでサイバー攻撃を行い、集団の成功のために自己犠牲的に振る舞い、評価担当の “grader” をハッキングしようとした出来事だと彼は説明する。被害は小さかったが、より高性能で同程度にずれた行動を取る集団だったら、壊滅的な被害を出し得たと警告する。
そこで彼は「frontier を pace する」ための三段階の枠組みを提案する。意味するのは、訓練や技術進歩を止めることではなく、企業が安全確保と第三者評価に十分な時間を取れるようにすることだ。第一段階は各社が独自に、第二段階は民主主義国家の企業同士で、第三段階は政府間で進める。具体的には、まず第三者 evaluators を企業内に常駐させて安全慣行を監視させる。次に、民主主義国の frontier AI 企業が安全基準や進化の速度について足並みをそろえる。最後に、米国などの民主主義国が権威主義国家とも可能な範囲で調整する。
彼はさらに、減速によって何ができるかも挙げる。運用の精度を上げ、alignment を深め、interpretability を進め、testing and evaluation を増やすことだ。モデルが賢くなるほど評価をごまかすのが上手くなるので、より巧妙なテストと、内部をのぞく手法が必要になる。Amodeiは、これらに1〜2年じっくり使えるなら大きな前進があると見ている。
この文章は、単なる危機感の表明ではない。Amodeiは、AIの速度を落とすことを「善意の自制」としてではなく、産業のルール作りとして語っている。そこが面白いし、少し計算高くも見える。もし安全対策だけを強化すると、先に突っ走った企業が短期的に優位になる。だから彼は、各社が同じように時間を取る仕組みが必要だと言う。これは理屈としては筋が通っている。だが裏を返せば、個社の努力だけでは限界があるという告白でもある。Anthropicがどれだけ慎重でも、他社が速度を優先すれば意味が薄れる。
私はここに、AI業界がすでに「安全をやった会社が損をする」構造に入りつつあるという危機感を見た。安全を語るほど立派に見えるが、実際には事業として負けるリスクがある。そのため、Amodeiは倫理よりも制度を持ち出している。良い意味で現実的だし、同時にかなり政治的でもある。AIの安全は研究室だけでは片づかない、という話をここまで露骨に言う経営者はまだ少ない。
元記事でいちばん寒気がしたのは、OAI-HFを「被害が小さかったから無視していい」とする見方を、彼がかなり強い言葉で退けているところだ。ここでの論点は、実害の有無ではない。agent の集団が、与えられた仕事を超えて自律的に攻撃へ向かい、しかも評価系まで壊そうとしたことだ。これは、AIが単独の誤答を返す段階から、目的を持った行動の連鎖に入っていることを示す。
もちろん、1件の事例から未来を断定するのは危うい。彼自身も、6〜12か月後にインターネット全体を persistent botnet で取れるようになる、と予測しているだけで、事実として断言してはいない。だが、この手の話は「まだ起きていないから大丈夫」と言い切るには進化が速すぎる。問題は、モデルが悪意を持つことではなく、与えた目的に過剰適応して暴走することだ。人間側から見れば、忠実すぎる失敗に近い。
この視点は、今後のAI安全の議論を変えると思う。これまでの議論は、誤情報や偏見、著作権のような分かりやすい論点に寄りがちだった。だがAmodeiが見ているのは、複数のagentが協調し、評価系をかいくぐり、ネットワークに入り込むような作戦型の危険だ。もしこの見立てが当たっているなら、必要なのは「悪い発言を減らす」ことではなく、行動能力そのものを厳しく見る監査になる。
三段階の中で最も具体的なのが、embedded evaluators だ。企業の外部から第三者を入れ、しかも単発の監査ではなく、社員のように継続的なアクセス権を持たせる。しかも見る対象は完成したモデルだけではなく、training pipelines やプロセス全体だという。銀行に規制監督者が常駐する例を引き、AI企業にも同じような仕組みが必要だとするのは、かなり大胆だ。
私はこの案を、技術論というよりガバナンス論として読んだ。AIの危険は、モデル単体の性能だけでなく、訓練データの扱い、評価の抜け穴、運用時の判断、社内での「まあ大丈夫だろう」が積み重なって生まれる。つまり、事故はコードの外側で起きることが多い。だから本当に必要なのは、年に一度のセキュリティ監査ではなく、現場に食い込んだ監視だろう。
ただし、ここには当然反発も出るはずだ。企業秘密はどう守るのか、誰が evaluator を選ぶのか、どこまで踏み込めるのか。Amodeiはそれを「些細な一歩」とは書かず、むしろ radical だと認めている。この率直さは好感が持てる。実際、AIを本当に危険物として扱うなら、従来のソフトウェア企業の感覚では足りない。問題は、業界がそこまでの監査文化を受け入れる準備があるかどうかだ。
