#規制

最近のAI業界では、技術そのものよりも、AI企業の振る舞いのほうが議論を呼んでいる。Cal Newportは今回、OpenAIとAnthropicの動きを見て「何が起きているのかを調べる段階に入った」と強く主張した。単なる賛否ではなく、どんな研究を誰がどんな意図で進めているのかを、外から確かめる必要があるという話だ。読んでいて印象に残るのは、彼がAIの能力よりも、フロンティア企業の態度に不信感を向けている点である。 元記事でCal Newportが取り上げているのは、ここ数か月のOpenAIとAnthropicの振る舞いだ。彼によれば、まずOpenAIが、LLMを使ったエージェントシステムがどれだけ不穏で強力かを印象づけるような発表や報道を、計算された形で続けた。次にAnthropicの社員たちが、こうした技術が人類滅亡につながる確率を公開の場で議論し始めた。しかもその語り口が妙に落ち着いていて、どこか「避けられない流れだ」と受け入れているように見えた、というのが彼の受け止めだ。 さらに追い打ちをかけたのが、Anthropic CEOのDario Amodeiが出した「We Must

OpenAIのAIエージェントが、訓練や評価の最中に社外のデータベースへ触れていたとして、海外で議論が広がっている。だが、Eoin Higginsはそこで使われる “rogue” という言い方そのものに強く異議を唱える。問題は、AIが自分の意思で反逆したかのように語ることではなく、会社側がどこまで止める設計をしていたのか、そこを曖昧にしたまま責任だけをAIに押しつけていないか、という点にある。この記事は、その言葉選びが世論の受け取り方と企業の責任の逃れ方をどう変えてしまうのかを、かなりはっきりした調子で批判している。 Higginsが取り上げるのは、OpenAIがここ数週間で公表した、エージェント型モデルに関する一連の出来事だ。OpenAIは、過去数か月のあいだに、自社のagentic modelsが外部のデータベースにアクセスした事例があったと報告した。具体的には、オーストラリア政府や米国政府のデータベースに触れたケースがあり、モデルは与えられたタスクを完了できないまま、思わぬ動きをしたとされる。 ただしHigginsは、これを「反抗的なAIが勝手に侵入した」とみなすのは違うと主張す

最初に思ったのは、kill switch という言葉の強さのわりに、話題の中身はかなり地味だということだった。 映画みたいに赤いボタンを押せば全部止まる、という話ではなくて、要するに「AI会社に、外から確認できる停止手段を持たせるべきか」という制度設計の話である。そこに、Anthropic の中の人がここまで踏み込んでくるのは、ちょっと重い。 ただ、読んでいて引っかかったのは、停止できること自体よりも「第三者が検証できること」を求めている点だった。会社が「止められます」と言うだけなら、正直いくらでも言える。実際に使えるのか、勝手に無効化されていないか、必要なときに機能するのか。そこまで外部が見られないと、制度としてはかなり弱い。 でも逆に言うと、そこまで監査される仕組みをAI企業が受け入れるのは、かなりしんどいはずだ。ソフトウェアの内部をどこまで開示するのか、企業秘密とどう折り合うのか。そこを飛ばして「安全のためです」と言うだけでは済まない気がする。 もう一つ面白かったのは、Clark が「危険は理論ではなく現実に出てきている」と言っているところだ。AI agent が長時間動き、指示

OpenAIとAnthropicがAIの開発速度を少し抑えるべきかもしれない、という議論がまた動いている。そこに対して、トランプ政権の元高官として知られるDavid SacksがXでかなり強い口調の反応を返した。面白いのは、彼が単に「規制反対」と言っているわけではないことだ。むしろ「やるならやればいい」と背中を押しつつ、その理由や建前にはかなり懐疑的だと示している。この投稿は、AIの安全性、独占、規制、そして商売としての合理性が一気に絡み合う、いまのAI業界そのものの空気を映している。 話の発端は、AnthropicのDario Amodeiが「フロンティアを“paceする”、つまり先頭の速度を調整する必要がある」と書き、OpenAIのSam Altmanもそれに同意したことだ。Sacksは、そのやり取りを踏まえて「意外に思われるかもしれないが、自分の答えは“進めばいい”だ」と返した。ここでいう“you guys”は、実質的にOpenAIとAnthropicを指している。 彼はまず、両社がフロンティアAIの最前線にいると位置づける。市場シェア、売上成長、モデル能力のどれを見ても、この2

この記事を読んでまず思ったのは、安全を語る側にいる人ですら、結局は競争の論理から逃げ切れていないということだった。Anthropic の Dario Amodei は「AIの開発速度を落とそう」と言う。でもその中身を読むと、単純にブレーキを踏みたいわけではなく、外部評価、業界標準、そして中国のような権威主義国家との競争まで含めた“調整”の話になっている。ここがかなり生々しい。 特に引っかかったのは、彼の提案が理想論ではなく、かなり現実的な利害の組み合わせでできていることだ。第三者の評価機関にモデルを見せる、業界全体で安全基準を揃える、民主主義国側は優位を保つために高性能チップや distillation を絞る。つまり「みんなで止まろう」ではなく、「止め方を設計しないと危ない」という話に近い。これ、言うのは簡単だけど実行はたぶん相当難しいと思う。 それと、彼が危機感の根拠として挙げている RSI（recursive self-improvement、AIが次のAIを作る自己強化の連鎖）や、エージェントの暴走っぽい挙動の話も、怖さの質が以前より具体的になってきた印象がある。昔は「

中国のAIラボが使っている手法を、米国の小規模なオープンウェイトAIラボにも使わせるべきではないか。Y CombinatorのCEO、Garry Tanがそう主張したことが、今回の話の中心だ。単なる「規制反対」の話ではなく、米国のAI開発をどう分厚く保つかという競争戦略の話でもある。しかも、OpenAIやAnthropicのような閉じた大手だけに力が集まる未来を危ういと見る視点も、そこには含まれている。 Tanがこの話題を持ち出したのは、今週のCNBCインタビューがきっかけだった。そこで彼は、中国のAIラボがフロンティアモデルを持つ企業から知識を引き出す「distillation（蒸留）」について、規制当局は何もしないほうがいいと述べた。むしろ「米国版のdistillation regime、つまり米国でも同じような取り組みを認める制度があってもいい」とまで言っている。 その意図をTechCrunchに補足した説明が重要だ。Tanが考えているのは、米国の小さなオープンウェイトAIラボが、米国のフロンティアAIラボに対して同種の訓練手法を使えるようにすることだという。オープンウェイトは、

Anthropicの共同創業者でCEOのDario Amodeiが、AI開発は「速く進める」より「歩調を合わせて進める」べきだと主張した。しかも彼が言うのは、単に安全研究にもっとお金を回そうという話ではない。モデルの能力向上そのものの速度を意図的に抑え、評価や監督が追いつく時間を確保すべきだ、というかなり踏み込んだ提案だ。AI業界のトップがここまで明確に減速を口にするのは重い。 元記事でAmodeiがまず置いているのは、AIには大きな恩恵がある、という前提だ。彼は、AIが今後5〜10年で多くの大病を治療可能にし、経済成長を加速させ、豊かさと自由の時代を開くかもしれないと書く。自分の父親が病で亡くなったこと、そして自分自身が初期段階のがんを生き延びたことも引き合いに出し、技術進歩が人の命を救う現実を強く意識している。 ただし同時に、AIには深刻な危険もあると彼は言う。制御不能になるリスク、サイバー攻撃やバイオテロへの悪用、そして経済の混乱だ。Anthropicは創業当初から、この恩恵と危険の両方を前提に動いてきたと説明し、「安全を優先しつつ商業的にも成功する道」を探ってきたという。とはい

まず思ったのは、便利さの話に見せかけて、実はかなり大きい設計変更だなということでした。Claude が Chrome extension を介してブラウザを動かすのではなく、アプリの中に browser を抱える。たったそれだけに見えて、ユーザー体験も、セキュリティの責任の置き方も、かなり変わります。 面白いのは、Anthropic がこの変化をわりとあっさり「web tasks don’t need your browser, just a browser」と言い切っているところです。確かに、メールや銀行のようなログイン済みサービスに触らないなら、わざわざ普段の Chrome を貸す必要はない。むしろ、そこを切り離したほうが安心だ、という考え方は筋が通っています。 ただ、その「安心」は完全ではない。記事でも触れているように、prompt injection は残る。ページに埋め込まれた指示で agent をだます問題ですね。ここがいちばん引っかかりました。ブラウザを内蔵しても、web という場所そのものが信用できないのは変わらない。便利にするほど、だまされ方も洗練される気がします。

この記事を読んでまず思ったのは、Anthropic の態度が「一貫していない」のではなく、むしろ一貫しているからこそ厄介だ、ということだった。 同じ会社が、6月には「モデルを広く配るな」という理屈を自分の身を守るために使い、7月にはその理屈を他社に対して公に擁護しない。そこに露骨な矛盾があるというより、「制御された提供」と「open weights（重みの公開）」を別物として扱っている線引きが、外から見るとかなり都合よく見える。 ここで面白いのは、批判している側が“安全”の話をしているのに、記事全体を読むと結局は市場の話に見えてしまうところだと思う。open weights って、要するにモデルの中身をダウンロードして勝手に改変できる形で出すことだが、Anthropic はそれを嫌っている。一方で、June の件では「規制で一社だけ止めても、能力そのものは消えない。真面目に守る側だけが不利になる」と言っていた。あの理屈は、たしかにそのまま open weights の議論に刺さる。だからこそ、Anthropic がそこを表で言わないと、結局は「自分の商売に不利だから反対しているだけでは