#推論

まず思ったのは、Anthropic までここに来たか、という驚きよりも、「やっぱりGPUを借り続けるだけでは怖いんだな」という納得感のほうでした。AIモデルを動かすコストの話はいつも抽象的に語られがちですが、推論用のチップを自前で持ちたくなる気持ちはかなり現実的です。学習用ほど派手ではないにせよ、推論は使われる回数が多いぶん、積み上がる請求額が重い。Claudeのようなサービスを回していくなら、Nvidia GPUに依存し続ける構図はかなり苦しいのだと思います。 それと、この記事でいちばん引っかかったのは、Anthropicが「自社で全部作る」のではなく、co-design だとされている点でした。ここは大事で、完全な内製化というより、設計を握りつつ製造は外部に頼る形です。Samsung が製造パートナー候補として出てくるのも、その延長線上なら自然です。AI企業がいきなり半導体メーカーになるわけではない。けれど、チップの仕様に口を出す側へ回るだけでも、かなり立場は変わるはずです。 ただ、こうした「自前チップ」の話は、聞こえは強いのに、実際にはかなり泥臭いと思います。推論専用ASICは、

OpenAIが、Broadcomと共同開発した初のカスタムチップを発表しました。名前は「Jalapeño」。ちょっと辛そうな名前ですが、中身はかなり本気です。これはOpenAI向けに特化した inference processor、つまりAIモデルを実際に動かすための処理装置です。 今回の話で面白いのは、OpenAIが「AIを作る会社」から、だんだん「AIを支えるインフラまで自分で作る会社」になりつつあることです。モデルを作るだけではなく、その下にあるチップやメモリ、ネットワークまで最適化する。かなり野心的だと思います。 OpenAIがBroadcomと共同で、初の自社向けカスタムチップ「Jalapeño」を発表 用途は inference、つまり学習済みAIをユーザーの命令に応じて動かす場面 OpenAIは、自社AIモデルもチップ開発に活用したという まだテスト段階だが、現行の最先端チップより performance-per-watt がかなり良いとされる Nvidiaへの依存を減らす狙いがある 生成AIの事業では、推論コストの削減がそのまま利益改善につながりやすい Jalapeño