#推論

いちばん強く思ったのは、「賢いのはわかった、でもこれをどう使うのかはかなり人を選びそうだ」ということだった。 Intelligence Index で上位なのに、時間もコストもかなり重い。しかも出力がやたら長い。数値を並べると派手だけれど、実運用の気持ちで見ると、かなり“扱いづらい高性能機”に見える。 特に気になったのは、47分台ではなく 48分 というタスク時間の長さよりも、275M tokens を吐くほど verbose だと書かれている点だ。長く考えて長く喋るモデルは、ベンチマークでは強そうに見える一方で、実際には読む側の手間も増える。仕事で使うなら、単に正答率が高いだけでは足りなくて、どこで止めるか、どこを短くさせるかまで設計したくなるはずだと思う。 もう一つ面白かったのは、こういうページが「モデルの頭の良さ」だけでなく、「値段」「速度」「出力の癖」を同じ重さで並べていることだった。AIモデルの評価って、つい精度の高さだけに目が行きがちだけれど、実務では遅さも無駄な長さも普通にコストになる。 このモデルは“能力は高いが、財布と忍耐力に厳しい”という印象で、しか

AIモデルを使っていて、ある日だけ急に賢く見えたり、翌日には妙に鈍く感じたりすることがある。Xで話題になっているのは、その違和感を「モデルが劣化した」と片づけず、実際にどこで差が生まれているのかを追った観察だ。投稿したのは Lon Lundgren さんで、Anthropic の Fable 5 をめぐる挙動を6週間かけて追跡した結果を共有している。読んでいて面白いのは、問題がモデルの中身というより「どういう推論設定で返されているか」にあるかもしれない、と切り込んでいる点だと思う。 Lon Lundgren さんの主張は、Anthropic が Fable 5 をサブスクリプションプランで恒久的に使えるようにしたあと、体感性能が大きく落ちたように見えた、というものだ。本人は当初、モデルが「dumber」になったと感じたが、その理由はすぐには説明できなかったという。 そこで後から測定を重ねたところ、8月は7月に比べて「thinking tokens」が大幅に少なかった。thinking tokens は、モデルが内部で推論に使う計算の痕跡のようなもので、これが少ないと一見すると同じモデル

オープンモデルの出力が、別のモデルの「考え方」にどれだけ引っ張られるのかを確かめた短い実験が出てきた。題材は一見地味だが、モデル同士の学習のつながりを探るうえではかなり示唆がある。しかも今回は、教師役に GPT-5.5 Pro を使い、以前の実験と比べてどのモデルがどちら方向に寄るのかを見直している。単なるベンチマークではなく、「どのモデルが誰の影響を受けたのか」を探る話として読むと面白い。 元記事は、`reasoning-prefill-1-1.md` という Gist に置かれた実験メモだ。タイトルにある “Reasoning prefills on a few open models, v1.1” の通り、いくつかのオープンモデルに対して「推論の書き出し部分を先に与える」と、回答の見え方がどう変わるかを調べている。ここでいう reasoning prefill は、モデルが答えを出す前の“考える途中”の文面を、別のモデルから少しだけ差し込むやり方だ。今回はその教師を GPT-5.5 Pro に変えて、前回の実験をもう一度回した。 実験の手順はこうだ。各問題について、対象モデルには

100%という数字は、正直かなり気持ちがいい。でもこの記事を読んで最初に思ったのは、そこに素直に拍手していいのか、という引っかかりだった。ARC-AGI-3みたいな推論ベンチマークで、あるモデル単体では30%だったものが、NvidiaのAVOというagent systemに包むと100%まで跳ねる。たしかに派手だし、デモとしては強い。でも同時に、「それはモデルが賢いのか、それとも外側の仕組みがうまく問題を解いたのか」は切り分けて見ないといけないと思う。 この手の話でいつも面白いのは、モデルの性能そのものよりも、周辺の設計がどれだけ結果を変えるかが露骨に見えるところだ。Claude Opus 5が30%しか取れないのに、agent systemをかませただけで全183レベルで100%というのは、AIの能力が一枚岩ではないことをはっきり示している。人間の感覚に近いのはむしろこっちで、実際の仕事でも「頭脳」だけでなく、確認の仕方、道具の使い方、試行錯誤の流れで結果が大きく変わる。だからこの結果自体は、単なる誇張として片づけるより、「推論はモデル単体ではなく実行系込みで測るべきだ」という方向に

まず思ったのは、Anthropic までここに来たか、という驚きよりも、「やっぱりGPUを借り続けるだけでは怖いんだな」という納得感のほうでした。AIモデルを動かすコストの話はいつも抽象的に語られがちですが、推論用のチップを自前で持ちたくなる気持ちはかなり現実的です。学習用ほど派手ではないにせよ、推論は使われる回数が多いぶん、積み上がる請求額が重い。Claudeのようなサービスを回していくなら、Nvidia GPUに依存し続ける構図はかなり苦しいのだと思います。 それと、この記事でいちばん引っかかったのは、Anthropicが「自社で全部作る」のではなく、co-design だとされている点でした。ここは大事で、完全な内製化というより、設計を握りつつ製造は外部に頼る形です。Samsung が製造パートナー候補として出てくるのも、その延長線上なら自然です。AI企業がいきなり半導体メーカーになるわけではない。けれど、チップの仕様に口を出す側へ回るだけでも、かなり立場は変わるはずです。 ただ、こうした「自前チップ」の話は、聞こえは強いのに、実際にはかなり泥臭いと思います。推論専用ASICは、

OpenAIが、Broadcomと共同開発した初のカスタムチップを発表しました。名前は「Jalapeño」。ちょっと辛そうな名前ですが、中身はかなり本気です。これはOpenAI向けに特化した inference processor、つまりAIモデルを実際に動かすための処理装置です。 今回の話で面白いのは、OpenAIが「AIを作る会社」から、だんだん「AIを支えるインフラまで自分で作る会社」になりつつあることです。モデルを作るだけではなく、その下にあるチップやメモリ、ネットワークまで最適化する。かなり野心的だと思います。 OpenAIがBroadcomと共同で、初の自社向けカスタムチップ「Jalapeño」を発表 用途は inference、つまり学習済みAIをユーザーの命令に応じて動かす場面 OpenAIは、自社AIモデルもチップ開発に活用したという まだテスト段階だが、現行の最先端チップより performance-per-watt がかなり良いとされる Nvidiaへの依存を減らす狙いがある 生成AIの事業では、推論コストの削減がそのまま利益改善につながりやすい Jalapeño