AI企業が新しい言語モデルを出した、というだけなら今では珍しくありません。ですがRicursive Intelligenceの発表は少し毛色が違います。彼らは単に会話用モデルを作ったのではなく、半導体設計のための社内プラットフォームを動かす基盤としてモデルを育て、その成果として一般向けのRipple-65B Previewも公開しました。しかも、狙いは「AIでコードを書く」だけではなく、「AIでチップを設計し、そのチップでさらにAIを強くする」という循環を作ることにあります。モデル、ソフトウェア、ハードウェアを一体で最適化しようとしている点が、この発表を目立たせています。
Ricursive Intelligenceは、自分たちを「full-stack artificial intelligence lab」と位置づけ、ハードウェア、ソフトウェア、モデルを同時に最適化することで自己改善するシステムを作っていると説明しています。その中核として、ゼロから学習した言語モデルが今回のRipple-65B Previewです。これは同社のAI chip design platformを支える独自モデルの一般向け版で、12 trillion tokensで事前学習され、最大1Mのcontext lengthに対応するとしています。
同社はこのモデルがエージェント型コーディングで米国のopen-weightモデルの中で最先端だと主張しています。指標としてはTerminalBench 2.1で80.52を記録し、Reflection Beam 501Bの80.1、Meta Muse Spark Open 816Bの76.4、Thinking Machines Inkling 975Bの63.8、NVIDIA Nemotron 3 Ultra 550Bの56.4を上回ったとしています。モデルはdense Transformerで、低遅延の生成と推論性能の両立を狙った設計です。さらに、比較的小さなparameter envelopeのおかげで、NVIDIA DGX Sparkのようなローカル機でも効率よく動くと説明しています。公開先はHugging Face、Together AI、GMI Cloud、OpenRouterで、Fireworksにも後日公開すると書かれています。
コスト面の訴えも強いです。OpenAIのGPT-4が100 million dollarsを超えたというサム・アルトマン氏の発言や、Dario Amodei氏がfrontier AIは最大1 billion dollarsかかりうると述べたことを引き合いに出したうえで、Ripple-65B Previewは32 million dollarsで開発・学習したと主張しています。この32 million dollarsには、pretraining ladderの開発、data mixing、評価、デバッグ、synthetic data生成、posttraining recipeの作成、最後の学習まで含めたR&D全体が入るとしています。
学習手法では、力任せのRLではなく、SFTとRLのレシピを効率重視で何度も調整したと説明します。外部のposttraining dataは買わず、自前のsynthetic data pipeline、品質フィルタ、coverage metricsを作ったそうです。RLではtruncated importance sampling、score centering、linear length penaltyを使い、高品質な長期シナリオの環境を回したとしています。その結果、1.4M rolloutsだけでTerminalBench 2.1の80.5に到達し、前のSOTAだったReflection Beamより約70倍少ないrollout数だったというのが彼らの売りです。
モデル構造もハードウェアに合わせて設計したといいます。MoEではなくmodernized dense Transformerを採用し、pretrainingとposttrainingのインフラを単純にしつつ、強い推論性能を狙ったとのことです。具体的にはd_model 5120、80 total layersという細長い構成で、attention headsを多めにし、SWA-to-global layer比を増やしつつ、SWA window sizeを小さく調整しています。加えて、FFN activation clipping、gated attention、global NoPE、value residualsも入れたと書かれています。pretraining中もMFU 40%を保てたとし、custom kernelもquantizationも使わず、単純なshardingで回せたことを強調しています。
さらに彼らは、Olmo 3のmodel ladderを土台に、段階的な実験で効率を上げた経緯も公開しています。v1.0でStepFunのbatch sizeとlearning rate scaling laws、v1.1で新しいladder、v1.2でpre+post norm、v1.3でsigmoid gated attention、v1.4で2-stream mHC、v1.5でglobal NoPEとfinal LR cooldown to zero、v1.6でvalue residualsを追加したと列挙しています。最終版ではコード比率を大きく上げたcustom pretraining datasetに切り替え、4B scaleでdolma_stack CEが最大16x改善したと主張します。つまり、同程度のコード性能を16分の1のcomputeで出せるようになった、というわけです。
この発表でまず引っかかるのは、ベンチマークの勝利よりも「どういう土俵で勝ったのか」です。Ripple-65B Previewは確かに数字上は目立ちますが、比較対象はあくまで米国のopen-weightモデル群で、しかも指標はTerminalBench 2.1というかなり特定のタスクです。もちろん、エージェント型コーディングで強いというのは実用上かなり大きい。けれど、ここで見えているのは「万能モデルの完成」ではなく、ある用途に強く寄せた設計の成果だと思います。
その意味で重要なのは、彼らがモデル性能だけでなく、学習の回し方やデータ生成まで全部内製化していることです。外部データを買わず、synthetic dataで押し切るやり方は、単にコスト削減というより、学習の再現性と制御性を取りにいく発想に見えます。逆に言えば、そうしないと32 million dollarsという金額は実現しにくいはずです。公開された数字は派手ですが、研究開発の全工程を含むと明記している以上、「安く作れた」というより「作り方をかなり絞り込んだ結果、この金額に収まった」と読むのが自然ではないでしょうか。
Ricursive Intelligenceの本当に面白いところは、LLMを単体製品として売るつもりが薄そうな点です。彼らはAI chip design platformのためにモデルを育て、その内部版が設計プラットフォームを動かしていると明言しています。つまり、モデルは目的であると同時に、半導体設計のための道具でもある。ここに、AI企業の次の競争軸が見えます。モデルの精度だけでなく、どれだけ早くハードウェア設計に戻せるかが価値になるわけです。
この構図は、今のGPU依存のAI産業に対する一種の反作用にも見えます。巨大な汎用GPUで学習するのではなく、チップ設計そのものをAIで効率化し、その結果をまたAIの学習基盤に返す。もしこの循環がうまく回れば、単発のモデル性能よりも、設計サイクルの短縮や専用チップの最適化で差がつくことになります。私は、ここに彼らの本命があると思います。公開されたRipple-65B Previewはその入口に過ぎず、本当に価値が出るのは社内で使われる非公開版のほうかもしれません。
最近のフロンティア系モデルではMoEが話題になりやすいですが、Ricursiveはあえてdense Transformerを選んでいます。これは地味に見えて、かなり実務的な判断だと思います。MoEは理論上は効率的でも、学習・推論・配備の複雑さが増えやすい。彼らはそこを避け、シンプルなshardingでMFU 40%を維持し、custom kernelやquantizationにも頼らずに済む構成を優先した。チップ設計をやる会社らしく、ソフトウェアの複雑さそのものを減らす方向に振っているわけです。
この選択は、モデルの性能競争というより、運用コストと再現性の競争では強いはずです。特に、将来これを社内の設計支援に組み込むなら、推論の安定性や低遅延はかなり重要になります。派手なアーキテクチャより、予測しやすく、壊れにくく、効率が読めるほうが価値になるからです。AIの世界では「もっと大きく、もっと複雑に」が勝つように見えがちですが、この発表は逆で、削れる複雑さを削ったうえで、必要なところだけを尖らせた印象があります。
一方で、こうした「AIでチップを作り、そのチップでAIを作る」循環は、うまく回り始めると非常に強い反面、参入障壁も高くなります。モデル開発、データ生成、評価、ハードウェア最適化が全部つながると、外部からは中身が見えにくくなる。しかも、同社が強調するのはopen-weightでのSOTAと社内プラットフォームの両方です。公開モデルは確かにオープン寄りでも、真の競争力が社内閉じの最適化にあるなら、外から見える成果は一部に限られるでしょう。
私はここに少し危うさも感じます。効率化の物語は魅力的ですが、実際には一社が学習基盤と設計基盤を囲い込むほど、成果はさらに自己強化されやすい。オープンソースへの敬意を示しつつ、最終的には自社のchip design platformへ収束していく流れは、業界としては自然でも、外部の開発者にとっては距離のある話です。だからこそ、この発表は「すごいモデルが出た」で終わらず、AIと半導体の垂直統合がどこまで進むのかを占う材料として見るのが面白いと思います。
参考: Recursive Self-Improvement via AI for Chip Design & Chip Design for AI - Ricursive Intelligence
