AppleのMachine Learning Researchが、Mac Studio上で巨大なLLMをどう走らせるかをかなり具体的に示しました。単体のMac Studioで扱えるモデルの範囲を確認したうえで、2台、4台とつないで推論を分散し、Thunderbolt経由のRDMAで通信の遅さをどこまで抑えられるかを測っています。単なる「MacでもAIが動きます」という話ではなく、どの場面で速くなり、どこで効きにくいのかまで踏み込んでいるのが面白いところです。研究としての位置づけも、AppleがMacをAI開発機として押し出したい意図も、かなりはっきり見えます。
元記事は、Appleのオープンソースの配列計算フレームワーク「MLX」を使い、Mac Studio上で大きなLLMをローカル実行する話から始まります。Apple siliconのユニファイドメモリを生かせば、研究者や開発者が自分の手元のハードウェアで新しい推論手法やfine-tuningを試せる、というのが前提です。
今回の主役は、ほぼ1兆パラメータ級とされる新しいモデル「Muse Spark Open」です。Appleはこれを、最新のMLXでMac Studioのデスクトップから動かせると示しました。4台のMac Studioを使った構成では、Muse Spark Openが36 tokens per second超で生成できたとしています。人間の読書速度を上回る、という表現で実用感を出しています。
Appleはまず、1台のMac Studioで動くモデルを確認しています。対象はQwen 3.8 27B、Mistral Medium 3.5 128B、Muse Spark Open 816Bの3つです。Qwen 3.8とMistral Medium 3.5は1台のMac Studioに収まり、65,536 tokensの長いコンテキストでも、それぞれ最大68GB、158GBのRAMを使うとしています。M5 Ultraでは、GPU Neural AcceleratorがTTFT（最初の1 tokenが出るまでの時間）を最大4.6倍短縮し、生成速度もM3 Ultra比で1.6倍速いとしています。消費電力はM3 Ultraで約200W、M5 Ultraで約300Wで、家庭やオフィスでも扱える範囲だと強調しています。
一方、Muse Spark Openは単体では厳しい。BF16のままだとモデル本体だけで1.6TB超のRAMが必要で、4-bit量子化したNVFP4でも約493GBになります。推論時の中間計算まで含めると、1台には収まりません。そこでMLXは、複数台のMac Studioにまたがる分散推論を使います。
方法は2つあります。1つはpipeline parallelizationで、モデルの層を縦に分け、前半を1台、後半をもう1台に置くやり方です。元記事では、2台のMac StudioをThunderboltケーブル2本でつなぎ、macOS 26.2の低遅延RDMAドライバと、MLX v0.30.1以降の通信機構「jaccl」を使うと説明しています。これにより、長文のprefillでは2台構成が1台構成を上回る場面があり、65,536 tokensでは最大約1.8倍速くなったとしています。もう1つはtensor parallelizationで、モデルの幅方向に分け、各層の計算自体を複数台で並列化する方法です。こちらは通信回数が多く、低遅延なRDMAがないと速度向上が出にくい、という整理でした。Appleは、MLXのmlx.launchでこうした分散実行を比較的簡単に切り替えられることも示しています。
この発表で一番大きいのは、AppleがMac Studioを単なるローカル推論機ではなく、分散推論のノードとして見せている点だと思う。従来、AppleのAI向け説明は「ローカルで安全」「省電力」「Unified Memoryが便利」という話に寄りがちだった。だが今回は、そこにRDMA over Thunderboltというかなり具体的なネットワークの話を重ねてきた。つまり、1台で完結する小さな実験機から、複数台を束ねる本格的な研究環境へ話を押し広げている。これは地味に見えて、Macの立ち位置を変えるメッセージではないか。
特に気になったのは、AppleがTTFTとdecode throughputを分けて見せていることだ。最初の1 tokenが出るまでの時間は計算性能が効き、生成速度はメモリ帯域が効く、と整理している。これはLLMを使う側の肌感覚にかなり近い。長文のコード補完やエージェント用途では、待ち時間が少し減るだけでも体感が変わる。逆に、ただ「tokens/sが上がった」と言われても実務では意味が薄いことがある。Appleはそこを分けて見せ、しかもM5 UltraのGPU Neural Acceleratorと1.2 TB/sの帯域を結びつけて説明している。ハードの改善がどこに効くのかが、かなり素直に伝わる。
Muse Spark Openのような巨大モデルを、4台のMac Studioで36 tokens/s超まで持っていったこと自体は派手だ。でも、実務の観点で見ると本当に効くのは「これなら自社内で閉じた実験ができる」と感じさせる点だと思う。大規模モデルの推論をクラウドGPUに逃がさず、手元の机の上で回せるなら、データ持ち出しやアクセス制御の懸念はかなり減る。Appleが「private environment」を強調するのも自然だ。
ただし、ここには現実的な壁もある。4台のMac Studioを使うというのは、研究室や一部の企業ではあり得ても、一般的な開発者には簡単ではない。さらに、pipeline parallelizationはまだしも、tensor parallelizationになると通信設計の難しさが一気に上がる。Appleはmlx.launchで手軽さをアピールしているが、実際にはホスト設定やネットワーク構成の理解が要るはずだ。つまり、この発表は「誰でもすぐ使える」ではなく、「Macを本気の実験基盤にしたい人にはここまでできる」と示したものに見える。
RDMA over Thunderbolt 5という組み合わせは、かなりAppleらしい解き方だと思う。普通なら、分散推論は高速EthernetやInfiniBandの世界だと考えがちだが、Appleは既存のMac Studio同士をThunderboltで結び、しかも2本挿して帯域を増やす設計を前面に出している。高価なサーバー機材の代わりに、デスクトップを積み上げて使う発想だ。これはGPUクラスタの縮小版というより、Macの延長線上にAIノードを置こうとしている。
この方向性には、Appleが将来やりたいことの輪郭も見える。もしローカルAIがさらに大きくなれば、単体性能の競争だけでは足りない。電力、静音性、設置のしやすさ、そして複数台をつないだときの通信コストが重要になる。Appleはそこを、自社のハードとOSでまとめて押さえにいっているように見える。もちろん、現時点ではクラウドの巨大GPU群に正面から勝てる話ではない。でも、研究用途や社内用途では「Macでここまで行ける」という基準を作る意味は大きい。今回の記事は、その基準をApple自身が引き上げに来た、という受け止め方がいちばんしっくりくる。
参考: Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio
