Mac Studioで巨大LLMを動かすAppleの実験、RDMAで見えた現実
AppleのMachine Learning Researchが、Mac Studio上で巨大なLLMをどう走らせるかをかなり具体的に示しました。単体のMac Studioで扱えるモデルの範囲を確認したうえで、2台、4台とつないで推論を分散し、Thunderbolt経由のRDMAで通信の遅さをどこまで抑えられるかを測っています。単なる「MacでもAIが動きます」という話ではなく、どの場面で速くなり、どこで効きにくいのかまで踏み込んでいるのが面白いところです。研究としての位置づけも、AppleがMacをAI開発機として押し出したい意図も、かなりはっきり見えます。 元記事は、Appleのオープンソースの配列計算フレームワーク「MLX」を使い、Mac Studio上で大きなLLMをローカル実行する話から始まります。Apple siliconのユニファイドメモリを生かせば、研究者や開発者が自分の手元のハードウェアで新しい推論手法やfine-tuningを試せる、というのが前提です。 今回の主役は、ほぼ1兆パラメータ級とされる新しいモデル「Muse Spark Open」です。Appleはこれを
papoo.work