ローカルで動かすLLMは、スペック表だけ見ても実際の“体感速度”がつかみにくい。GPUの型番やメモリ容量は分かっても、プロンプトを打ってから最初の1トークンが返るまでの間や、生成のテンポは、使ってみないと想像しづらいからだ。今回のllmspeedは、そのもどかしさを少し埋めるためのサイトで、ハードウェアとモデルを選ぶと、買う前にどれくらい速く感じるかを見せてくれる。単なるベンチマーク表ではなく、ローカルLLMの“使い心地”を先に想像させるところが面白い。
llmspeedは、ローカルで動くLLMの速度を事前に試せるシミュレーターだ。サイトには「feel local LLM speed before you buy」という説明があり、要するに、手元の環境でモデルを動かしたときの感覚を、購入前に確かめられるようにしている。使い方は単純で、まずハードウェアを選び、次にモデルを選ぶ。すると、その組み合わせでどのくらいの速度になるかを示してくれる。
サイト上では、NVIDIA RTX 3090 24GB、RTX 4090 24GB、RTX 5090 32GB、RTX 5060 Ti 16GB、RTX PRO 6000 96GB、Tesla V100 32GB、DGX Spark 128GB、H100 80GB（cloud）、H200 141GB（cloud）といったGPUやクラウド向けの構成に加え、Mac Studio M5 Ultra 256GBや512GB、MacBook Pro M5 Max 128GB、Mac mini M5 Pro 64GB、MacBook M4 Pro 24GB、CPU-only（Ryzen 9 9950X, 96GB DDR5）なども並んでいる。AMD側も、Ryzen AI Max+ 395 128GB（Strix Halo）、Ryzen AI Max+ PRO 495 192GB（Gorgon Halo）、RX 7900 XTX 24GB、RX 9070 XT 16GB、Instinct MI50 32GB、Radeon AI PRO R9700 32GBなど、かなり広い。
モデルのほうも幅がある。Qwen 3.6/3.8 27B、Qwen 3.8 Flash-Next、GLM-5.3 Flash、Gemma 4 26B A4B、GPT-OSS 20B、Qwen 3.5/3.6 35B A3B、Gemma 4 31B、Qwen 3.5 9B、DeepSeek V4 Flash、DeepSeek V4.1 Flash、GPT-OSS 120B、Llama 3.1 8B、Gemma 4 12B、GLM-5.3、Nemotron 3.5 Lightning 30B A3B などがあり、同じハードでもモデル次第で体感が変わることを前提にしている。
説明文では、これは「短いプロンプトを1台の端末で試したとき」の推定だとされている。速度の根拠には、r/LocalLLaMA や localscore.ai などのコミュニティベンチマークがあり、実測値があるものはそれを使い、それ以外は似た構成からの推定や、スペックからの予測で補っている。サイトは open source で、コードとデータは GitHub に置かれている。JavaScript が必要な作りで、llmspeed は「どのハードとモデルならどれくらい速く感じるか」を、数値だけでなく選びやすさまで含めて見せるサイトだ。
面白いのは、llmspeed が「最高性能のGPUはどれか」という話に寄っていないことだと思う。もちろん、ハイエンドGPUは速いはずだが、実際に知りたいのはそこではなく、「このモデルをこの環境で回したとき、待たされる感じはどれくらいか」だろう。LLMは、純粋なスループットだけでなく、最初の応答が出るまでの時間がかなり効く。数秒の差でも、チャットの印象は大きく変わる。llmspeed はその感覚に寄せている。
この発想は、AI用途のPCやGPUを選ぶ人にとってかなり実用的だと思う。従来のベンチマークは、数字が高いほど良いという見方に寄りやすい。でもローカルLLMでは、24GBで十分なケースもあれば、メモリが足りずに一気に使い勝手が落ちるケースもある。逆に、モデルを小さくすれば、そこまで高価な構成でなくても「十分速い」と感じることがある。つまり、性能は絶対値ではなく、選ぶモデルとの相性で決まる。そこを前に出したのは、かなり筋がいい。
llmspeed は、家電量販店で触ってから買う感覚を、半分オンラインに持ち込んだようなサイトでもある。しかも対象が単なるPCではなく、ローカルで動くLLMだ。これは地味に大きい。クラウドAIなら、速さはサービス側の責任だが、ローカルLLMはどのマシンを買うかで体験が変わる。しかも、同じGPUでもモデルや量子化、搭載メモリ、CPU構成で印象が変わるので、購入判断が難しい。
こういうとき、スペック表だけだと判断を誤りやすい。たとえば「大きいメモリがあるから安心」と思っても、実際には生成速度が遅くて使う気が失せることがあるし、逆に「そこまで高くない構成でも、使いたいモデルなら十分」ということもある。llmspeed は、そのズレを埋めようとしている。しかも、コミュニティベンチマークを土台にしている点がいい。企業の宣伝値ではなく、ユーザーが集めた実データに寄せているので、少なくとも判断の拠り所としては素直だと思う。
一方で、これは万能な予測器ではない。サイト自身が示している通り、対象は「短いプロンプト」で、「1台のデバイス」での推定だ。実際の使い方はもっと雑多で、長文のやり取りを続けたり、ツール呼び出しを挟んだり、バックグラウンドで別の処理が走っていたりする。そうなると、ここで見える速度感と体験はずれるはずだ。ここは過信しないほうがいい。
それでも、この制約は欠点というより、むしろ誠実さでもあると思う。ローカルLLMの速度は、条件を広げるとすぐにブレる。だからこそ、まずは「短い入力に対してこの構成だとどう感じるか」を固定して比べるのは意味がある。実運用の全体像を代替するものではないが、購入前の迷いを減らすには十分役立つはずだ。とくに、Mac、NVIDIA、AMD、CPU-only を横断して並べているので、異なる陣営の比較をしたい人には便利だろう。ローカルAIの導入が、趣味から実務へ少しずつ広がっている今、こういう“体感に落とした比較”は増えていくのではないか。
