ds4 は DeepSeek v4 Flash 専用 のローカル推論エンジンllama.cpp と GGML への強い依存・敬意がはっきり書かれているGitHubの antirez/ds4 は、DeepSeek v4 Flash を Mac の Metal 上でローカル推論するための専用エンジンです。
要するに、「何でも動く万能ランタイム」ではなく、このモデルを気持ちよく動かすことだけに集中した道具です。
ここ、かなり面白いです。最近は「とりあえず汎用対応」のツールが多い一方で、ds4 は逆にモデルを選び、実行環境も選び、やることを絞る。この潔さはかなり好きです。便利さの代わりに、完成度と検証の濃さを取りに行っている感じがあります。
ds4 は何を目指しているのかREADME を読むと、このプロジェクトの立ち位置はかなり明確です。
つまり、「DeepSeek v4 Flash を動かす」という一点に、かなり真剣に振り切っています。
ここでいう inference は、AIモデルに文章を入力して答えを返させる処理のことです。
Metal は Apple の GPU 向けAPIで、Macで高速に計算するための仕組みだと思えばOKです。
README では、DeepSeek v4 Flash を「かなり特別なモデル」だと評価しています。その理由として挙げているのが、ざっくり次の点です。
MoE（Mixture of Experts）系のモデルでは、毎回すべてのパラメータを使うわけではありません。
active parameters とは、その場で実際に動く部分のことです。これが少ないと、理屈の上では速くなりやすい。
README によると、thinking mode で max thinking を避けると、他のモデルよりかなり短い思考セクションを出しやすいそうです。
しかも、その長さが問題の難しさに応じて伸びるので、必要以上にダラダラ考えないのが良い、としています。
これ、地味に重要です。ローカル推論では、モデルが長々と思考を書き続けると一気に使いづらくなります。
「賢いけど遅すぎるAI」は、実際の運用ではかなり困るので、ここを評価しているのは納得感があります。
context window は、モデルが一度に覚えておける入力の長さです。
1 million tokens はかなり巨大です。長い会話や大量の資料を扱いやすくなります。
KV cache は、モデルが会話の途中経過を保持するためのメモリ領域です。
これが圧縮されていると、長文処理でメモリを食いにくくなります。
README では、これを使って ローカルPCでの長文推論 や disk上へのKV cache永続化 を視野に入れているとしています。
個人的には、ここが一番“未来っぽい”ポイントです。KV cache を単なるRAMの消費物ではなく、SSDも使う前提の第一級市民として扱う発想は、かなり攻めています。
quantization は、モデルを軽くするために数値表現を粗くする手法です。
2-bit はかなり強い圧縮で、普通なら品質低下が心配になります。
しかし README では、DeepSeek v4 Flash は特別なやり方で量子化すると、2-bit でもそこそこ実用になると述べています。
しかも、128GB RAM の MacBook でも動かす想定がある。これは相当ハードルが高いですが、夢はあります。
このプロジェクトは便利そうに見えますが、制約もはっきりしています。
ds4 は Metal専用 です。
つまり、基本的には Apple Silicon の Mac を強く意識したプロジェクトです。
将来的に CUDA を実装する可能性には触れていますが、README のトーンを見る限り、本命はあくまでMac です。
これはブレがなくて気持ちいい反面、使える人はかなり限られます。
README には少し過激なことも書かれています。
CPU path は correctness check のためにあるものの、現行 macOS の仮想メモリ実装にバグがあり、CPU code を動かすと kernel crash することがある、としています。
ここはかなり生々しいです。
技術記事として見ると、理想論ではなくOSやメモリ管理の泥臭さに踏み込んでいるのが印象的です。ローカルAIの世界って、モデルが賢いかどうか以前に、こういう足回りで勝負が決まるんですよね。
README 自身が、これは alpha quality code だと明言しています。
つまり、まだ完成品というよりは「かなり野心的な試作」に近いです。
この正直さは好感が持てます。
最近は何でも「production-ready」に見せがちですが、ここではむしろ「まだそこまでではない」と先に言っている。こういう態度は信頼しやすいです。
llama.cpp と GGML への敬意がかなり強いREADME には、ds4 が llama.cpp と GGML なしでは存在しなかったと、かなり強く書かれています。
llama.cpp はローカルLLM界隈で非常に重要なプロジェクトで、
など、多くの土台を作ってきました。
ds4 はその上に成り立っている、と明言しています。
この「自分たちはゼロからではない」という態度、すごく健全だと思います。技術はだいたい積み木なので、先人への敬意がないプロジェクトは長続きしにくいです。
README には、モデルのダウンロード方法とビルド方法が載っています。
./download_model.sh q2./download_model.sh q4Hugging Face の antirez/deepseek-v4-gguf からダウンロードし、./gguf/ に保存します。
途中再開にも対応していて、curl -C - を使っているとのことです。
./download_model.sh mtpこれは --mtp を明示的に有効化すると使える、experimental な機能です。
ただし現時点では、多少速くなるかもしれないが、劇的な速度向上ではないと書かれています。
speculative decoding は、ざっくり言うと「先読みして候補をまとめて出し、効率を上げる」ような技術です。
ただ、README の書き方を見る限り、まだ主役というより実験枠です。
makeその後、./ds4 と ./ds4-server が使えるようになります。
--help を見れば詳しいフラグが確認できる、と案内されています。
README には、local inference を次の3点のセットとして考えるべきだ、という思想が書かれています。
これ、かなり本質的だと思います。
AIモデルって、単に「動く」だけでは意味がなくて、
まで含めて初めて“製品っぽく”なるんですよね。
ds4 は「一つの local model を end-to-end で完成させたい」と言っています。
この思想はかなり好きです。雑に言うと、ベンチマークで勝つだけでなく、現実の使い勝手まで詰めたいということだと思います。
個人的には、ds4 は「万人向けの便利ツール」ではなく、かなり筋の良い実験的プロジェクトに見えます。
良いところは、
一方で、
というハードルもあります。
でも、この割り切りがあるからこそ、面白いんだと思います。
「全部対応」ではなく、「このモデルを、この環境で、本当に気持ちよく動かす」。
ローカルAIの世界はここに価値が出てきている気がします。
llama.cpp や GGUF の発展形を追っている人逆に、すぐ使える汎用ローカルAI環境が欲しい人には、今はちょっと尖りすぎているかもしれません。
antirez/ds4 は、DeepSeek v4 Flash を Mac の Metal 上で動かすために作られた、かなり特化した local inference engine です。
汎用性よりも、このモデルを本気で活かすことに振り切っていて、1M tokens の長大な context や圧縮 KV cache を見据えた設計が印象的でした。
完成品というよりは、「ローカルAIの次のやり方を探る試作」という雰囲気が強いですが、その分だけ野心がある。
個人的には、こういう“尖った実験”から次の標準が生まれることが多いので、今後の展開もかなり気になります。
参考: GitHub - antirez/ds4: DeepSeek 4 Flash local inference engine for Metal