#moe

Apple Silicon の Mac で、2.8兆パラメータ級の MoE モデルをどう動かすか。argonautlabsai/deltafin は、その無茶にかなり真面目に挑んだ GitHub リポジトリだ。単なる「動いた」報告ではなく、SSD から expert をストリーミングしながら、どこまで実用速度に近づけるかをベンチマーク付きで公開している。しかも、モデルを削ったり「だいたい同じ」で済ませたりしない。そこがこの話の面白いところだと思う。 元記事が扱っているのは、ARGODRIVE Deltafin という fork だ。元になっているのは gavamedia/deltafin で、そこに ARGODRIVE の storage work と benchmark package を足したものだという。狙いははっきりしていて、Kimi K3 を「フルのまま」、しかも Apple Silicon 上でできるだけ速く動かすことにある。 README の TL;DR では、Kimi K3 は 2.8T-parameter の MoE モデルで、expert weights は 1.4

2016年製のXeon、DDR3メモリ、GPUなしという“普通なら無理”な環境でLLMを動かした話 速さのカギはCPU性能よりもmemory bandwidth（メモリからデータを運ぶ速さ） speculative decoding で、重いモデルの前に軽いモデルを走らせて高速化している MoE（Mixture of Experts）モデルでは、どの expert をどう扱うかが性能に直結する mlock や run-time-repack みたいな地味な最適化が、古いマシンではかなり効く 便利な黒箱ツールではなく、細かいフラグを理解して使い分けることが重要 「10年前のXeonで最新級のLLMを動かす」と聞くと、正直かなり無茶に見えます。 でも今回の元記事は、その“無茶”をちゃんと工夫で押し切る話で、かなり面白いです。私はこういう、性能の限界をソフトウェアでねじ伏せる系の話が大好きです。ロマンがあります。 舞台は、2016年製の Intel Xeon E5-2620 v4 を積んだ再生サーバー。 メモリはなんと **128GB DDR3

LFM2.5-8B-A1B は、Liquid AIが公開した端末向けの高性能 edge model。 128K context window に拡張され、長い文章や長い会話を扱いやすくなった。 tokenizer を改善して、特に非ラテン文字の言語で効率がかなり上がった。 reasoning-only model として設計され、tool calling や複雑な指示追従が強い。 hallucination（もっともらしい誤答） を減らす工夫が入り、信頼性がかなり改善している。 llama.cpp / MLX / vLLM / SGLang / ONNX など、主要な推論基盤で初日から使える。 小型なのに、ベンチマークではかなり大きいモデルに迫る結果を出している。 Liquid AIが新しく公開したのは、LFM2.5-8B-A1B というモデルです。 ざっくり言うと、スマホやノートPCのような手元の機械で、なるべく速く、なるべく賢く動くAI を目指したモデルです。 ここでのポイントは「8B」