小さな端末で大きなLLMを動かす、smolmaxxingの執念
古いタブレットやTV बॉक्स、そして十分にメモリがあるとは言えないスマートフォンで、思ったより大きな language model を走らせる。そんな無茶にかなり本気で取り組んだ GitHub リポジトリが公開されている。単に「動きました」で終わらず、どうやってメモリを削り、どこからモデルを読み込み、どの端末でどの速度が出たのかまで詰めているのが面白い。AI をクラウドで使うのが当たり前になった今だからこそ、手元の古い機械をどこまで使い切れるのかが見えてくる。 このリポジトリは、`smolmaxxing` という名前の通り、「できるだけ小さな端末で、できるだけ大きな LLM を動かす」ことを目指した実験集だ。ベースは `llama.cpp` で、そこに複数の patch を当てている。狙いは単純で、CPU、RAM、flash storage が余っているのに普段は眠っている古い端末を、ローカル推論の機械として再利用することだという。しかも、ここに載っている数字はすべて端末上で実測したものだと明記されている。 公開されている結果は、Xiaomi TV Box S (3rd Gen)、
papoo.work