LLMの量子化は、モデルを小さくして動かしやすくするための定番手法ですが、圧縮しすぎると答えの精度や文章の自然さが落ちます。GitHubに公開された「lookatmyquant」は、その損失をどう減らすかに真正面から取り組んだプロジェクトです。しかも単なる実験ノートではなく、Apple Silicon向けの実行環境やコマンド、公開済みの量子化済みモデルまで揃えています。サイズを抑えながら品質をどこまで守れるか、その答えをかなり具体的に見せているのが面白いところです。
lookatmyquant は、モデルの各部分が圧縮時にどれだけ出力を傷つけるかを測り、その損失が小さくなるようにコードを割り当てる「quantization compiler」として説明されています。要するに、全部を一律に細かく削るのではなく、重要なところにはより丁寧な表現を残し、そうでないところは大胆に圧縮する設計です。README では、この方法で Gemma 4 E2B の GGUF が、同じファイルサイズの Q4_K_M より 12倍低い KL を達成したと書かれています。KL は出力分布のずれを表す指標で、これが低いほど元のモデルの振る舞いに近いと読めます。
公開されている例はかなり具体的です。まず Qwen3.5-4B を 1.23 GB まで圧縮した「LookAtMyQuant 2」が挙げられています。これは 2.3 bits per weight で、330/540 の exact-answer math problems を解き、Prism ML の Bonsai 2 Ternary 4B の 328問をわずかに上回った一方、元モデルの 359問には届いていません。持ち出されている KL は、保持データ上で 0.45 nats。比較対象の Bonsai は 0.59 nats です。README は、このレシピが post-training quantization に trellis codes を使い、モデル自身の解いた数学解答で校正し、数字トークンを10倍重く扱い、row ごとのビット配分を Fisher information で決めたうえで、さらに 4,000 steps の distillation を行うと説明しています。しかもその際、各層を元の重みから一度ずつ再量子化するのだといいます。計算資源の見積もりとしては、およそ 34ドル分の GPU 時間だったとしています。
次に Qwen3.8-27B では、53.7 GB だったものを 7.2 GB まで落としています。こちらは 2.1 bits per weight で、英語の文章、チャット、コード、数学で校正し、540問の math problems を 401問解いて元モデルと同じ水準に達したとされています。Unsloth の UD-IQ2_XXS GGUF と同じサイズ帯の比較では、HumanEval 73.8% 対 67.1%、MMLU 78.8% 対 75.0%、GSM8K 94.5% 対 92.7% と、いずれも上回りました。さらに Apple Silicon 上では、別の 4-bit DSpine drafter を併用するとデコードが速くなるとしており、実運用まで意識した構成になっています。
もっと大きい例としては Inkling-2-Mini があり、18.89 GB の text weights から 5.38 GB、8.87 GB、11.18 GB、12.76 GB の4つのビルドに分けて圧縮しています。ここでは NVFP4 や trellis codes、row trellis codes、tail の bucket に対する制約、native NVFP4 passthrough など、かなり細かな手法が混ざっています。評価では、12.76 GB 版が教師モデルと同じ 349/349 pooled を達成し、11.18 GB と 8.87 GB も 99.2〜99.3% の 3-task mean を保ったとしています。速度面でも、Apple M5 Max で prefill や decode の tok/s が示され、実用上の速さも意識していることが分かります。README には、Apple Silicon 用 runtime のインストール方法、lamq generate や lamq chat のコマンド、Python から runtime_mlx.load を使う例まで載っています。つまりこれは、論文っぽい主張だけではなく、すぐ触れる形にまで落とした公開物です。
量子化と聞くと、どうしても「4bit化で何%落ちるか」という大ざっぱな話になりがちです。けれど lookatmyquant は、損失を平均で見るのではなく、どの row がどの token に効くかまで掘っています。ここがかなり重要だと思います。モデルを丸ごと同じ扱いにしない、という発想です。実際、数字トークンを10倍重くしたり、Fisher information に基づいて row ごとにビットを配分したりしているのは、数学やコードのように「一部のトークンが全体の正しさを左右する」場面を強く意識しているからでしょう。
このアプローチは、ただサイズを削るだけの圧縮とはかなり違います。言い換えると、ファイルサイズの節約ではなく、どこで壊れると人間が困るかを先に見ている。だからベンチマークも、単なる困難なテキストではなく、exact-answer math や HumanEval、GSM8K のような「少しの誤差がそのまま失点になる」ものが中心です。私は、ここにこのプロジェクトの芯があると思います。量子化はこれまで、多少の劣化を受け入れる代わりに軽くする技術として見られがちでしたが、lookatmyquant は「劣化のしかたを設計する技術」に寄せてきた。そこが新しいです。
一方で、README の数字をそのまま「勝ち」と読むのは少し危ないとも思います。まず、比較の土俵がそれぞれ少しずつ違います。Qwen3.5-4B は数学中心、Qwen3.8-27B は英語・コード・数学、Inkling-2-Mini はさらに多言語や vision を含めた評価です。結果はどれも立派ですが、異なる設計のモデルを同じ物差しで単純比較しているわけではありません。また、KL が低いことは出力分布の近さを示しますが、実際のユーザー体験が必ずしもそれだけで決まるわけでもありません。長い対話での安定性や、微妙な指示追従、ツール利用との相性は、ここに出ている指標だけでは見えません。
さらに、ここで示されているのはかなり手の込んだレシピです。trellis codes、distillation、Fisher information、特殊な drafter との組み合わせなど、単純な量子化ツールとしてそのまま真似するにはハードルがあります。つまり、この成果は「誰でもすぐ同じことができる」というより、「かなり考え抜けば、4bit一辺倒より良い圧縮設計はありうる」と示したものに近い。私はここに価値があると思う一方で、普及の壁も見えます。研究としては鋭いですが、日常的な配布形式として広がるには、もっと単純な利用体験に落とし込む必要がありそうです。
このREADME を読んでいて印象に残るのは、評価結果だけで終わらず、Apple Silicon の runtime や lamq コマンドまでかなり丁寧に案内している点です。これは単なる実験コードの公開ではなく、実際に動かしてもらうことを前提にした作りです。とくに MLX 系の runtime で使える形にしているのは、Mac ユーザーにとって大きいはずです。GPU が限られていても、比較的大きなモデルをローカルで試せるからです。
この方向性は、近ごろのローカルLLMの流れとも合っています。モデルの性能競争だけでなく、「どのサイズなら自分の手元で快適に回るか」が重要になってきたからです。lookatmyquant は、その問いに対して単に“軽くする”のではなく、“壊れ方を管理しながら軽くする”という答えを出そうとしています。私は、ここがこのプロジェクトの一番面白いところだと思います。圧縮は裏方の技術に見えますが、実はユーザーが触れる品質をかなり左右する。だからこそ、こういう地味だが中身の濃い改良は、派手な新モデル発表と同じくらい重要です。
LLMは大きくなるほど性能が上がる一方で、配布と運用の負担も増えます。そこで「サイズをどう減らすか」は、単なる節約ではなく、モデルを実際に使える形にするための本丸になります。lookatmyquant のように、同じサイズでより元モデルに近づける試みは、特にローカル実行やエッジ環境で強く効くはずです。Apple Silicon 向けにここまで詰めているのも、その現実感の表れでしょう。
とはいえ、こういう技術は結局、一般ユーザーが直接「量子化の理屈」を意識するより、静かに恩恵を受けるものだと思います。アプリが軽くなる、レスポンスが速くなる、手元で動くモデルが増える。その裏側にあるのが、こうした compiler 型の量子化です。派手さはないけれど、土台としてはかなり重要です。lookatmyquant は、その土台を「平均的に小さくする」から「壊したくない場所を守って小さくする」へ少し押し広げた。私はこの方向は、今後もっと注目されていいと思います。