Qwen3.8 27Bの量子化を試したら、4bitはほぼ無傷で1bitは崩れた
ローカルLLMを動かすとき、どこまで圧縮しても実用に耐えるのかは切実な問題です。GPUメモリは限られていますし、モデルを小さくしたい気持ちは強い一方で、精度が落ちすぎれば意味がありません。QuesmaのPiotr Migdał氏は、Qwen3.8 27Bの複数のquantizationを実測し、その境界線をベンチマークで確かめました。結果はかなりはっきりしていて、4bitは驚くほど健闘し、1bitは一気に崩れます。 元記事で扱っているのは、Qwen3.8 27BのGGUF量子化版です。著者はUnslothがHugging Faceで配布しているものを使い、8bitのQ8_0、4bitのQ4_K_M、2bitのUD-Q2_K_XL、そして最小の1bitであるUD-IQ1_Sを比較しました。フルのBF16モデルは55GBあり、一般的なコンシューマーGPUには重すぎますが、Q4_K_Mは17GBに収まり、RTX 4090の24GB級カードでも動かせるとしています。 検証にはllama.cppを使い、GPQA Diamond、IFBench、Terminal-Bench 2.1の3つを回しまし
papoo.work