#量子化

ローカルLLMを動かすとき、どこまで圧縮しても実用に耐えるのかは切実な問題です。GPUメモリは限られていますし、モデルを小さくしたい気持ちは強い一方で、精度が落ちすぎれば意味がありません。QuesmaのPiotr Migdał氏は、Qwen3.8 27Bの複数のquantizationを実測し、その境界線をベンチマークで確かめました。結果はかなりはっきりしていて、4bitは驚くほど健闘し、1bitは一気に崩れます。 元記事で扱っているのは、Qwen3.8 27BのGGUF量子化版です。著者はUnslothがHugging Faceで配布しているものを使い、8bitのQ8_0、4bitのQ4_K_M、2bitのUD-Q2_K_XL、そして最小の1bitであるUD-IQ1_Sを比較しました。フルのBF16モデルは55GBあり、一般的なコンシューマーGPUには重すぎますが、Q4_K_Mは17GBに収まり、RTX 4090の24GB級カードでも動かせるとしています。 検証にはllama.cppを使い、GPQA Diamond、IFBench、Terminal-Bench 2.1の3つを回しまし

Cerebras Inference が公開している Model Catalog は、同社の public endpoints で使えるモデルをひとまとめにした案内ページだ。単なるモデル名の羅列ではなく、どのモデルが使えるのか、無料トライアルや従量課金でどう扱われるのか、そして圧縮や量子化についてどこまで明かしているのかまで書いてある。クラウド推論サービスは似た名前のメニューが増えやすいが、このページは「何をそのまま提供し、何をいじっていないか」を前面に出しているところが目立つ。そこが今回取り上げる理由だ。 元記事は、Cerebras Inference の Model Catalog として、公開 endpoint で利用できるモデルを一覧化している。ここでの「public endpoints」は無料トライアルと pay-as-you-go の両方で使えるが、レート制限と価格の対象になる。一方で、より多くの model families、予約済みの容量、より高いスループット、production SLA が必要なら Dedicated Endpoints を見てほしい、と案内している

ローカルで動くAIモデルって、ここ数年ずっと「惜しいなあ」が続いていました。速いけど賢さが足りない。賢いけど重すぎる。結局、クラウドのAPIに戻る。そんな空気を、QuesmaのPiotr Migdał氏はQwen 3.6 27Bでかなり変わったと感じたようです。 この記事の面白さは、単に「新しいモデルがすごい」で終わらないところです。MacBookやNvidia RTXのような手元のマシンで、実際にコードを書かせたり、ページを作らせたりできる。しかも、ただ動くのではなく、そこそこちゃんと使える。ここが本質だと思います。ローカルAIは長いあいだ「ロマンはあるけど実用は…」という立ち位置でしたが、Qwen 3.6 27Bはその壁をかなり押し下げた、というのが記事の主張です。 Qwen 3.6 27Bは、ローカルで動かすコード用途のモデルとしてかなり有望 35B A3Bという別系統のモデルもあるが、著者は27Bのほうを推している ちょっとした創作や、実務っぽいWebページ作成でも手応えがあった llama.cppを使えば、MacBookやRTX環境でローカル実行できる 量子化（モデルを軽くす