GGUF の量子化とは？Q4_K_M・Q8_0 の違いと選び方【ローカル LLM はどれを選ぶ？】

ローカルで AI を動かそうとモデルを探すと、
同じ名前の後ろに「Q4_K_M」「Q8_0」といった記号がずらりと並び、
どれを選べばいいのか分からなくなります。
この記号が量子化、つまり AI モデルの中の数値の細かさを落としてファイルを小さくする技術の段階を表しています。

迷ったときは、自分の PC に載る範囲でいちばん大きいモデルを選び、量子化は Q4_K_M にするのが基本です。
同じモデルでも量子化の段階が違えば実質的に別物になるため、記号の読み方と、段階ごとの違いを知っておくと選びやすくなります。

1. 量子化とは何か？数値の細かさを落として軽くする#

量子化は、モデルの中の数値 1 個あたりのビット数を減らす技術です。
知識を消すのではなく、表現の細かさを落とします。

AI モデルの中身は、大量の数値の集まりです。
この数値は「重み」と呼ばれ、学習の過程で刻まれた、いわばモデルの記憶そのものです。

基準となる FP16 という形式では、数値 1 個に 16 ビット（2 バイト）を使います。
量子化はこのビット数を落とすもので、Q8 なら約 8 ビット、Q4 なら約 4 ビットです。
単純計算で、Q4 にするとファイルサイズはおよそ 4 分の 1 になり、数十ギガバイトのモデルが手元の PC に載るサイズまで小さくなります。

たとえるなら、写真の JPEG 圧縮です。
圧縮しても被写体は消えず、拡大して初めて粗さに気づきます。
モデルも同じで、量子化しても知識そのものは消えず、数値の表現が粗くなるだけです。
だから「小さくなる代わりに、細かいところで少し雑になる」というトレードオフが生まれます。

量子化の影響は、小さいモデルほど出やすい傾向があります。
1B 級の小さなモデルでは、Q4 への量子化で応答の質が大きく崩れることがあるため、小さいモデルほど Q5・Q6 寄りの段階を選びたいところです。

2. Q4_K_M は何を意味するのか？GGUF と量子化名の読み方#

Q4_K_M などの記号の読み方を覚えると、ファイル名から品質とサイズの見当がつきます。

GGUF は、LM Studio や Ollama、llama.cpp といったローカル実行ソフト向けのモデルファイル形式です。
Hugging Face でモデルを探すと、
同じモデルが Q4_K_M Q5_K_M Q6_K Q8_0 IQ4_XS といった多数のファイルで並びます。
これらはすべて、同じモデルを異なる段階で量子化した版です。

Q4_K_M は、[Q] 量子化の印、[4] おおよそのビット数、[K] K-quant という方式、[M] 混合の強さの 4 つに分解できます。
ビット数は数字が大きいほど高品質で重くなります。

K-quant は 2023 年に llama.cpp に導入された、層ごとに精度を変える混合方式です。
モデルの中には精度に敏感な層（注意の層など）があり、そこに多くのビットを割き、鈍感な層は思い切って削ります。
同じサイズなら、旧方式の Q4_0 より高品質です。

末尾の S・M・L は混合の強さで、S は小さめ、M は標準、L は大きめです。
特別な理由がなければ _M を選ぶのが現在の定番です。

IQ4_XS のような IQ 系は、「重要度行列（imatrix）」という事前の計測を使い、
重要な重みに精度を寄せる方式です。
低ビットでも K-quant より高品質になりえますが、imatrix なしで作られたものはむしろ悪化します。
代表格の IQ4_XS は約 4.25 bpw（数値 1 個あたり平均 4.25 ビット）で、
Q4_K_M と同等以上の品質で、少し小さいとされています。

量子化の段階に加えて、「誰が変換したか」も確認してください。
同じベースモデルでも、加工者が違えば実質的に別物です（abliteration とは何かも参照）。

3. どの量子化を選べばいいのか？Q4_K_M が既定、Q6_K はほぼ無劣化#

迷ったら Q4_K_M が既定の選択で、VRAM（GPU のメモリ）に余裕があるなら Q6_K がいちばん割の良い選択です。

2026 年 1 月に arXiv に公開された研究で、
Llama 3.1 8B を量子化レベル別に測定した数字があります。
「perplexity（次に来る単語の予測の迷い具合。小さいほど良い）」と
「MMLU（知識テストの点数）」、
そしてファイルサイズの 3 つで並べます。

• FP16（基準・無圧縮）：perplexity 7.32 / MMLU 63.5% / 15.3GB
• Q6_K：7.35 / 63.2% / 6.3GB
• Q5_K_M：7.40 / 62.8% / 5.5GB
• Q4_K_M：7.56 / 62.4% / 4.6GB

この結果から読み取れることは 3 つあります。

• Q4_K_M は、15.3GB を 4.6GB にして MMLU が約 1.1 ポイント下がるだけです。perplexity の悪化も約 3% で、ふだんの会話・要約・調べもので実感できる差はほぼない水準と考えてよいでしょう。
• Q6_K はファイルが FP16 の 4 割強で、品質はほぼ同等（perplexity +0.03）です。Q8_0 はさらに無劣化（perplexity +0.01）に近づきますが、ファイルは Q4_K_M の約 2 倍になり、生成速度も約 29% 遅くなります。原因はメモリ帯域（データを運ぶ道の太さ）がボトルネックになるためです。一方、長い文章を読み込ませるだけの用途（要約・検索など）では速度差が出にくく、ほぼ無損失のまま有利に使えます。
• 品質の崖は Q3 と Q4 の間にあります。Q4 未満（Q3・Q2）は、imatrix 付きの IQ 系という工夫版でないと厳しく、Q2_K は 30B 以上の大きなモデル向けです。Q4 が既定とされるのは、このためです。

4. 自分の PC で動く量子化はどう選ぶのか？VRAM の見積もり方#

見積もりは「量子化後のモデル本体 + 文脈（一度に読ませる文章）用の余裕 10〜20%」です。
まず「Q4_K_M で載る最大サイズ」を決めるのが起点になります。

サイズ別の VRAM の目安です（左から Q4_K_M、Q5_K_M、Q8_0）。

• 3B：約 2.5GB → 約 3GB → 約 4GB
• 7〜8B：約 5〜6GB → 約 6〜7GB → 約 9〜10GB
• 13B：約 8〜9GB → 約 10〜11GB → 約 15〜16GB
• 30〜34B：約 19〜22GB → 約 23〜26GB → 約 34〜38GB
• 70B：約 38〜42GB → 約 47〜51GB → 約 72〜76GB

自分の数字で確かめたいときは GGUF の VRAM 計算ツール にモデルサイズ・コンテキスト長・手持ちのメモリを入れると、量子化ごとに「快適・ぎりぎり・不可」を判定できます（KV キャッシュと予約分を含む式も公開しています）。

選び方は次の 4 ステップです。

1. 自分の PC のメモリ／GPU メモリを確認する
   （確認の手順はローカル LLM の入門ガイドで扱っています）
2. 上の目安から「Q4_K_M で載る最大サイズ」を決める
3. それでも足りなければ、1 段下の量子化か、1 段小さいモデルに変える
4. 余裕があれば、Q5_K_M / Q6_K に上げる

同じ VRAM なら、量子化の精度よりモデルのサイズを優先します。
大きいモデルを Q4 で動かす方が、小さいモデルを Q8 で動かすより良い結果になることが多いためです。

具体例として、27B クラスの uncensored モデルを見てみます。
Qwen3.8-27B の abliterated 派生には公式の GGUF がなく、
量子化はすべてコミュニティによる変換です。
ある配布版の実際のファイルサイズは、Q4_K_M で 15.41GiB、Q3_K_S で 11.24GiB、Q8_0 で 26.63GiB。
つまり 27B クラスは Q4 でも 16GB 以上必要で、入門サイズとしては重めです。
どの派生を選ぶかはuncensored モデルのおすすめで整理しています。

初めての 1 本としては、7B 級・メモリ 8〜16GB 級の PC で動くサイズが現実的です。

5. 「動的量子化」とは何か？層ごとにビットを配る新しい流れ#

「どこを軽くし、どこを残すか」を測定で決める方式が広がっています。
代表例が Unsloth Dynamic 2.0 で、UD-Q4_K_XL のような名前のファイルを見かけたら、これにあたります。

従来の量子化は、層の種類ごとにざっくり同じビット配分でした。
これに対して動的量子化は、モデルごと・層ごとに測定しながらビットを配り分けます。
MoE（専門家を分ける構造のモデル）だけでなく通常のモデルにも対応し、
150 万トークンを超える校正データ（配分を決めるための読み合わせ材料）を使います。

公表値では「Q4 クラスのサイズで Q5 に近い品質」とされていますが、
これはベンダー（作り手）の公表値であり、第三者による検証が進んだ段階ではありません。

IQ 系や imatrix の「どの重みが大事かを測って配る」という考え方の延長線上にあり、
決め打ちの静的な配分から、測定に基づく配分へと移りつつあります。

6. 量子化版を使う前に確認することは？#

7. Deepent Research について#

私たち Deepent Research は、回答を極限まで拒否しない LLM チャットサービスです。標準の AI では途中で止まってしまう調べものを、最後まで続けられるように作りました。

• 拒否しない。LLM のガードレールを徹底的に軽減した uncensored・abliterated モデルを採用。標準の AI が「お答えできません」と打ち切る問いにも答えます（Qwen3.5 / Qwen3.8-27B-abliterated 系をプランに応じて使い分け）
• 入力は学習に使わない。調べた内容はサービス提供のためにのみ使われ、AI の学習や他の目的には使用されません。個人情報も厳重に保護し、プライバシーポリシーを公開しています
• 無料で試せる。GPU もインストールも不要、ブラウザを開くだけ。未ログインのお試しは会話が保存されないので、気軽に始められます

→ 登録なしで無料トライアル: https://deepentresearch.com

「どんな問いも、リサーチを止められない」。

No question can stop research.

よくある質問#

量子化すると AI の頭は悪くなるの？#

⌄

知識そのものは消えず、数値の表現が粗くなるだけです。

Q4_K_M なら知識テストの差は約 1.1 ポイントで、ふだんの会話で実感できる差はほぼない水準です。

GGUF の Q4 と Q8 はどちらを選べばいい？#

⌄

迷ったら Q4_K_M が既定の選択です。

Q8_0 はほぼ無劣化に近い一方、ファイルは約 2 倍・生成は約 29% 遅くなります。

小さいモデルでも Q4 に量子化していい？#

⌄

小さいモデルほど量子化の影響が出やすく、1B 級では応答の質が大きく崩れることがあります。

小さいモデルほど、Q5・Q6 寄りの段階を選ぶのが安心です。

Q4 未満（Q3・Q2）の GGUF を選んでもいい？#

⌄

品質の崖は Q3 と Q4 の間にあります。

Q4 未満は、imatrix 付きの IQ 系という工夫版でないと厳しい段階です。

Q2_K は 30B 以上の大きなモデル向けです。

免責#

本記事は、AI による下書きをもとに、運営が事実関係を確認・加筆・編集して公開しています。
本記事は教育・研究目的の情報提供であり、違法行為や犯罪の助長を意図するものではありません。
数値は第三者の公開レポートおよび配布元の公表値であり、測定条件により変わることがあります。