TOOL
GGUF の VRAM 計算ツール
量子化したモデルを動かすには、重みに加えてコンテキスト用の KV キャッシュと実行時の予約分が必要です。ここに 3 つをまとめて計算します。モデルサイズ（B）と使いたいコンテキスト長、手持ちのメモリを入れると、どの量子化が「快適・ぎりぎり・不可」かを判定します。
例: 8、12、27、32、70
詳細設定（分からなければ既定のままで構いません）
KV キャッシュは層数に比例します
CUDA コンテキスト・画面表示・断片化のぶん
量子化ごとの必要量
おすすめ: IQ4_XS （実用十分 / 6.43 GB）
「快適」＝合計が VRAM の 85% 以下（残りは OS と画面表示が使います）。
| 量子化 | 重み | KV キャッシュ | 合計 | 判定 |
|---|---|---|---|---|
| Q8_0 | 8.5 GB | 1.13 GB | 10.63 GB | 不可 |
| Q6_K | 6.6 GB | 1.13 GB | 8.73 GB | 不可 |
| Q5_K_M | 5.7 GB | 1.13 GB | 7.83 GB | ぎりぎり |
| Q4_K_M | 4.9 GB | 1.13 GB | 7.03 GB | ぎりぎり |
| IQ4_XS← | 4.3 GB | 1.13 GB | 6.43 GB | 快適 |
| Q3_K_M | 4 GB | 1.13 GB | 6.13 GB | 快適 |
| Q2_K | 3.2 GB | 1.13 GB | 5.33 GB | 快適 |
単位は GB 換算の目安で、合計には予約分を含みます。
判定の見方
- 快適：合計がメモリの 85% 以下。長い会話や画像入力でも余裕が残ります。
- ぎりぎり：合計がメモリ内に収まりますが、残りが少なめです。コンテキストを半分にすると安定しやすくなります。
- 不可：メモリに収まりません。モデルサイズを下げるか、コンテキスト長を短くしてください。
85% を「快適」の線にしているのは、GPU メモリが重みだけに使われるわけではないからです。CUDA コンテキスト、画面表示、メモリの断片化で 1〜2GB が先に消えます。判定に使う「予約分」はこの分で、既定は 1GB です。
計算式
ツールが使っている式は次の 3 行です。数字がおかしいと思ったら、ここに戻って検算してください。
重み(GB) = パラメータ数(B) × 量子化ごとの bpw ÷ 8
KV(GB) = 2 × 層数 × KV次元 × バイト数 × トークン数 ÷ 1024³
必要量(GB) = 重み + KV + 予約分
KV の「2」は Key と Value の 2 つ分です。KV 次元は「KV ヘッド数 × ヘッド次元」で、GQA を採用した最近のモデルでは 1024（8 ヘッド × 128）が多く、この既定値で大半は合います。正確な値は配布元の config.json にあります。
bpw は 1 パラメータあたりのビット数で、公開されているファイルサイズの実測値から換算しました。8B モデルでは Q8_0 8.5GB / Q6_K 6.6GB / Q5_K_M 5.7GB / Q4_K_M 4.9GB / IQ4_XS 4.3GB / Q3_K_M 4.0GB / Q2_K 3.2GB が目安です。配布者やモデルによって数 % は変わります。
つまずきやすい 5 点
- 重みだけを見積もって、KV キャッシュを忘れる（長いコンテキストほど効いてきます）。
- 量子化を下げる前に、モデルサイズを下げていない。同じメモリなら大きいモデルを低い量子化で動かすほうが強いです。
- VRAM 表記には OS と画面が使う分が含まれている（24GB のカードで実際に使えるのは 22GB 前後）。
- Mac のユニファイドメモリで「合計メモリ」をそのまま入れている。GPU に割り当てられるのは一部です。
- コンテキスト長を最大にしたまま判定している。半分にすると KV も半分になり、判定が変わります。
よくある質問
01Q4_K_M と Q8_0 はどちらを選べばいいですか？
収まるなら上から順に Q8_0 → Q6_K → Q5_K_M → Q4_K_M と品質が下がりますが、体感差が出るのは Q4 未満からです。迷ったら Q4_K_M、余裕があれば Q5_K_M か Q6_K を選ぶのが現実的です。同じ VRAM なら、量子化を上げるよりモデルサイズを上げたほうが結果は良くなります。
02量子化を下げれば小さい PC でも動きますか？
動きますが、Q3_K_M 以下は品質の低下が目に見えるようになります。先にモデルサイズを 1 段下げ、それでも足りないときに量子化を下げる順番が安全です。
03VRAM は重みのサイズと同じでいいのですか？
足りません。コンテキスト（一度に読ませる文章）用の KV キャッシュが別に必要で、長いコンテキストほど増えます。8K で 1〜2GB、32K では 4〜8GB が目安です（層数と KV 次元で変わります）。
04Mac のユニファイドメモリでも同じ計算でいいですか？
同じ式で見積もれますが、GPU が使えるのは全体の一部です（OS とアプリが先に確保します）。このツールの「手持ちのメモリ」には、実際に GPU へ割り当てられる量を入れてください。