この記事の測定結果 llama-server の生成の中央値と、各条件の測定ログ全体のVRAM最大値（文脈充填を含む。GPU 全体、nvidia-smi の memory.used）です。思考オフ、llama.cpp b12005、-ngl 99。
gemma-4-12B Q4_K_M 7.12GB
51.760 tok/s
llama-server・中央値・文脈4096・24本
全層GPU
測定中の最大 9,126 VRAM 12,282 MiB
gemma-4-12B Q4_K_M 7.12GB
52.930 tok/s
llama-server・中央値・文脈16384・24本
全層GPU
測定中の最大 9,323 VRAM 12,282 MiB
gemma-4-12B Q4_K_M 7.12GB
53.126 tok/s
llama-server・中央値・文脈32768・24本
全層GPU
測定中の最大 9,591 VRAM 12,282 MiB
gemma-4-12B Q5_K_M 8.41GB
47.104 tok/s
llama-server・中央値・文脈4096・24本
全層GPU
測定中の最大 10,346 VRAM 12,282 MiB
gemma-4-12B Q5_K_M 8.41GB
48.374 tok/s
llama-server・中央値・文脈16384・24本
全層GPU
測定中の最大 10,550 VRAM 12,282 MiB
gemma-4-12B Q5_K_M 8.41GB
48.452 tok/s
llama-server・中央値・文脈32768・24本
全層GPU
測定中の最大 10,822 VRAM 12,282 MiB
gemma-4-12B Q6_K 9.79GB
42.209 tok/s
llama-server・中央値・文脈4096・24本
全層GPU
測定中の最大 11,598 VRAM 12,282 MiB
gemma-4-12B Q6_K 9.79GB
42.466 tok/s
llama-server・中央値・文脈16384・24本
全層GPU
測定中の最大 11,723 VRAM 12,282 MiB
gemma-4-12B Q6_K 9.79GB
42.164 tok/s
llama-server・中央値・文脈32768・24本
全層GPU
測定中の最大 11,762 VRAM 12,282 MiB
Qwen3-14B Q4_K_M 9.00GB
47.684 tok/s
llama-server・中央値・文脈4096・24本
全層GPU
測定中の最大 10,516 VRAM 12,282 MiB
Qwen3-14B Q4_K_M 9.00GB
32.389 tok/s
llama-server・中央値・文脈16384・24本
全層GPU
測定中の最大 11,891 VRAM 12,282 MiB
gemma-4-26B-A4B UD-Q4_K_M 16.95GB
18.316 tok/s
llama-server・中央値・文脈4096・24本
専門家をCPU側に
測定中の最大 4,741 VRAM 12,282 MiB
gemma-4-26B-A4B UD-Q4_K_M 16.95GB
18.414 tok/s
llama-server・中央値・文脈16384・24本
専門家をCPU側に
測定中の最大 5,166 VRAM 12,282 MiB
Qwen3.8-27B UD-Q4_K_M 16.46GB
1.824 tok/s
llama-server・中央値・文脈4096・24本・3 seed
全層GPU
測定中の最大 11,672 VRAM 12,282 MiB
Muse-Glimmer-30B UD-IQ2_XXS 10.75GB
38.032 tok/s
llama-server・中央値・文脈4096・22本
全層GPU
測定中の最大 11,068 VRAM 12,282 MiB
Muse-Glimmer-30B UD-IQ2_XXS 10.75GB
37.036 tok/s
llama-server・中央値・文脈16384・22本
全層GPU
測定中の最大 11,238 VRAM 12,282 MiB
gemma-4-12B の Q4_K_M は文脈 32768 でも生成中央値 53.126 tok/s。Qwen3.8-27B の UD-Q4_K_M は文脈 4096 で 1.824 tok/s。
- GPU
- VRAM 12GB の GPU（12,282 MiB）
- CPU・メモリ
- 8コア8スレッド／RAM 32GB
- 実行環境
- llama.cpp b12005（llama-server）
結論
VRAM 12GB の GPU で、同じ日・同じ測り方で動かした実測です。実行環境は llama.cpp b12005、思考オフ、-ngl 99 です。
- 今回の測定では生成速度の中央値が最も高いのは gemma-4-12B の Q4_K_M。文脈の設定上限 4096 で生成中央値 51.760 tok/s、16384 で 52.930 tok/s、32768 で 53.126 tok/s。設定上限を伸ばしても、同じ短い8問での生成速度はほぼ同じ
- 同じ gemma-4-12B の Q5_K_M は 47.104〜48.452 tok/s、Q6_K は 42.164〜42.466 tok/s。こちらも文脈の設定上限を 32768 にしても、同じ短い8問での生成速度はほぼ落ちない
- Qwen3-14B の Q4_K_M は文脈 4096 で 47.684 tok/s。文脈 16384 では 32.389 tok/s まで下がる
- Qwen3.8-27B の UD-Q4_K_M は文脈 4096 で 1.824 tok/s。対話の速さとしては実用的ではない
- gemma-4-26B-A4B の UD-Q4_K_M は約 18 tok/s で動く。専門家は CPU 側に置いている（
--n-cpu-moe 999） - Muse-Glimmer-30B の UD-IQ2_XXS は約 37〜38 tok/s。ただし 4k と 16k のどちらでも、24本中2本は最終回答が出なかった。4k の文脈充填は誤（最終回答なし）
文脈充填（seed 11の1本）は、Muse-Glimmer-30B の文脈 4096 以外は正でした。ここでの「正」は、文脈充填で合言葉を取り出せた、という意味です。8問×3 seed の内容採点は未完了です。表の「内容」は、合格・不合格・待ちの内訳であり、全問の正解ではありません。
前回のまとめ記事との違い
公開済みの VRAM 6GB／12GBで動くローカルLLMまとめ（実測値） は、これまでに測った値を集めた一覧です。
この記事は 2026年11月6日の測定だけを書きます。同じ8問をシード 11・17・23 で試し、文脈の設定上限を変えたときの速度と、文脈充填の正誤を見ています。クラウドのモデルとは比べていません。
検証環境と条件
| 項目 | 内容 |
|---|---|
| GPU | VRAM 12GB の GPU（12,282 MiB） |
| CPU | 8コア8スレッド |
| RAM | 32GB級（34,290,835,456 bytes／約31.94 GiB） |
| OS | Windows |
| 実行環境 | llama.cpp b12005（llama-server） |
| 測定日 | 2026年11月6日 |
GPU の VRAM 総量 12,282 MiB は、この測定の nvidia-smi ログ（memory.total）の値です。CPU の 8コア8スレッドは、測定開始時の env.json にはコア数の記載がなく、同じ PC で確認した NumberOfCores=8／NumberOfLogicalProcessors=8 です。RAM は 32GB 級で、測定開始時の OS 認識値は 34,290,835,456 bytes（約 31.94 GiB）です。
使った GGUF の大きさは、測定に使ったファイルのバイト数です。109 バイトを 1GB として小数第2位まで書いた値が、括弧内です。
| ファイル名 | 大きさ |
|---|---|
| gemma-4-12b-it-Q4_K_M.gguf | 7,121,861,440 bytes（7.12GB） |
| gemma-4-12b-it-Q5_K_M.gguf | 8,413,576,000 bytes（8.41GB） |
| gemma-4-12b-it-Q6_K.gguf | 9,786,022,720 bytes（9.79GB） |
| Qwen3-14B-Q4_K_M.gguf | 9,001,753,984 bytes（9.00GB） |
| gemma-4-26B-A4B-it-UD-Q4_K_M.gguf | 16,947,541,728 bytes（16.95GB） |
| Qwen3.8-27B-UD-Q4_K_M.gguf | 16,464,440,224 bytes（16.46GB） |
| Muse-Glimmer-30B-UD-IQ2_XXS.gguf | 10,746,373,152 bytes（10.75GB） |
共通の条件は次のとおりです。
- llama-server、
-ngl 99、思考オフ - 実タスクは8問をシード 11・17・23 で各1回
- 生成速度は predicted_per_second の中央値。範囲は最小〜最大
- VRAM ピークは nvidia-smi の memory.used（GPU 全体）
- 文脈充填は seed 11 の1本。正誤はその記録どおり
- Qwen3.8-27B は 3 seed で打ち切り（計画どおり）。充填も seed 11 の1本だけ
- 15件の記録ずれは、すべて「VRAM がアイドルに戻ったかを厳密には確認していない」。測定の失敗や隔離を示す記録はない
gemma-4-12B の Q6_K（文脈の設定上限 16384 と 32768）と、Qwen3-14B の Q4_K_M（文脈の設定上限 16384）は、fit による調整を試みたが中断された記録があります。
gemma-4-12B：文脈の設定上限を 32K にしても、同じ短い8問での生成速度はほぼ保たれた
この日の中心は gemma-4-12B です。Q4_K_M・Q5_K_M・Q6_K を、文脈の設定上限 4096・16384・32768 で測りました。速度の集計対象は、同じ短い8問です。
| 量子化 | 文脈 | 生成中央値（範囲）tok/s | 本数 | VRAMピーク | 文脈充填（seed 11） |
|---|---|---|---|---|---|
| Q4_K_M | 4096 | 51.760（51.344〜52.735） | 24 | 9126 MiB | 正 |
| Q4_K_M | 16384 | 52.930（52.265〜53.461） | 24 | 9323 MiB | 正 |
| Q4_K_M | 32768 | 53.126（52.319〜53.821） | 24 | 9591 MiB | 正 |
| Q5_K_M | 4096 | 47.104（46.005〜48.448） | 24 | 10346 MiB | 正 |
| Q5_K_M | 16384 | 48.374（47.916〜48.552） | 24 | 10550 MiB | 正 |
| Q5_K_M | 32768 | 48.452（47.913〜48.621） | 24 | 10822 MiB | 正 |
| Q6_K | 4096 | 42.209（41.946〜42.455） | 24 | 11598 MiB | 正 |
| Q6_K | 16384 | 42.466（40.197〜42.611） | 24 | 11723 MiB | 正 |
| Q6_K | 32768 | 42.164（41.676〜42.459） | 24 | 11762 MiB | 正 |
Q6_K の文脈の設定上限 16384 と 32768 では、fit による調整を試みたが中断された記録があります。
文脈充填（seed 11の1本）は正でした。生成が最後まで終わった回数は24本です。内容採点とは別です。8問×3 seed の内容採点は、まだ終わっていません。
Qwen3-14B：文脈設定上限16Kでは、同じ短い8問で速度が低下
Qwen3-14B の Q4_K_M は、同じ短い8問で、文脈の設定上限 4096 では 47.684 tok/s、16384 では 32.389 tok/s でした。
| 文脈 | 生成中央値（範囲）tok/s | 本数 | VRAMピーク | 文脈充填（seed 11） |
|---|---|---|---|---|
| 4096 | 47.684（45.498〜48.996） | 24 | 10516 MiB | 正 |
| 16384 | 32.389（30.093〜35.917） | 24 | 11891 MiB | 正 |
文脈の設定上限 16384 では、fit による調整を試みたが中断された記録があります。
文脈充填（seed 11の1本）は、どちらの長さでも正でした。生成が最後まで終わった回数は24本です。内容採点とは別です。8問×3 seed の内容採点は、まだ終わっていません。
Qwen3.8-27B：約 1.8 tok/s で実用的ではない
Qwen3.8-27B の UD-Q4_K_M は、文脈 4096・全層 GPU・3 seed で打ち切った公式の記録です。
- 生成中央値 1.824 tok/s（1.811〜1.887、24本）
- VRAM ピーク 11672 MiB
- 文脈充填（seed 11）は正。seed 17 と 23 の充填は行っていない
- 正常な最終回答は 24本
- IQ3 の項目は測っていない
速さだけを見ると、日常のやり取りには向きません。
注意点：gemma-4-26B-A4B と Muse-Glimmer-30B
gemma-4-26B-A4B
gemma-4-26B-A4B の UD-Q4_K_M は、専門家を CPU 側に置いて測りました（--n-cpu-moe 999）。
- 文脈 4096：生成中央値 18.316 tok/s（17.518〜19.104、24本）、VRAM ピーク 4741 MiB、充填は正
- 文脈 16384：生成中央値 18.414 tok/s（17.043〜19.328、24本）、VRAM ピーク 5166 MiB、充填は正
- 正常な最終回答は、どちらも 24本
動きますが、gemma-4-12B の Q4〜Q6 より遅いです。VRAM のピークは 12B の Q4 より低いです。
Muse-Glimmer-30B
Muse-Glimmer-30B の UD-IQ2_XXS は、速さは出ます。ただし最後の回答が出ない試行があります。
- 文脈 4096：生成中央値 38.032 tok/s（37.516〜38.455、22本）、VRAM ピーク 11068 MiB
- 文脈 16384：生成中央値 37.036 tok/s（36.858〜37.519、22本）、VRAM ピーク 11238 MiB
- どちらも計画 24本のうち、正常な最終回答は 22本。最終回答なしは各2本（q2 のシード 17 と 23）
- 文脈 4096 の充填は誤（最終回答なし）。文脈 16384 の充填は正
- 内容の内訳は、どちらも 合格6／不合格2／他16（計24）
数字の一覧
上に書いた値を、1つの表にまとめたものです。内容の欄は、8問×3 seed の機械判定と待ちの内訳です。q1 と q4 は機械判定、q2・q3・q5・q6 は意味判定のレビュー待ち、q7 と q8 は実行待ちです。
| モデル | 量子化 | 文脈 | 生成中央値 tok/s | 範囲 | 本数 | VRAMピーク | 内容 | 文脈充填（seed 11） |
|---|---|---|---|---|---|---|---|---|
| gemma-4-12B | Q4_K_M | 4096 | 51.760 | 51.344〜52.735 | 24 | 9126 MiB | 合格3／不合格3／他18 | 正 |
| gemma-4-12B | Q4_K_M | 16384 | 52.930 | 52.265〜53.461 | 24 | 9323 MiB | 合格3／不合格3／他18 | 正 |
| gemma-4-12B | Q4_K_M | 32768 | 53.126 | 52.319〜53.821 | 24 | 9591 MiB | 合格3／不合格3／他18 | 正 |
| gemma-4-12B | Q5_K_M | 4096 | 47.104 | 46.005〜48.448 | 24 | 10346 MiB | 合格3／不合格3／他18 | 正 |
| gemma-4-12B | Q5_K_M | 16384 | 48.374 | 47.916〜48.552 | 24 | 10550 MiB | 合格3／不合格3／他18 | 正 |
| gemma-4-12B | Q5_K_M | 32768 | 48.452 | 47.913〜48.621 | 24 | 10822 MiB | 合格3／不合格3／他18 | 正 |
| gemma-4-12B | Q6_K | 4096 | 42.209 | 41.946〜42.455 | 24 | 11598 MiB | 合格3／不合格3／他18 | 正 |
| gemma-4-12B | Q6_K | 16384 | 42.466 | 40.197〜42.611 | 24 | 11723 MiB | 合格3／不合格3／他18 | 正 |
| gemma-4-12B | Q6_K | 32768 | 42.164 | 41.676〜42.459 | 24 | 11762 MiB | 合格3／不合格3／他18 | 正 |
| Qwen3-14B | Q4_K_M | 4096 | 47.684 | 45.498〜48.996 | 24 | 10516 MiB | 合格3／不合格3／他18 | 正 |
| Qwen3-14B | Q4_K_M | 16384 | 32.389 | 30.093〜35.917 | 24 | 11891 MiB | 合格3／不合格3／他18 | 正 |
| gemma-4-26B-A4B | UD-Q4_K_M | 4096 | 18.316 | 17.518〜19.104 | 24 | 4741 MiB | 合格3／不合格3／他18 | 正 |
| gemma-4-26B-A4B | UD-Q4_K_M | 16384 | 18.414 | 17.043〜19.328 | 24 | 5166 MiB | 合格3／不合格3／他18 | 正 |
| Qwen3.8-27B | UD-Q4_K_M | 4096 | 1.824 | 1.811〜1.887 | 24 | 11672 MiB | 合格3／不合格3／他18 | 正 |
| Muse-Glimmer-30B | UD-IQ2_XXS | 4096 | 38.032 | 37.516〜38.455 | 22 | 11068 MiB | 合格6／不合格2／他16 | 誤（最終回答なし） |
| Muse-Glimmer-30B | UD-IQ2_XXS | 16384 | 37.036 | 36.858〜37.519 | 22 | 11238 MiB | 合格6／不合格2／他16 | 正 |
この結果から言えること
- VRAM 12GB で、文脈の設定上限を 32K にしても同じ短い8問の速さを保ちたいなら、この日の結果では gemma-4-12B の Q4_K_M が中心になる
- 同じ 12B で量子化を上げると、Q5_K_M は約 48 tok/s、Q6_K は約 42 tok/s。文脈の設定上限を 32768 にしても、同じ短い8問での生成速度はほぼ保たれた
- Qwen3-14B の Q4_K_M は、同じ短い8問で、文脈の設定上限 4096 では 47.684 tok/s、16384 では 32.389 tok/s だった
- 27B 級の密なモデル（Qwen3.8-27B UD-Q4_K_M）は、この条件では 1.824 tok/s
- 26B の MoE（gemma-4-26B-A4B）は約 18 tok/s で動くが、専門家を CPU 側に置いている
- Muse-Glimmer-30B の 2bit は約 37〜38 tok/s だが、最終回答が出ない試行がある
測っていないこと
- 思考オン、Ollama、ほかの実行環境の版
- Qwen3.8-27B の IQ3、および 27B の文脈 16K 以上
- Muse-Glimmer-30B の文脈 32K、および最終回答なしの2本をやり直した値
- 8問の内容採点の完了（レビュー待ちと実行待ちが残っている）
- 1台・1日の測定以外の再現
- ほかの AI サービスとの性能比較
コメント