本文へ移動

Gemma 4

ローカルLLM実装

VRAM 12GBで本当に使えるモデル｜12Bは32Kでも約53 tok/s

VRAM 12GBのGPUで、gemma-4-12BのQ4は文脈32768でも約53 tok/s。Qwen3-14Bは16Kで約32 tok/s、27Bは約1.8 tok/s。
2026.11.07
ローカルLLM実装
ローカルLLM実装

自分のGPUでローカルLLMを使う手順｜OllamaでGemma 4・Qwen3を動かす

Ollamaで自分のGPUにローカルLLMを入れる手順。VRAM 6〜24GB別に最初に試すモデル、RTX 4070 12GBでの実測速度（gemma4:12b 約43 tok/s）、--verbose と nvidia-smi で速度とVRAMを確かめる方法まで。
2026.06.23
ローカルLLM実装