ローカルLLM実装

ローカルLLM実装

Qwythos-9BはVRAM 6GBでどこまで動く?Q4/Q5/Q6を比較検証

Qwythos-9B-Claude-Mythos-5-1MのGGUFを、VRAM 6GBのGTX 1660 Tiとllama.cppで実測。Q4_K_M/Q5_K_M/Q6_KのVRAM(約3.9〜4.6GB)と速度、日本語・要約・コードの出来を比較しました。
ローカルLLM実装

自分のGPUでローカルLLMを使う手順|OllamaでGemma 4・Qwen3を動かす

Ollamaで自分のGPUにローカルLLMを入れる手順。VRAM 6〜24GB別に最初に試すモデル、RTX 4070 12GBでの実測速度(gemma4:12b 約43 tok/s)、--verbose と nvidia-smi で速度とVRAMを確かめる方法まで。
ローカルLLM実装

Gemma 4をRTX 4070(12GB)で実測|12B・E4B・Qwen3 14B・Phi-4-mini・26Bを同じ試験でクラウドと比べた

RTX 4070(12GB)でGemma 4・E4B・Qwen3 14B・Phi-4-mini・26Bの5モデルをOllamaで実測。クラウドのOpus 4.8と同一テストで採点し、12GB級はコード15/15で同点。速度・VRAM・画像認識の差を実数値で比較した。