ローカルLLM実装

ローカルLLM実装

MiniCPM5-1Bを本格検証:656 MiBの小型LLMは日本語・コード・ゲーム生成に使える?

約10.8億パラメータ、Q4 656 MiBのMiniCPM5-1BをRTX 4070環境で検証。日本語、JSON、推論、コード、ツール呼び出し、4K~120K長文、ゲーム実操作、速度・VRAMをQwen/LFMと比較します。
ローカルLLM実装

Qwythos-9B v2でブラウザゲーム生成は改善した?v1 Q5/Q6/Q8・Claude Opus 4.8と比較

Qwythos-9Bの旧版Q5/Q6/Q8と新しいv2 Q8_0をRTX 4070で検証。同じ2Dシューティングを生成し、速度、VRAM、実ブラウザ動作、修正後の完成度をClaude Opus 4.8の参照結果とともにまとめます。
ローカルLLM実装

Qwythos-9Bは32K contextで読める?VRAM 6GB環境で8K/16K/32K prefillを追加検証

Qwythos-9B-Claude-Mythos-5-1M Q4_K_MをVRAM 6GB環境で8K/16K/32K context設定にして追加検証。prefill速度、生成速度、VRAM使用量、長文内の合言葉取得をまとめます。
ローカルLLM実装

Qwythos-9BはVRAM 6GBでどこまで動く?Q4/Q5/Q6を比較検証

VRAM 6GB環境でQwythos-9B-Claude-Mythosを検証。Q4/Q5/Q6のVRAM、速度、4GB台動作の現実味を比較しました。
ローカルLLM実装

自分のGPUでローカルLLMを使う手順|OllamaでGemma 4・Qwen3を動かす

OllamaでローカルLLMを使い始める手順を、GPU/VRAM別のモデル選び、プロンプト入力例、画像解析、速度やVRAM確認まで初心者向けに整理します。
ローカルLLM実装

Gemma 4をRTX 4070(12GB)で実測|12B・E4B・Qwen3 14B・Phi-4-mini・26Bを同じ試験でクラウドと比べた

RTX 4070(12GB)でGemma 4・E4B・Qwen3 14B・Phi-4-mini・26Bの5モデルをOllamaで実測。クラウドのOpus 4.8と同一テストで採点し、12GB級はコード15/15で同点。速度・VRAM・画像認識の差を実数値で比較した。