Qwythos-9B-Claude-Mythos-5-1M-GGUF を手元のVRAM 6GB環境で試してみました。
このモデルは、Q4_K_Mなら4GB台のVRAM使用量で動く可能性がありそうだと感じていたモデルです。ただし、今回使った実機はVRAM 6GB環境です。この記事では「4GB実機で確実に動く」とは断定せず、6GB環境で実際にどれくらいVRAMを使ったかを中心に見ます。
先に結論を書くと、Q4_K_MとQ5_K_Mは6GB環境でもかなり現実的でした。Q6_Kも起動と短いコード相談はできましたが、速度面では重さが目立ちます。
この記事では、Q4_K_Mを本命、Q5_K_Mを比較候補、Q6_Kを限界確認として扱います。
Qwythos-9B-Claude-Mythosとは
Qwythos-9B-Claude-Mythosは、Empero AIが公開している9BクラスのローカルLLMです。 公式モデルカードでは、Qwen3.5-9B系をベースにしたGGUFモデルとして紹介されています。名前にClaudeと入っていますが、Claudeそのものではありません。Claude Mythos / Claude Fable系の出力傾向を意識して後学習された別モデルとして見るのが自然です。 公式モデルカードはこちらです。
empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.co
| 種類 | ファイルサイズ | 今回の扱い |
|---|---|---|
| Q4_K_M | 約5.63GB | 本命 |
| Q5_K_M | 約6.47GB | 上位量子化の比較 |
| Q6_K | 約7.36GB | 限界確認 |
検証した環境
今回の環境は次の通りです。GPU: NVIDIA GeForce GTX 1660 Ti 6GB
実行: llama.cpp / llama-server.exe
UI: ブラウザUI
OS: Windows
GPU offload: -ngl 8
URL: http://127.0.0.1:8080/-c 4096 から確認し、1ファイルHTMLゲームのように出力が長くなるタスクでは -c 8192 に広げました。
また、Qwythosはreasoning modelとして紹介されていますが、今回はVRAM 6GB環境での速度とVRAMを優先し、--reasoning off で確認しています。reasoningを有効にした場合の品質や速度は、この記事では未検証です。
速度やVRAMは、主にブラウザUIに表示された tokens / 秒 / t/s と、nvidia-smiの画面キャプチャーを見て記録しました。厳密なベンチマークというより、実際に手元で使ったときの体感に近い検証です。
llama.cppのブラウザUIで起動する
今回はCLIだけではなく、llama.cppのブラウザUIを使いました。llama-server.exe を起動すると、ブラウザ上のローカル画面から、クラウドAIのような感覚でモデルに入力できます。
実行コマンドは、だいたい次の形です。
.\runtime\llama-server.exe `
-m ".\models\Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.gguf" `
-c 4096 `
-ngl 8 `
--temp 0.6 `
--top-p 0.95 `
--top-k 20 `
--repeat-penalty 1.05 `
--reasoning off `
--host 127.0.0.1 `
--port 8080 `
--no-warmup-c 4096 では足りないことがありました。その場合は -c 8192 に広げて再実行しています。
主なパラメータの意味は次の通りです。
| パラメータ | 意味 | 今回の扱い |
|---|---|---|
-m |
使用するGGUFモデル | Q4_K_M / Q5_K_M / Q6_K |
-c |
コンテキスト長 | 通常は4096、長いHTML生成では8192 |
-ngl |
GPUに載せるレイヤー数 | 8 |
--reasoning off |
reasoning出力を切る | 今回は速度とVRAM優先でoff |
--temp / --top-p / --top-k |
サンプリング設定 | 公式モデルカードの推奨値に合わせた |
--host / --port |
ブラウザUIの待ち受け先 | 127.0.0.1:8080 |
start_qwythos_browser_ui.bat という名前で保存します（拡張子が .txt にならないよう注意）。作業用フォルダの直下に置き、同じフォルダ内に runtime（llama.cpp一式）と models（GGUFモデル）を用意します。
@echo off
setlocal
cd /d "%~dp0"
rem ---- Edit here if needed ----
rem If long output gets cut off, change CTX to 8192.
set MODEL=models\Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.gguf
set CTX=4096
set GPU_LAYERS=8
set PORT=8080
rem ----------------------------
if not exist "runtime\llama-server.exe" (
echo [NG] runtime\llama-server.exe not found.
echo Put llama.cpp files in the runtime folder.
pause
exit /b 1
)
if not exist "%MODEL%" (
echo [NG] %MODEL% not found.
echo Put the GGUF model file in the models folder.
pause
exit /b 1
)
echo Starting Qwythos browser UI...
echo Model: %MODEL%
echo Context: %CTX%
echo GPU layers: %GPU_LAYERS%
echo URL: http://127.0.0.1:%PORT%/
echo.
runtime\llama-server.exe ^
-m "%MODEL%" ^
-c %CTX% ^
-ngl %GPU_LAYERS% ^
--temp 0.6 ^
--top-p 0.95 ^
--top-k 20 ^
--repeat-penalty 1.05 ^
--reasoning off ^
--host 127.0.0.1 ^
--port %PORT% ^
--no-warmup
echo.
echo llama-server stopped.
pauseset MODEL= の行を書き換えます。長い出力が途中で切れる場合は、set CTX= を 8192 に上げて再実行します。batをダブルクリックすると、モデルとllama.cppの有無を確認してからサーバーが起動するので、ブラウザで http://127.0.0.1:8080/ を開きます。
ブラウザUIは便利ですが、サーバーを止めるまでモデルはVRAMに載ったままになります。回答が終わってもVRAM使用量がすぐ下がらないのは自然な挙動です。
Q4_K_Mは本当に使えるか
まずは推奨スタートのQ4_K_Mから試しました。 結果として、VRAM 6GB環境でもブラウザUIで起動できました。VRAMはおおむね3.9GBから4.2GB前後です。日本語文章作成
旅行プランを作るタスクを投げました。出力: 272 tokens
時間: 45s
速度: 5.96 t/s
VRAM: 約3920〜3971MiB
要約
要約タスクも試しました。出力: 74 tokens
時間: 10s
速度: 7.06 t/s
VRAM: 約3973〜4061MiB
コード相談
HTML/JavaScriptの短いバグ相談も試しました。出力: 141 tokens
時間: 25s
速度: 5.59 t/s
VRAM: 約4058〜4137MiBid="countButton" と getElementById("button") の不一致を正しく特定し、修正版コードも出せました。
短いHTML/JavaScriptの相談なら、Q4_K_Mでも十分使える印象です。
Claude Mythos系らしさはあるか
このモデル名で気になるのは、やはり「Claude Mythos系らしさ」があるのかです。 Q4_K_Mで、個人ブログの冒頭案を相談するタスクも試しました。出力: 656 tokens
時間: 1min 31s
速度: 7.18 t/s
VRAM: 約4285〜4378MiB
Q5_K_MはQ4より良いのか
次に、Q5_K_Mも試しました。 Q5_K_MはQ4_K_Mよりファイルサイズが大きいですが、今回の設定ではVRAM 6GB環境でもブラウザUI起動できました。起動後VRAM: 約4432〜4583MiB / 6144MiB日本語文章作成
Q5_K_Mでも、Q4と同じ旅行プラン作成を試しました。出力: 227 tokens
時間: 38s
速度: 5.93 t/s
Q6_Kも起動するが、6GBでは重い
Q6_Kも試しました。 Q6_KのGGUFファイルサイズは約7.36GBです。ファイルサイズだけ見ると6GB VRAMに入りませんが、今回は-ngl 8 で一部だけGPUに載せる形にしました。
その結果、VRAM 6GB環境でもブラウザUI起動できました。
ブラウザUI起動: 成功
モデル表示: Q6_K.gguf
VRAM: 起動前 約2130〜2181MiB → 起動後 約4140〜4396MiB / 6144MiB
出力: 190 tokens
時間: 1min 3s
速度: 2.98 t/s
VRAM: 約4394〜4499MiB / 6144MiBcountButton と button のID不一致を正しく見つけ、修正版コードも出せています。
ただし、速度はかなり重くなります。Q4_K_Mの同じコード相談タスクが 5.59 t/s だったのに対し、Q6_Kは 2.98 t/s でした。
Q6_Kも動きますが、GTX 1660 Ti 6GBで普段使いするなら、Q4_K_MかQ5_K_Mのほうが現実的です。
VRAM Fit Puzzleを作らせてみる
実用タスクとは少し別に、簡単なHTMLゲームも作らせました。 作らせたのは、GPUとモデルと量子化を選んで、VRAMに収まるかを判定する「VRAM Fit Puzzle」です。1回目はctx 4096で失敗
最初はctx 4096 で試しました。
HTMLは保存できましたが、画面にはタイトルやステータスバーだけが表示され、肝心のカード類が出ませんでした。
request (4179 tokens) exceeds the available context size (4096 tokens)ctx 8192で動くところまで生成
次にctx 8192 に広げて再実行しました。
この場合は、1ファイルHTMLゲームとして動くところまで生成できました。
出力: 2791 tokens
時間: 7min 38s
速度: 6.09 t/s
VRAM: 約4339〜4487MiB
画像入力や動画入力は今回の対象外
Qwythosの公式モデルカードには、画像入力に使うmmproj についての説明もあります。
ただし、今回の検証はテキストモデルをllama.cppのブラウザUIで動かすところに絞りました。画像解析や動画解析は扱っていません。
画像入力を使う場合は、テキスト用のGGUFだけでなく、対応する mmproj ファイルやマルチモーダル対応の起動方法が必要です。動画についても、そのまま動画ファイルを渡すというより、フレーム抽出など別処理が必要になります。
Q4/Q5/Q6の比較まとめ
今回の結果をまとめると、次のようになります。 全タスクを3量子化で完全に横並びにしたわけではありません。今回は、Q4_K_Mを主役に、Q5_K_MとQ6_Kで「VRAM 6GB環境でもどこまで行けるか」を確認する形です。| 項目 | Q4_K_M | Q5_K_M | Q6_K |
|---|---|---|---|
| GGUFサイズ | 約5.63GB | 約6.47GB | 約7.36GB |
| ブラウザUI起動 | 成功 | 成功 | 成功 |
| VRAM目安 | 約3.9〜4.3GB | 約4.3〜4.6GB | 約4.1〜4.5GB |
| 日本語文章 | 自然、要確認 | 自然、短め | 未実施 |
| 要約 | 使えるが形式指定は甘い | 未実施 | 未実施 |
| コード相談 | 正解、5.59 t/s | 未実施 | 正解、2.98 t/s |
| Claude Mythosらしさ | 丁寧だが自己紹介癖あり | 未実施 | 未実施 |
| ゲーム制作 | ctx 8192で動作 | Q4より仕様に近い | 未実施 |
| 6GBでの扱い | 本命 | 比較候補 | 限界確認 |
追加検証：32K contextで長文を読ませる
このあと、Q4_K_Mを使って8K / 16K / 32K context設定の追加検証も行いました。長文入力を読ませたときのprefill速度、生成速度、VRAM使用量、合言葉取得を確認しています。
Qwythos-9Bは32K contextで読める？VRAM 6GB環境で8K/16K/32K prefillを追加検証
追加検証：RTX 4070でv2と旧版Q5/Q6/Q8を比較
RTX 4070 12GB環境では、旧版Q5/Q6/Q8に加えてQwythos-9B v2も検証しました。同じ2Dシューティングを生成し、速度、VRAM、実際のブラウザ動作、修正後の完成度を比較しています。
Qwythos-9B v2をRTX 4070で追加検証した記事
MTP版について
同じリポジトリには、MTP 付きのGGUFもあります。
MTP版は、通常版より賢い上位モデルというより、対応したllama.cppで生成速度を上げるための追加機能付きモデルです。使うには、MTPに対応した新しめのllama.cppと、--spec-type draft-mtp のような指定が必要になります。
今回は通常版の Q4_K_M、Q5_K_M、Q6_K を見たため、MTP版は別記事または追試候補にします。
コメント