GTX 1660 Ti

ローカルLLM実装

Qwythos-9Bは32K contextで読める？VRAM 6GB環境で8K/16K/32K prefillを追加検証

Qwythos-9B-Claude-Mythos-5-1M Q4_K_MをVRAM 6GB環境で8K/16K/32K context設定にして追加検証。prefill速度、生成速度、VRAM使用量、長文内の合言葉取得をまとめます。
2026.07.01
ローカルLLM実装
ローカルLLM実装

Qwythos-9BはVRAM 6GBでどこまで動く？Q4/Q5/Q6を比較検証

VRAM 6GB環境でQwythos-9B-Claude-Mythosを検証。Q4/Q5/Q6のVRAM、速度、4GB台動作の現実味を比較しました。
2026.06.29
ローカルLLM実装