自分のGPUでローカルLLMを使う手順｜OllamaでGemma 4・Qwen3を動かす

Claude、ChatGPT、Geminiのようなクラウド型の生成AIは、とても便利です。ただ、クラウドサービスである以上、いつでも同じサービスやモデルを使い続けられるとは限りません。

実際、先日検証したClaude Fable 5も、記事を公開した直後に利用停止となりました。特定モデルだけでなく、提供地域、契約、規制、障害、サービス側の判断によって、使いたい機能やサービスそのものが急に使えなくなる可能性もあります。

こういう場面で強いのが、手元のPCで動かせるローカルAIです。クラウド型AIを使わないという話ではなく、いざというときに自分の環境で動かせる選択肢を持っておく。これは、これから生成AIを使い続けるうえでかなり王道の考え方だと感じています。

そこでこの記事では、Ollamaを使って、自分のGPUに合わせたローカルLLMを動かす手順をまとめます。

Gemma 4がOllamaでも使えるようになり、手元のPCでもローカルLLMをかなり試しやすくなりました。

前回の記事では、RTX 4070 12GB環境でGemma 4 12B、Qwen3 14B、Phi-4-mini、Gemma 4 26Bなどを同じ課題で実測しました。

詳しい速度・VRAM・品質比較はこちらにまとめています。

Gemma 4をRTX 4070（12GB）で実測｜12B・E4B・Qwen3 14B・Phi-4-mini・26Bを同じ試験でクラウドと比べた

さらに、1GB未満の小型モデルから始めたい場合は、656 MiBのMiniCPM5-1BをOllamaで検証した記事で、日本語、コーディング、Tool Calling、長文、HTMLゲームまで実測しています。

この記事では、その検証結果を例にしながら、自分のPCのGPUスペックに合わせて、OllamaでローカルLLMを使い始める手順をまとめます。

速度やVRAMの見方も紹介しますが、これはあくまで補足です。この記事の主役は、インストールしたあとに何を入力して、どう活用するかです。

最初に結論を書くと、ローカルLLMは「同じ環境を完全に真似する」より、自分のGPUのVRAMを見て、無理のないモデルを選ぶ方が始めやすいです。

目安は次のように考えると分かりやすいです。

GPUの目安	最初に試しやすいモデル	考え方
VRAM 6GB前後	`phi4-mini` / 小さめのQwen3	まず動かして使い方をつかむ
VRAM 8GB前後	`phi4-mini` / `qwen3:8b` など	文章整理や軽い相談から始める
VRAM 12GB前後	`gemma4:12b` / `qwen3:14b`	品質と実用性を狙いやすい
VRAM 16GB以上	12B〜14B級を余裕を持って使う	複数用途で安定しやすい
VRAM 24GB以上	26B級以上も候補	大きいモデルを試しやすい

この記事では、私の実測環境としてRTX 4070 12GBの結果を使います。ただし、同じGPUを用意する必要はありません。まずは自分のPCで動く範囲から始めれば十分です。

今回の実測例
Ollamaをインストールする
Cドライブに余裕がない場合はモデル保存先を変える
自分のGPUに合わせてモデルを選ぶ
まずはモデルに話しかける
プロンプトは「目的・素材・条件・出力形式」で書く
文章作成・要約・メモ整理に使う
コードやエラー相談に使う
画像を解析したい場合
用途別おすすめモデル
補足：速度やVRAMは必要になったら見る
まずは自分のGPUで無理なく動くモデルからでいい

今回の実測例

今回の手順と数値例は、次の環境で確認しています。

項目	内容
GPU	NVIDIA GeForce RTX 4070 12GB
OS	Windows 11
実行環境	Ollama 0.30.8
モデル保存先	既定の保存先（Cドライブに余裕がない場合のみ変更）
主に使う端末	Windows PowerShell

これはあくまで実測例です。読者側で同じGPUにそろえる必要はありません。

大事なのは、自分のPCのGPU名とVRAM容量を確認し、その範囲で動くモデルを選ぶことです。

Ollama公式ドキュメントでも、Windows版はネイティブアプリとしてバックグラウンドで動き、インストール後は cmd や PowerShell から ollama コマンドを使えると説明されています。

つまり、普段の作業はデスクトップアプリの画面を操作するというより、Ollamaを起動した状態でPowerShellからモデルを取得・実行する流れになります。

Ollamaをインストールする

まず、OllamaのWindows版を入れます。

公式のダウンロードページからWindows版を入れるのが分かりやすいです。

Download Ollama on Windows

PowerShellに慣れている場合は、公式ページに載っている次のコマンドでもインストールできます。

irm https://ollama.com/install.ps1 | iex

インストール後、PowerShellを開いて次を実行します。

ollama -v

バージョンが表示されれば、Ollamaコマンドは使える状態です。

GPUも確認しておきます。

nvidia-smi

NVIDIA GPUの場合は、ここでGPU名とVRAM容量を確認できます。RTX 4070でなくても構いません。自分の環境で何GBのVRAMがあるかを見るのが目的です。

nvidia-smiでRTX 4070のGPU名とVRAM容量を確認している画面 — nvidia-smiでGPU名とVRAM容量を確認している例。RTX 4070でなくても、自分のPCでVRAMが何GBあるかを見るのが目的です。

Cドライブに余裕がない場合はモデル保存先を変える

ローカルLLMで最初につまずきやすいのが、モデルの保存容量です。

今回入れる3モデルだけでも、おおよそ次のサイズになります。

モデル	ダウンロードサイズの目安
`gemma4:12b`	7.6GB
`qwen3:14b`	9.3GB
`phi4-mini`	2.5GB
合計	約19GB

さらに gemma4:26b まで試すと、追加で18GBほど使います。

Cドライブに十分な空き容量があるなら、保存先は既定のままで構いません。

ただし、Cドライブの容量が少ないPCでは、最初にモデル保存先を別の空き容量がある場所へ変えておくと後が楽です。保存先はPCごとに違うので、自分の環境で余裕のあるドライブやフォルダを選びます。

Ollamaデスクトップアプリでは、Settings の Model location からモデル保存先を変更できます。画像ではDドライブを例にしていますが、実際は空き容量のある場所を選べばOKです。

OllamaデスクトップアプリのSettingsでModel locationを変更できる画面 — Ollamaデスクトップアプリの Settings から Model location を変更できます。画像ではDドライブを例にしていますが、実際は空き容量のある場所を選べばOKです。

画面から変更しにくい場合や、コマンドで明示的に設定したい場合は、ユーザー環境変数 OLLAMA_MODELS でも変更できます。

PowerShellから設定するなら、次のようにします。<モデル保存先のフルパス> は、自分のPCで使いたい保存先に置き換えてください。

[Environment]::SetEnvironmentVariable("OLLAMA_MODELS", "<モデル保存先のフルパス>", "User")

設定したら、Ollamaを再起動します。タスクバーのOllamaを終了してから、スタートメニューでOllamaを起動し直します。反映されない場合は、Windowsを再起動すると確実です。

確認用に、新しくPowerShellを開いて次を実行します。

echo $env:OLLAMA_MODELS

設定した保存先が表示されればOKです。

公式ドキュメントでも、モデル保存先を変える場合は OLLAMA_MODELS をユーザー環境変数として設定し、Ollamaを再起動する手順が案内されています。

自分のGPUに合わせてモデルを選ぶ

ローカルLLMを始めると、つい色々なモデルを試したくなります。ただ、最初から多く入れると、どれが何に向いているのか分からなくなります。

まずは、自分のGPUのVRAM容量に合わせて1〜3個に絞るのがおすすめです。

私のRTX 4070 12GB環境では、次の3つが扱いやすい候補でした。

ollama pull gemma4:12b
ollama pull qwen3:14b
ollama pull phi4-mini

ただし、これは12GB級GPUでの例です。VRAMが少ない場合は、最初から12B/14B級を狙わず、phi4-mini や小さめのQwen3から始める方が安全です。

選び方の目安は次の通りです。

VRAMの目安	まず試す候補	コメント
6GB前後	`phi4-mini` / 小さめのQwen3	軽く試す。品質より「動かす」ことを優先
8GB前後	`phi4-mini` / `qwen3:8b` など	文章整理・要約・軽い相談に使いやすい
12GB前後	`gemma4:12b` / `qwen3:14b`	品質を狙いやすい。14Bは上限に近い
16GB以上	12B〜14B級	余裕を持って使いやすい
24GB以上	26B級以上	大きいモデルも試しやすい

この表はあくまで入口の目安です。同じVRAMでも、OS、ドライバ、他に起動しているアプリ、モデルの量子化形式で動き方は変わります。

今回実測した3モデルの位置づけは次の通りです。

Gemma 4 12B

最初の主役にしやすいモデルです。

前回のRTX 4070 12GB実測では、SemVer実装のコード課題で15/15、画像読取でも3/3でした。速度も約43 tok/sで、12GB級GPUでは実用しやすい範囲です。

画像も扱いたいなら、まず gemma4:12b から試すのがよいです。

Qwen3 14B

日本語の説明や、指示に沿った短い回答が得意でした。

前回の実測では、ベイズ推定の問題で、5モデルの中で唯一150字以内に収めて正答しました。日本語の文章も自然です。

ただし、VRAM使用量はかなり上限に近いです。12GB級GPUでは動きますが、余裕は少なめです。

Phi-4-mini

とにかく軽くて速いモデルです。

前回の実測では100 tok/sを超えました。モデルサイズも小さいので、Ollamaが動いているか、GPUが使えているかを軽く見る用途に向いています。

一方で、品質面ではGemma 4 12BやQwen3 14Bに劣ります。大事な文章やコードをそのまま任せるというより、軽量モデル枠として見るのがよいです。

未検証だが、同じ手順で試せる候補

ここから先は、この記事では実測していない候補です。

Ollamaではモデル名を変えるだけで、基本的な使い方は同じです。

ollama pull <モデル名>
ollama run <モデル名>

そのため、最初の3モデルで流れが分かったら、次のようなモデルを試すのもありです。

候補	向いていそうな用途	注意
`qwen3.5:4b` / `qwen3.5:9b`	文章・画像・軽めのマルチモーダル	未検証。まず小さいサイズから
`qwen3-vl:4b` / `qwen3-vl:8b`	画像解析を重視したい場合	未検証。画像入力の挙動は要確認
`deepseek-r1:8b` / `deepseek-r1:14b`	推論系を試したい場合	回答が長くなりやすい可能性がある
`mistral-nemo:12b`	テキスト中心で別系統を試したい場合	画像入力ではなく文章用途として見る
`phi4-reasoning`	数学・推論寄りを試したい場合	14B級なのでVRAMに余裕が必要

ここで「未検証」と書いているのは、あくまで私がこの記事と同じ条件でまだ試していないという意味です。モデル自体を低く見ているわけではありません。

この記事ではまず phi4-mini など軽いモデルでOllamaの流れを確認し、次に自分のGPUで無理なく動くサイズへ広げる流れにしています。実測結果として話せるのは、あくまで gemma4:12b、qwen3:14b、phi4-mini、gemma4:26b です。

まずはモデルに話しかける

モデルを取得したら、まずは普通に話しかけます。

ollama run gemma4:12b

起動すると、PowerShell上でそのまま質問できます。

最初は難しいことをさせるより、短い質問で反応を見ます。

ローカルLLMとは何かを、初心者向けに3行で説明してください。

次に、自分が実際に使いそうな作業を頼みます。

次の文章を、ブログ記事の冒頭として自然な「ですます調」に整えてください。

（ここに文章を貼る）

終了したい場合は、Ctrl + C で抜けられます。

Ollamaは、ChatGPTのようなWeb画面ではなく、PowerShell上で会話する形です。最初は少し地味に見えますが、文章の整理、要約、コード相談、画像の読み取りまで、かなり普通に使えます。

プロンプトは「目的・素材・条件・出力形式」で書く

ローカルLLMを使うときは、いきなり一文で頼むより、次の4つに分けると安定します。

要素	書くこと
目的	何をしたいか
素材	元文章、エラー、コード、画像など
条件	読者、文体、文字数、禁止したいこと
出力形式	箇条書き、表、修正文、手順など

使いやすい型はこれです。

目的:
（何をしたいか）

素材:
（文章・ログ・コードなど）

条件:
- 初心者向け
- ですます調
- 重要な注意点は省略しない
- 分からないことは推測で断定しない

出力形式:
1. 修正文
2. 改善理由
3. 追加した方がよい項目

たとえば、記事の文章を整えるなら次のように入力します。

目的:
ブログ記事の本文を読みやすくしたいです。

素材:
手元のGPUでGemma 4を動かしました。文章生成と画像入力を試せました。

条件:
- 初心者にも分かる言い方にする
- ですます調
- 誇張しすぎない
- 「すごい」だけで終わらせない

出力形式:
修正文を1つ、そのあとに改善ポイントを3つ出してください。

この形にしておくと、モデルが「何を直せばいいのか」を理解しやすくなります。

文章作成・要約・メモ整理に使う

ローカルLLMで最初に使いやすいのは、文章系の作業です。

たとえば、次のような用途に向いています。

メモを記事の構成にする
長い文章を要約する
文章をですます調に整える
見出し案を出す
読者がつまずきそうな点を指摘してもらう
箇条書きを表にする

記事構成を作るなら、こう入力します。

次のメモをもとに、初心者向けブログ記事の構成案を作ってください。

条件:
- H2見出しを7個前後
- 先に結論を書く
- 読者が実際に手を動かせる順番にする
- 専門用語には短い説明を付ける

メモ:
（ここにメモを貼る）

要約なら、こうです。

次の文章を要約してください。

条件:
- 3行で要約
- 重要な数値は残す
- 推測は入れない

文章:
（ここに文章を貼る）

Ollamaのローカルモデルは、最新ニュースを検索して答えるものではありません。手元の文章やログを貼り、それを整理させる使い方の方が安定します。

コードやエラー相談に使う

開発用途でも使えます。

エラー相談では、エラー文だけを貼るより、何をしていたかを一緒に書くと答えが良くなります。

目的:
PowerShellでOllamaを実行したときのエラー原因を知りたいです。

状況:
- Windows 11
- NVIDIA GPUを使用
- Ollamaはインストール済み
- gemma4:12bを実行しようとした

エラー:
（ここにエラー文を貼る）

出力:
原因候補を3つ、確認手順を順番に出してください。

コードを見てもらう場合は、次のようにします。

次のPythonコードをレビューしてください。

見てほしい点:
- バグになりそうな箇所
- 初心者が誤解しそうな書き方
- もっと読みやすい書き方

コード:
（ここにコードを貼る）

ローカルで動かせるので、外部サービスへ貼りにくいメモや実験コードを扱いやすいのが利点です。ただし、会社の機密情報や個人情報を無造作に貼るのは避けた方が安全です。ローカル実行でも、スクリーンショットやログに不要な情報が残ることがあります。

画像を解析したい場合

Gemma 4を使うなら、画像入力も試せます。

Ollama公式のCLIリファレンスでも、マルチモーダルモデルでは画像パスを渡して実行する例が紹介されています。

ollama run gemma4 "<画像ファイルのフルパス> この画像には何が写っていますか？"

Windowsで試すときは、画像ファイルのフルパスを使うと分かりやすいです。

ollama run gemma4:12b "<画像ファイルのフルパス> この画像に写っている内容を日本語で説明してください。"

グラフを読ませるなら、次のように聞きます。

ollama run gemma4:12b "<画像ファイルのフルパス> このグラフから読み取れることを3つ挙げてください。数値が見える場合は数値も含めてください。"

エラー画面やスクリーンショットを読ませるなら、こうです。

ollama run gemma4:12b "<画像ファイルのフルパス> このスクリーンショットで問題になっていそうな箇所を説明してください。原因候補と次に確認することを分けてください。"

うまく渡せている場合、実行時に Added image のような表示が出ます。

OllamaでAdded imageが表示され画像入力が成功している画面 — 画像入力が成功している例。実行時にAdded imageが出ていれば、画像ファイルがモデルに渡っています。

反対に、画像が渡っていない場合でも、モデルがそれっぽく答えることがあります。

前回の検証では、画像を渡したつもりでも実際には渡っておらず、モデルが画像を見ずに答えてしまうケースがありました。

画像が渡っていない状態でそれらしく誤答している例 — 画像が正しく渡っていないと、モデルが画像を見ずにそれらしい回答をすることがあります。

画像入力では、回答内容だけでなく、ログに Added image が出ているかを確認した方がよいです。

画像解析で使いやすい依頼は、次のようなものです。

やりたいこと	プロンプト例
グラフを読む	`このグラフの結論を3つにまとめてください`
画面エラーを読む	`この画面でエラーになっていそうな箇所を説明してください`
UIをレビューする	`この画面で初心者が迷いそうな点を挙げてください`
表を読み取る	`表の内容をMarkdownの表に直してください`
画像の説明文を作る	`この画像の代替テキストを日本語で作ってください`

用途別おすすめモデル

ここまでの結果を、用途別にまとめます。

用途	おすすめ	理由
まずローカルLLMを体験したい	`gemma4:12b`	文章・コード・画像入力のバランスが良い
日本語の文章を整えたい	`qwen3:14b`	日本語の自然さと指示追従が強い
軽さを優先したい	`phi4-mini`	小さくて速い。動作確認に向く
画像も読みたい	`gemma4:12b`	実測で画像読取が安定していた
限界を試したい	`gemma4:26b`	大きいモデル。VRAM不足時はCPU/GPUオフロードになる場合がある

gemma4:e4b は、サイズと速度だけを見ると魅力があります。ただ、今回のOllama環境では画像読取と出力安定性に不安がありました。

そのため、初心者向けの最初の1本としては強く勧めません。軽さだけなら phi4-mini、総合力なら gemma4:12b を選ぶ方が分かりやすいです。

補足：速度やVRAMは必要になったら見る

ここまでの使い方だけでも、ローカルLLMは十分試せます。

速度やVRAM使用量は、普段使いの最初から必ず見るものではありません。モデルが重い、遅い、GPUに載っているか分からない、といった時の確認手段として使います。

速度を見たい場合

速度も見たい場合は、--verbose を付けて実行します。

ollama run gemma4:12b --verbose

回答後に、次のような項目が表示されます。

表示	見るポイント
`total duration`	全体にかかった時間
`eval count`	生成したトークン数
`eval rate`	生成速度。tok/sとして見る

前回の実測では、おおよそ次の速度でした。

モデル	生成速度の目安
`phi4-mini`	約111〜118 tok/s
`gemma4:12b`	約43 tok/s
`qwen3:14b`	約38〜43 tok/s
`gemma4:26b`	約24〜29 tok/s

RTX 4070環境でのローカルLLM生成速度比較グラフ — RTX 4070 12GB環境での生成速度比較。速度だけでなく、用途に合う品質も見て選ぶのが大事です。

速度だけでモデルを選ぶと、品質で失敗しやすくなります。phi4-mini は非常に速いですが、実測では品質面の弱さがありました。反対に qwen3:14b は少し重いものの、日本語の回答はかなり安定していました。

VRAM使用量を見たい場合

モデルが重いと感じたら、別のPowerShellを開いて次のコマンドを実行します。

nvidia-smi

もう少し細かくピークを見たい場合は、次のようにしてVRAM使用量を追えます。

$peak=0
while ($true) {
  $m = [int](nvidia-smi --query-gpu=memory.used --format=csv,noheader,nounits)
  if ($m -gt $peak) { $peak = $m }
  Write-Host -NoNewline ("`rVRAM now: {0} MiB   peak: {1} MiB " -f $m, $peak)
  Start-Sleep -Milliseconds 500
}

前回の実測では、VRAMピークは次のようになりました。

モデル	VRAMピーク	コメント
`phi4-mini`	約6.0GB	余裕あり
`gemma4:12b`	約10.7GB	12GB級GPUで実用しやすい
`qwen3:14b`	約11.5GB	12GBの上限近く
`gemma4:26b`	約12.0GB	CPUオフロードあり