ローカルLLMとは何か──自分のPCでAIを動かす仕組み・利点・始め方を解説

3行まとめ

1. ローカルLLMとは、自分のPCやサーバー上でAIモデルを直接動かすこと。データが外部に送られず、月額料金もかからない
2. 必要なのはGPU（VRAM 8GB以上が目安）と、モデルファイルを置くストレージ。量子化という技術で、消費者向けPCでも動かせるモデルが増えている
3. ChatGPTやClaudeの代替ではなく「補完」。プライバシーが重要な業務、オフライン環境、大量反復処理などクラウドが不向きな場面で力を発揮する

ローカルLLMとは

ChatGPTやClaudeを使うとき、入力したテキストはインターネット経由でOpenAIやAnthropicのサーバーに送られ、そこで処理される。これがクラウドLLMだ。

ローカルLLMはこれと対照的に、AIモデルのファイルを自分のPC（またはオンプレミスのサーバー）にダウンロードし、自分のハードウェア上で推論を実行する。

つまり、データが自分のマシンから出ない。

クラウドLLM:  あなた → インターネット → OpenAI/Anthropicのサーバー → 回答
ローカルLLM:  あなた → 自分のPC内でモデルが回答（通信なし）

なぜローカルで動かすのか

クラウドLLMで十分な場面は多い

まず前提として、多くのユースケースではChatGPTやClaudeで十分だ。最新のフロンティアモデルは性能が高く、APIやサブスクリプションで手軽に使える。

ローカルLLMが選択肢に入るのは、以下のようなクラウドでは不都合がある場面だ。

ローカルLLMが向いている場面

場面	理由
機密データの処理	社内文書・顧客情報・医療データなど、外部サーバーに送れないデータを扱う場合
月額コストの回避	大量のAPI呼び出しを繰り返す場合、クラウドの従量課金が膨らむ。ローカルならGPUの電気代だけ
オフライン環境	飛行機内、セキュリティの厳しいネットワーク、インターネットが不安定な場所
カスタマイズ	モデルの微調整（ファインチューニング）や、独自データでの学習を完全にコントロールしたい場合
検閲・フィルターの回避	クラウドモデルが拒否する特定のタスク（セキュリティ研究など正当な用途）に使いたい場合
学習目的	AIの仕組みを手を動かして理解したい場合

必要なもの

ハードウェア

ローカルLLMで最も重要なのはGPU（グラフィックカード）のVRAMだ。モデルが大きいほどVRAMを多く消費する。

モデル規模	必要VRAM目安	動かせるGPUの例
7-8Bパラメータ（小型）	6-8 GB	RTX 3060, RTX 4060, M1/M2 Mac（16GB統合メモリ）
13-14Bパラメータ（中型）	10-16 GB	RTX 4070, RTX 3090, M2 Pro Mac
30-70Bパラメータ（大型）	24-48 GB	RTX 4090, A6000, M2 Ultra Mac
100B超（フロンティア級）	80 GB以上	H100, 複数GPU構成

Apple Siliconの Mac（M1/M2/M3/M4）は統合メモリをGPUと共有するため、メモリ32GB以上のモデルなら中型モデルも快適に動く。

ストレージ

モデルファイルは数GBから数十GBある。量子化（後述）された7Bモデルで約4-5GB、70Bモデルで約40GB程度。SSDを推奨。

量子化とは

フロンティアモデルは数千億のパラメータを持ち、そのまま動かすには研究所レベルのGPUが必要になる。

**量子化（Quantization）**は、モデルの精度をわずかに犠牲にして、必要なメモリと計算量を大幅に削減する技術だ。

元のモデル（FP16）:  各パラメータ = 16ビット → 大量のVRAMが必要
量子化（Q4_K_M）:    各パラメータ ≈ 4ビット → VRAMが約1/4に

量子化の形式はGGUF（llama.cppが使用）が現在の主流。Hugging Faceでモデルを探すとき、「Q4_K_M」「Q5_K_M」「Q8_0」といった表記があるのは量子化の度合いを示している。数字が大きいほど精度が高いがメモリも多く消費する。

代表的なツール

Ollama

ターミナルからコマンド1つでモデルをダウンロード・実行できるツール。

# インストール後、1コマンドで開始
ollama run llama3.1

Mac・Linux・Windowsに対応。APIサーバーも内蔵しているため、自作アプリケーションからの呼び出しも容易。もっとも手軽な入門手段。

LM Studio

GUIでモデルの検索・ダウンロード・チャット・API提供ができるデスクトップアプリ。コマンドラインに不慣れな人向け。Hugging Faceからモデルを直接検索してワンクリックでダウンロードできる。

llama.cpp

C/C++で書かれた高速推論エンジン。OllamaやLM Studioの内部でも使われている基盤技術。上級者向けだが、最も細かいチューニングが可能。Apple Silicon向けの最適化が特に優れている。

vLLM

本格的なサーバー用途向けの推論エンジン。複数ユーザーからの同時リクエストを効率的に処理するPagedAttentionを採用。社内API基盤として使われることが多い。

代表的なオープンモデル（2026年6月時点）

モデル	開発元	パラメータ	特徴
Llama 3.1 / 4	Meta	8B-405B	もっとも広く使われるオープンモデルの基盤
Qwen 2.5 / 3	Alibaba	0.5B-72B	多言語性能が高い。日本語も比較的得意
Mistral / Mixtral	Mistral AI	7B-8x22B	MoEアーキテクチャの先駆け。効率的
Gemma 2 / 3	Google	2B-27B	小型ながら高性能。研究用途にも
DeepSeek-V3 / R1	DeepSeek	671B	推論特化。量子化すれば消費者GPUでも部分的に動作
GLM-5.2	Zhipu AI	744B	100万トークンコンテキスト。MIT重み公開予定
Kimi K2.7-Code	Moonshot AI	1T	コーディング特化。Modified MIT

クラウド vs ローカル 早見表

	クラウドLLM	ローカルLLM
セットアップ	アカウント登録だけ	GPU・ツール・モデル導入が必要
性能	フロンティアモデルが使える	ハードウェアに依存。小〜中型モデルが現実的
プライバシー	データが外部サーバーに送られる	データが自分のマシンから出ない
コスト	サブスク or 従量課金	GPU購入費 + 電気代（月額なし）
オフライン	不可	可能
カスタマイズ	API経由で限定的	ファインチューニングも自由
最新モデル	すぐ使える	重み公開を待つ必要がある

始め方（最短ルート）

1. Ollamaをインストールする（ollama.com）
2. ターミナルで ollama run llama3.1 を実行する
3. チャットが始まる。以上

まずはこれで「ローカルでAIが動く」感覚を掴むのが最速だ。そこから必要に応じてモデルを変えたり、LM Studioに移行したり、APIとして組み込んだりすればいい。

但し書き

• 必要VRAM・ストレージは量子化の度合いやモデルのアーキテクチャによって変わる。上記の表は目安
• 量子化によるベンチマーク性能の低下度合いはモデルとタスクによって異なる。「Q4で十分」とも「Q8でないと使い物にならない」とも一概には言えない
• 本記事はOllama・LM Studio・llama.cppの紹介を含むが、特定製品の推奨ではない
• オープンモデルの一覧は2026年6月時点の主要なものを抜粋。網羅的なリストではない