# AIモデルをローカルで利用する

HubのAIモデルをローカルで実行できます。これにより、以下の利点を享受できます。

- **プライバシー**: データをリモートサーバーに送信する必要はありません。
- **速度**: ハードウェアがボトルネックであり、サーバーや接続速度ではありません。
- **コントロール**: お好みに合わせてモデルを設定できます。
- **コスト**: APIプロバイダーに支払うことなく、モデルをローカルで実行できます。

## ローカルアプリの使用方法

Local appsは、Hugging Faceのモデルをあなたのマシン上で直接実行できるアプリケーションです。始めるには:

1. [ローカルアプリの設定](https://huggingface.co/settings/local-apps)で、**ローカルアプリを有効にする**。

![Local Apps](https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/local-apps/settings.png)

2. **対応するモデル**を、Hubで検索して選択します。フィルタサイドバーの`Other`セクションの`Apps`グループでアプリ別に絞り込むことができ、例えば[llama.cppと互換性のあるモデル](https://huggingface.co/models?apps=llama.cpp)のように指定できます:

![Local Apps](https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/local-apps/search_llamacpp.png)

3. モデルページの「Use this model」ドロップダウンから**ローカルアプリ**を選択します。

![Local Apps](https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/local-apps/button.png)

4. ターミナルで提供されたコマンドを**コピーして実行**してください。

![Local Apps](https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/local-apps/command.png)

## サポートされているローカルアプリ

サポートされているローカルアプリは、[ローカルアプリ設定](https://huggingface.co/settings/local-apps)にリストされています。

モデルページでは、"Use this model"ドロップダウンには、そのモデルが対応している場合のみアプリが表示されます（例: llama.cppまたはOllama用のGGUFモデル）。

現在、Hubで利用可能なアプリは以下の通りです：

| アプリ | ウェブサイト | 対応モデル |
| --- | --- | --- |
|  [Llama](#llama) | [llama.app](https://llama.app) | GGUF |
|  [llama.cpp](#llamacpp) | [github.com/ggml-org/llama.cpp](https://github.com/ggml-org/llama.cpp) | GGUF |
|  [LM Studio](#lm-studio) | [lmstudio.ai](https://lmstudio.ai) | GGUF、MLX |
|  [1月](#jan) | [jan.ai](https://jan.ai) | GGUF |
|  [Atomic Chat](#atomic-chat) | [atomic.chat](https://atomic.chat) | GGUF、MLX |
|  [Unsloth Desktop](#unsloth-desktop) | [unsloth.ai/docs](https://unsloth.ai/docs) | GGUF、Unslothモデル |
|  [Ollama](#ollama) | [ollama.com](https://ollama.com) | GGUF |
|  [vLLM](#vllm) | [docs.vllm.ai](https://docs.vllm.ai) | Transformers、GGUF、AWQ、GPTQのテキスト生成モデルおよび画像テキストからテキストへの変換モデル |
|  [SGLang](#sglang) | [docs.sglang.io](https://docs.sglang.io) | Transformers、AWQ、GPTQのテキスト生成モデルおよび画像テキストからテキストへの変換モデル |
|  [MLX LM](#mlx-lm) | [github.com/ml-explore/mlx-lm](https://github.com/ml-explore/mlx-lm) | MLXテキスト生成モデル |
|  [Docker Model Runner](#docker-model-runner) | [docs.docker.com/ai/model-runner](https://docs.docker.com/ai/model-runner/) | GGUF、vLLM互換モデル |
|  [Lemonade](#lemonade) | [lemonade-server.ai](https://lemonade-server.ai) | GGUF、AMD Ryzen AI モデル |
|  [Pi](#pi) | [github.com/earendil-works/pi](https://github.com/earendil-works/pi) | ツール呼び出しに対応したGGUFおよびMLXチャットモデル |
|  [Hermes Agent](#hermes-agent) | [hermes-agent.nousresearch.com](https://hermes-agent.nousresearch.com/) | ツール呼び出しに対応したGGUFおよびMLXチャットモデル |
|  [OpenClaw](#openclaw) | [github.com/openclaw/openclaw](https://github.com/openclaw/openclaw) | ツール呼び出しに対応したGGUFおよびMLXチャットモデル |
|  [Draw Things](#draw-things) | [drawthings.ai](https://drawthings.ai) | Diffusersのテキストから画像生成モデルとLoRA |
|  [DiffusionBee](#diffusionbee) | [diffusionbee.com](https://diffusionbee.com) | Diffusersのテキストから画像生成モデル |
|  [JoyFusion](#joyfusion) | [joyfusion.app](https://joyfusion.app) | `joyfusion`タグが付けられたCore MLのテキストから画像生成モデル |

> [!TIP]
> 👨‍💻 これらのローカルアプリを使用するには、上記のようにモデルカードからスニペットをコピーします。
>
> 👷 ローカルアプリを構築している場合は、[このガイド](https://huggingface.co/docs/hub/en/models-adding-libraries)で Hub との統合について学ぶことができます。

### Llama

[Llama](https://llama.app)は、GGUFモデルをローカルで実行するためのネイティブのmacOSおよびWindowsアプリケーションです。

**利点:**
- メニューバーまたはタスクバーに常駐する軽量なネイティブアプリ
- HubからのGGUFモデルのワンクリックインストール
- インストール済みモデルによるローカルでプライベートなチャット
- お使いのコンピュータに推奨されるモデルを取得
- Pi、Hermes、OpenClawなどのエージェントと簡単に統合できます

To use Llama, navigate to the model card of a GGUF model and click "Use this model". Llama will open and guide you through installing the model.

> [!NOTE]
> Llamaは現在、macOSとWindowsの両方で利用可能です。

### Llama.cpp[[llamacpp]]

Llama.cppは、CPU、CUDA、Metalなど、さまざまなハードウェア上で推論を最適化してLLMをローカルで実行するための、高性能なC/C++ライブラリです。

**利点:**
- 複数のCPUファミリー上で、CPUベースのモデルに対して極めて高速なパフォーマンス
- リソース使用量の低さ
- 複数のインターフェースオプション（CLI、Web UIを備えたOpenAI互換サーバー）
- CPUおよびGPU向けにハードウェア最適化

Llama.cpp を使用するには、モデルカードに移動し、「Use this model」をクリックしてコマンドをコピーします。このスニペットには、llama.cpp のインストール（macOS および Linux 用のインストールスクリプト、Windows 用の WinGet、またはソースからのビルド）と、モデルの実行が含まれています。

```sh
# Install llama.cpp (macOS, Linux):
curl -LsSf https://llama.app/install.sh | sh

# Start a local OpenAI-compatible server with a web UI:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Or run inference directly in the terminal:
llama cli -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M
```

[llama.cpp + HF 専用ドキュメントページ](./gguf-llamacpp)をご覧ください。

### LM Studio

> [!NOTE]
> [LM Studio 専用ドキュメントページ](./lmstudio)をご覧ください

LM Studioは、ローカルLLMのダウンロード、実行、実験を簡単に提供するためのデスクトップアプリケーションです。

**利点:**
- 直感的なグラフィカルインターフェース
- 組み込みモデルブラウザ
- 開発者ツールとAPI
- 個人利用および商用利用は無料です

GGUFまたはMLXモデルのモデルカードに移動し、"Use this model"をクリックします。LM Studioが起動し、インターフェースを通じてチャットを開始できます。

### 1月

Janは、ユーザーフレンドリーなインターフェースを備え、完全にオフラインで動作するオープンソースのChatGPT代替ツールです。

**利点:**
- ユーザーフレンドリーなGUI
- ドキュメントやファイルとチャット
- OpenAI互換のAPIサーバーであり、モデルを実行して他のアプリから利用できます

Jan を使用するには、GGUF モデルのモデルカードに移動し、「このモデルを使用する」をクリックします。Jan が起動し、インターフェースを通じてチャットを開始できます。

### アトミックチャット

[Atomic Chat](https://atomic.chat)は、ローカルモデルを動作させるためのデスクトップチャットアプリケーションです。

**利点:**
- グラフィカルなチャットインターフェース
- GGUFモデルとMLXモデルの両方をサポート

Atomic Chat を使用するには、GGUF または MLX モデルのモデルカードに移動し、「Use this model」をクリックします。Atomic Chat が開き、モデルのダウンロードが準備された状態で表示されます。

### Unsloth Desktop

[Unsloth Desktop](https://unsloth.ai/docs)は、Unslothが提供するローカルモデルを実行するためのデスクトップアプリケーションです。

**利点:**
- グラフィカルインターフェース
- GGUFモデルおよびUnslothエコシステムからのモデルと互換性があります

Unsloth Desktop を使用するには、GGUF または Unsloth モデルのモデルカードに移動し、「Use this model」をクリックします。Unsloth Desktop はモデルを開き、モデルのファイルから GGUF ファイルを選択した場合は、そのファイルも開きます。

### Ollama

Ollamaは、シンプルなコマンドラインインターフェースを通じて、大規模言語モデルをローカルで実行できるアプリケーションです。GGUFモデルに対応しています。

**利点:**
- かんたんなインストールとセットアップ
- Hugging Face Hubとの直接統合

Ollamaを使用するには、モデルカードに移動し、「Use this model」をクリックしてコマンドをコピーします。

```sh
ollama run hf.co/unsloth/gpt-oss-20b-GGUF:Q4_K_M
```

### vLLM

[vLLM](https://docs.vllm.ai) は、LLM 向けの高スループットな推論・サービングエンジンであり、OpenAI 互換の API サーバーを備えています。

**利点:**
- 高スループット、GPU向けに最適化
- Transformers、GGUF、量子化モデル（AWQ、GPTQ）をサポート
- OpenAI互換APIサーバー

vLLMは、テキスト生成モデルおよび画像テキストからテキストへの変換モデルで利用できます。モデルカードに移動し、「Use this model」をクリックして、コマンドをコピーしてください。

```sh
# Install vLLM from pip:
pip install vllm

# Start the vLLM server:
vllm serve "openai/gpt-oss-20b"

# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "openai/gpt-oss-20b",
		"messages": [{"role": "user", "content": "What is the capital of France?"}]
	}'
```

このスニペットは、Docker Model Runnerでモデルを実行する方法も示しています。

### SGLang

[SGLang](https://docs.sglang.io) は、LLM やビジョン言語モデル向けの高速サービングフレームワークです。

**利点:**
- GPU上での高性能サービング
- Transformersおよび量子化（AWQ、GPTQ）モデルをサポート
- OpenAI互換APIサーバー

SGLangは、テキスト生成モデルおよび画像テキストからテキストへの変換モデルで利用できます。モデルカードに移動し、「Use this model」をクリックして、コマンドをコピーしてください:

```sh
# Install SGLang from pip:
pip install sglang

# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "openai/gpt-oss-20b" \
    --host 0.0.0.0 \
    --port 30000
```

サーバーはポート30000でOpenAI互換のAPIを公開します。スニペットには、`lmsysorg/sglang`イメージを使用したDockerコマンドも含まれています。

### MLX LM

[MLX LM](https://github.com/ml-explore/mlx-lm)は、AppleのMLXフレームワークを使用してApple silicon上でLLMを実行します。

**利点:**
- Apple silicon向けに最適化
- コマンドラインからの対話型チャットとテキスト生成
- OpenAI互換サーバー

MLX LM is available for MLX text-generation models. Navigate to the model card, click "Use this model" and copy the commands:

```sh
# Install MLX LM
uv tool install mlx-lm

# Interactive chat REPL
mlx_lm.chat --model "mlx-community/Qwen3-4B-4bit"

# Or start an OpenAI-compatible server
mlx_lm.server --model "mlx-community/Qwen3-4B-4bit"
```

### Docker Model Runner

[Docker Model Runner](https://docs.docker.com/ai/model-runner/)を使用すると、Docker CLIでモデルをプルして実行できます。

**利点:**
- おなじみのDockerツールを使用します
- GGUFモデルおよびvLLM互換モデルをサポート

モデルカードに移動し、「Use this model」をクリックして、コマンドをコピーします:

```sh
docker model run hf.co/unsloth/gpt-oss-20b-GGUF:Q4_K_M
```

### Lemonade

[Lemonade](https://lemonade-server.ai)は、AMDハードウェア向けに最適化されたローカルLLMサーバーです。

**利点:**
- GGUFモデルをサポート
- AMD Ryzen AI NPU用に構築されたモデル（`ryzenai-npu`または`ryzenai-hybrid`タグが付けられたモデル）を実行します

[Lemonade](https://lemonade-server.ai)をダウンロードした後、モデルカードに移動し、「Use this model」をクリックして、コマンドをコピーします:

```sh
# Pull the model
lemonade pull unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Run and chat with the model
lemonade run user.gpt-oss-20b-GGUF-Q4_K_M

# List all available models
lemonade list
```

### Pi

[Pi](https://github.com/earendil-works/pi)は、ターミナルで実行されるコーディングエージェントです。

Piは、ツール呼び出しに対応するチャットテンプレートを持つGGUFおよびMLXのチャットモデルで利用できます。以下のスニペットでは、まずローカルのOpenAI互換サーバー（GGUFモデルの場合は`llama serve`、MLXモデルの場合は`mlx_lm.server`）を起動し、その後Piがそれを使用するように設定します。

```sh
# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install Pi:
npm install -g @earendil-works/pi-coding-agent

# start Pi in your project directory:
pi

# configure Pi to use your llama server:
/login llama.cpp
```

### Hermes Agent

[Hermes Agent](https://hermes-agent.nousresearch.com/)は、Nous Researchが開発した、ローカルモデルで実行可能なAIエージェントです。

Hermes Agentは、チャットテンプレートがツール呼び出しをサポートするGGUFおよびMLXのチャットモデルで利用できます。以下のスニペットでは、まずローカルのOpenAI互換サーバー（GGUFモデルの場合は`llama serve`、MLXモデルの場合は`mlx_lm.server`）を起動し、その後Hermes Agentがそれを使用するように設定します。

```sh
# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install Hermes:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup

# Point Hermes at the local server:
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Run Hermes
hermes
```

### OpenClaw

[OpenClaw](https://github.com/openclaw/openclaw)は、ローカルモデルで実行できるオープンソースのパーソナルAIエージェントです。

OpenClawは、ツール呼び出しをサポートするチャットテンプレートを持つGGUFおよびMLXのチャットモデルで利用できます。以下のスニペットでは、まずローカルでOpenAI互換サーバー（GGUFモデルの場合は`llama serve`、MLXモデルの場合は`mlx_lm.server`）を起動し、その後OpenClawがそのサーバーを使用するように設定します。

```sh
# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install OpenClaw:
npm install -g openclaw@latest

# Register the local server and set it as the default model:
openclaw onboard --non-interactive --mode local \
  --auth-choice custom-api-key \
  --custom-base-url http://127.0.0.1:8080/v1 \
  --custom-model-id "unsloth/gpt-oss-20b-GGUF:Q4_K_M" \
  --custom-provider-id llama-cpp \
  --custom-compatibility openai \
  --custom-text-input \
  --accept-risk \
  --skip-health

# Run OpenClaw
openclaw agent --local --agent main --message "Hello from Hugging Face"
```

### Draw Things

[Draw Things](https://drawthings.ai)は、Appleデバイス上でローカルに画像を生成するためのアプリです。

**利点:**
- テキストから画像を生成するモデルを完全にオンデバイスで実行します
- ベースモデルとLoRAの両方をインポートできます

Draw Things を使用するには、Diffusers のテキストから画像生成モデルまたは LoRA のモデルカードに移動し、「Use this model」をクリックしてください。Draw Things が起動し、モデルがインポートされます。

> [!NOTE]
> Draw ThingsはmacOSでのみ利用できます。

### DiffusionBee

[DiffusionBee](https://diffusionbee.com)は、Stable Diffusionモデルを使用してローカルで画像を生成するためのデスクトップアプリです。

**利点:**
- シンプルなグラフィカルインターフェース
- セットアップやコマンドラインは不要です

To use DiffusionBee, navigate to the model card of a Diffusers text-to-image model and click "Use this model". DiffusionBee will open and import the model.

> [!NOTE]
> DiffusionBeeはmacOSでのみ利用できます。

### JoyFusion

[JoyFusion](https://joyfusion.app)は、Appleデバイス上でCore MLモデルを使用してローカルで画像を生成するためのアプリです。

JoyFusion を使用するには、`joyfusion` タグが付けられた Core ML のテキストから画像生成モデルのモデルカードに移動し、「Use this model」をクリックしてください。JoyFusion が起動し、モデルがインポートされます。

> [!NOTE]
> JoyFusionはmacOSでのみ利用できます。