ローカル環境で大規模モデルを動かす

ローカル環境で動かす、というのは、モデルの重み（学習で得た数値のかたまり）をファイルとして手元に置き、自分の機械の GPU や CPU で計算させることです。質問も答えも機械の外に出ません。

ローカルで動かす仕組みは、上から「アプリ」「推論エンジン」「GPU の命令系」「メモリ」の層に分けると見通しがよくなります。よく「CUDA 系」「Metal 系」と呼ばれるのは、下の二つの層の違いです。

• CUDA は NVIDIA の GPU を計算に使うための仕組みです。PyTorch をはじめ、ほぼすべての AI ソフトが最初に対応します。
• Metal は Apple の GPU の仕組み、MPS はその上で PyTorch を動かす部分、MLX は Apple が Apple Silicon 用に作った機械学習の枠組みです。Mac では MLX 版のモデルがいちばん速いことが多いです。
• Vulkan はメーカーを問わない GPU の仕組みで、llama.cpp は AMD・Intel の GPU でもこれで動きます。
• NPU（Copilot+ PC や Apple の Neural Engine）も AI 用ですが、大きな言語モデルを自由に動かす用途では、2026年秋の時点ではまだ主役ではありません。

• LM Studio … 画面で検索・ダウンロード・読み込み・チャット・API サーバーまでできるアプリ。Mac は Apple Silicon、Windows は x86 と ARM64（Snapdragon）、Linux は x86 と ARM64 に対応（ダウンロードページで確認）。今回の手順はこれを使います。
• Ollama … ollama run モデル名 の一行で動く定番。Mac と Windows には画面つきのアプリもあり、Linux はコマンドで入れます。
• llama.cpp … LM Studio や Ollama の中で動いている推論エンジン本体。細かく調整したい人向け。
• vLLM … 同時に大勢から使われるサーバー向けの高速エンジン。Linux＋NVIDIA が基本です。

モデルの名前やダウンロード画面には、記号のような言葉が並びます。これを読めると、自分の機械で動くかどうかがすぐわかります。

メモリの必要量は「パラメータ数 × ビット数 ÷ 8」でおおよそ計算できます。下の図は、今回使う Qwen3.8-27B の実際のファイルの大きさです。

速さのほうは、メモリから重みを読む速さ（帯域）でほぼ決まります。文章を1トークン作るたびに、重みを全部読み直すからです。

Hugging Face の公式ページで、公開日・パラメータ数・ライセンスを確かめたものです。「商用」は Apache 2.0・MIT などで商用利用が認められているものに〇をつけています（細かな条件は各ライセンスで確認してください）。

文章を書く・話す（LLM）

テキストから画像を作る

声のクローン（音声合成）

声のクローンは、本人の同意を得た声だけに使ってください。他人の声で作った音声を本人のものとして公開するのは、詐欺や権利侵害につながります。

OCR（画像・PDF の文字を読む）

翻訳

翻訳は、上の LLM（Qwen3.8 や Gemma 4）に頼んでも十分きれいです。専用モデルは「小さくて速い」のが利点です。

ローカルで動かしやすく、しかも精度が高いモデルを一つ選ぶなら、2026年8月に公開された Qwen3.8-27B です。

• 精度が高い … 公式の比較表では、前世代の Qwen3.6-27B を各分野で上回り、文章・コード・調べもの・エージェントの作業まで、この大きさでは最上位級です（例：SWE-bench Pro 61.7〔前世代 53.5〕、GPQA Diamond 89.2）。
• ちょうど載る大きさ … 4ビット（Q4_K_M）で 16.8GB。VRAM 24GB の GPU（RTX 3090・4090 など）や メモリ 32GB 以上の Mac にそのまま載ります。
• 画像も読める … 写真や図、PDF の画面を渡して質問できます。コンテキストは 262,144 トークン。
• Apache 2.0 … 商用でも自由に使えます。
• どこでも動く … GGUF 版と MLX 版が公開され、LM Studio・Ollama（ollama run qwen3.8）・llama.cpp・vLLM のどれでも使えます。

撮影には、Linux 版の LM Studio 0.4.25 を使いました。Mac・Windows 版も画面は同じで、違うのはウインドウの外枠とメニューだけです。

• lmstudio.ai/download を開きます。ページの上には別製品の「LM Studio Bionic」（エージェント用アプリ）が出ますが、今回使うのは下の Download LM Studio です。
• Mac：dmg を開き、LM Studio をアプリケーションへドラッグ。Windows：インストーラーを実行。Linux：AppImage に実行権限をつけて（chmod +x）起動します。

サインインは不要で、ここまでで準備は終わりです。

• Mac の場合は、③で lmstudio-community/Qwen3.8-27B-MLX-4bit を選ぶと、Apple Silicon 向けの MLX 版になり速く動きます。
• 量子化は、迷ったら Q4_K_M。メモリに余裕があれば Q6_K（22.4GB）や Q8_0（29.0GB）にすると、わずかに精度が上がります。
• 画像を読むための mmproj（約0.9GB）も一緒にダウンロードされ、合計は約17.7GB です。
• 赤い Likely too large は「この機械にはメモリが足りなさそう」という警告です。撮影機（メモリ 8GB）なので出ていますが、24GB の GPU や 32GB の Mac では出ません。

チャット画面の下にある「Pick a model」（Mac は ⌘+L、Windows・Linux は Ctrl+L）からモデルを選ぶと、読み込みの設定が開きます。

• Context Length … 最初は 8,192 のままで十分です。長い文書を読ませるときに増やします（メモリも増えます）。
• GPU Offload … GPU のある機械では右端（全部の層）にします。全部載るのがいちばん速く、載らない分は CPU 側で動くので遅くなります。

読み込みが終わると、入力欄の左にモデル名が出ます。あとは質問を入れて Enter。入力欄の Think を押すと「考える過程」のオン・オフを切り替えられます。むずかしい問題はオン、ふだんのやりとりはオフが速くて便利です。

LM Studio は、OpenAI の API と同じ形で呼べるサーバーにもなります。自作のプログラムや、OpenAI 互換の API に対応したツールから、手元のモデルを使えます。

# ターミナルから質問を送る（Windows の PowerShell では curl.exe と書く）
curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "qwen3.8-27b", "reasoning_effort": "none",
       "messages": [{"role": "user", "content": "こんにちは"}]}'

Qwen3.8 は API でも標準で「考える過程」を出します。"reasoning_effort": "none" を付けると、考える過程を省いてすぐ答えます（撮影機で確認）。

画面を使わない場合は、コマンド lms でも同じことができます（lms get でダウンロード、lms load で読み込み、lms server start でサーバー起動）。Ollama を使う場合は ollama run qwen3.8 の一行で、ダウンロードから会話まで進みます。