在本地运行大模型

在本地运行，就是把模型的权重（训练得到的一大堆数值）作为文件放在自己手边，用自己机器的 GPU 或 CPU 来计算。提问和回答都不会离开这台机器。

把本地运行的结构从上到下分成“应用”“推理引擎”“GPU 指令体系”“内存”几层，就容易看清了。常说的“CUDA 系”“Metal 系”，指的是下面两层的不同。

• CUDA 是让 NVIDIA GPU 用于计算的平台。以 PyTorch 为首，几乎所有 AI 软件都最先支持它。
• Metal 是 Apple 的 GPU 平台，MPS 是在其上运行 PyTorch 的部分，MLX 是 Apple 为 Apple Silicon 打造的机器学习框架。在 Mac 上，MLX 版模型通常最快。
• Vulkan 是不分厂商的 GPU 接口，llama.cpp 在 AMD、Intel 显卡上可以用它运行。
• NPU（Copilot+ PC、Apple 的神经网络引擎）也是为 AI 准备的，但截至 2026 年秋，在自由运行大语言模型方面还不是主角。

• LM Studio … 在界面里就能完成搜索、下载、加载、聊天，甚至开 API 服务器。Mac 支持 Apple Silicon，Windows 支持 x86 和 ARM64（骁龙），Linux 支持 x86 和 ARM64（以下载页为准）。本文的步骤就用它。
• Ollama … 一行 ollama run 模型名 就能跑的经典工具。Mac 和 Windows 有图形界面的应用，Linux 用命令安装。
• llama.cpp … 在 LM Studio、Ollama 内部运行的推理引擎本体，适合想精细调整的人。
• vLLM … 面向多人同时访问的高速服务引擎，基本是 Linux＋NVIDIA。

模型名称和下载页面上排着一串像符号一样的词。看懂它们，就能马上判断自己的机器能不能跑。

需要多少内存，大致可以用“参数量 × 比特数 ÷ 8”来算。下图是本文所用 Qwen3.8-27B 的实际文件大小。

速度则几乎由从内存读取权重的速度（带宽）决定，因为每生成一个 token，都要把权重从头读一遍。

以下均在 Hugging Face 官方页面核对过发布时间、参数量和许可证。“商用”一栏中，Apache 2.0、MIT 等允许商用的标〇（具体条件请查看各许可证）。

写作与对话（LLM）

文生图

声音克隆（语音合成）

声音克隆请只用于取得本人同意的声音。用他人的声音生成语音并冒充本人发布，可能构成诈骗或侵权。

OCR（识别图片・PDF 中的文字）

翻译

翻译交给上面的 LLM（Qwen3.8、Gemma 4）也足够好。专用模型的优势在于“小而快”。

如果只选一个既适合本地部署、精度又高的模型，那就是 2026 年 8 月发布的 Qwen3.8-27B。

• 精度高 … 官方对比表中，它在各方面都超过上一代 Qwen3.6-27B，写作、代码、资料调研、智能体任务都属于同尺寸顶级（例：SWE-bench Pro 61.7〔上一代 53.5〕、GPQA Diamond 89.2）。
• 刚好装得下 … 4 比特（Q4_K_M）为 16.8GB，24GB 显存的显卡（RTX 3090・4090 等）或内存 32GB 以上的 Mac 可以直接装下。
• 能看图 … 可以传照片、图表、PDF 截图来提问。上下文 262,144 token。
• Apache 2.0 … 商用也可以自由使用。
• 到处能跑 … 有 GGUF 版和 MLX 版，LM Studio、Ollama（ollama run qwen3.8）、llama.cpp、vLLM 都能用。

截图使用的是 Linux 版 LM Studio 0.4.25。Mac、Windows 版的界面相同，只是窗口边框和菜单不同。

• 打开 lmstudio.ai/download。页面顶部会出现另一款产品“LM Studio Bionic”（智能体应用），本文要用的是下面的 Download LM Studio。
• Mac：打开 dmg，把 LM Studio 拖进“应用程序”。Windows：运行安装程序。Linux：给 AppImage 加上执行权限（chmod +x）后启动。

不需要登录，准备工作到此结束。

• Mac 用户在 ③ 选择 lmstudio-community/Qwen3.8-27B-MLX-4bit，就是面向 Apple Silicon 的 MLX 版，速度更快。
• 量化拿不准就选 Q4_K_M。内存有余量的话，Q6_K（22.4GB）或 Q8_0（29.0GB）精度会略高。
• 用于看图的 mmproj（约 0.9GB）会一起下载，合计约 17.7GB。
• 红色的 Likely too large 是“这台机器内存可能不够”的提示。截图机只有 8GB 内存所以出现了，24GB 显卡或 32GB 的 Mac 上不会出现。

在聊天画面下方的“Pick a model”（Mac 按 ⌘+L，Windows・Linux 按 Ctrl+L）选择模型，会打开加载设置。

• Context Length … 一开始保持 8,192 就够了。要读长文档时再调大（内存也会增加）。
• GPU Offload … 有 GPU 的机器拉到最右（全部层）。全部放上去最快，放不下的部分在 CPU 上跑，会变慢。

加载完成后，输入框左边会显示模型名。接下来输入问题按 Enter 即可。点输入框的 Think 可以开关“思考过程”。难题打开，日常对话关掉更快更方便。

LM Studio 还可以变成与 OpenAI API 相同调用方式的服务器。自己写的程序、支持 OpenAI 兼容 API 的工具，都能用上手边的模型。

# 从终端发送问题（Windows 的 PowerShell 里写作 curl.exe）
curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "qwen3.8-27b", "reasoning_effort": "none",
       "messages": [{"role": "user", "content": "你好"}]}'

Qwen3.8 通过 API 调用时默认也会输出“思考过程”。加上 "reasoning_effort": "none"，就会跳过思考直接回答（已在截图机上确认）。

不用界面的话，命令 lms 也能做同样的事（lms get 下载、lms load 加载、lms server start 启动服务器）。用 Ollama 的话，一行 ollama run qwen3.8 就能从下载一直走到对话。