很多人装 Ollama 跑本地大模型，兴奋 10 秒就幻灭：敲下 ollama run，第一句问答秒回，第二个稍复杂的问题就开始一个字一个字蹦，风扇起飞，回答还乱。网上「一键部署、免费无限用」的教程只管把你骗上车，不告诉你「能跑」和「能用」之间隔着一道量化和显存的坎。
这篇 SOP 把本地部署大模型真正会踩的坑掰清楚：量化为什么决定模型智商、显存带宽为什么让你「越聊越慢」、硬件选到什么配置才及格、怎么把本地模型接进 Open-WebUI 和自动化脚本。工具以 Ollama 为主（轻量、一条命令跑），进阶提 vLLM（生产级吞吐）。文中的速度数据为社区多来源参考量级，非亲自压测，实际表现以你的硬件为准。
一、量化：模型大小不等于智力
你以为跑的是 14B 参数的模型，其实跑的是它的「压缩饼干版」。Ollama 默认拉的模型大多带量化标签，比如 q4_K_M 表示权重从 16 位浮点压到 4 位，文件小了 4 倍，代价是精度损失。量化级别才是决定本地模型智商的关键变量，不是参数量。
常见量化档：
| 量化 | 位宽 | 体积 | 精度 | 适用 |
|---|---|---|---|---|
| q4_K_M | 4 位 | 最小 | 损失明显 | 显存吃紧、要跑大参数模型 |
| q5_K_M | 5 位 | 小 | 损失较小 | 折中 |
| q8_0 | 8 位 | 较大 | 接近原版 | 显存够、要质量 |
| f16 | 16 位 | 最大 | 原版 | 家用显卡基本跑不动 |
社区实测参考：同一模型 q8_0 在代码任务上的通过率比 q4_K_M 高十几个百分点（综合多来源，非亲自压测，以实际为准）。一个 7B 的 q4_0 量化版，参数被砍 75% 精度，复杂业务逻辑指望不上。选模型先看量化级别。
# 拉取模型（标签以 Ollama 模型库为准）
ollama pull qwen2.5:14b
# 查看已安装模型
ollama list
# 运行
ollama run qwen2.5:14b具体模型的可用量化标签以 ollama.com/library 模型页为准，不同模型支持的标签不同。
二、显存与 KV Cache：为什么越聊越慢
「我的 MacBook 32GB 内存，跑 14B 绰绰有余吧？」理论上够，但多轮对话会越来越慢。元凶是上下文窗口：每轮对话，模型要把之前所有记录塞进显存或内存重算，这个 KV Cache 随对话轮次线性增长。当上下文超过几千 token，内存带宽成为瓶颈，速度断崖式下跌。
社区参考量级（综合多来源，非亲自压测，以实际硬件为准）：
| 硬件 | 模型 | 量化 | 短对话（tok/s） | 长上下文（tok/s） | 能否生产用 |
|---|---|---|---|---|---|
| 32GB 统一内存（Mac） | qwen2.5:14b | q4_K_M | ~15 | ~3 | 长对话崩 |
| 32GB 统一内存（Mac） | qwen2.5:7b | q8_0 | ~28 | ~18 | 可接受 |
| 12GB 显存（RTX 4070 Ti） | llama3.1:8b | q6_K | ~65 | ~48 | 流畅 |
| 双 4090 48GB | qwen2.5:72b | q4_K_M | ~35 | ~28 | 真生产力 |
结论：32GB 的 Mac 跑 14B，长对话场景会跪。你缺的不是显卡，是显存带宽和容量。这也是 vLLM 的价值--它用 PagedAttention 把 KV Cache 管理得极高效，同样硬件支撑更长上下文。但 vLLM 要 Linux 加 CUDA，部署门槛高。Ollama 的定位是轻量开发测试，不是生产级推理服务。
三、硬件选型及格线
直接给结论，这是本地部署的「体验及格线」：
- 7B–8B 模型（llama3.1、qwen2.5）：最低 16GB 统一内存或显存，推荐 24GB，量化 q6_K 或 q8_0。低于这个配置跑的是玩具。
- 14B–16B 模型（qwen2.5:14b、deepseek-coder）：最低 32GB 统一内存或 12GB 显存，推荐 48GB 或 24GB，q4_K_M 是底线。
- 70B+ 模型：单卡家用机跑不动，要双 4090 或 Mac Studio M2 Ultra（192GB）。
别在树莓派上跑 7B 然后说「能用」，每秒 0.5 token 不叫能用。
四、模型选择策略：按任务选，别无脑拉最新
不是什么任务都需要大模型。选型建议：
- 代码生成：deepseek-coder-v2:16b（q6_K，需 12GB 显存）或 qwen2.5-coder:7b（q8_0，8GB 可跑）。前者复杂任务强，后者响应快适合补全。
- 通用对话或写作：llama3.1:8b（q6_K，英文强）或 qwen2.5:14b（q4_K_M，中文顺）。
- 翻译或总结：7B 够用，qwen2.5:7b（q8_0）在翻译上甚至不输 14B 量化版，因为量化对「精准输出」任务影响更大。
- RAG 或知识问答：14B 起步，量化至少 q5_K_M，小模型或低量化会频繁张冠李戴。
五、实战：Open-WebUI + Ollama API
本地模型的真正价值是接入工具链，不只是终端聊天。
用 Open-WebUI 搭本地 AI 工作站
Ollama 自带命令行，但 Open-WebUI 给你一个类 ChatGPT 的界面，支持多模型切换、历史管理、文档 RAG：
# 拉取镜像
docker pull ghcr.io/open-webui/open-webui:main
# 启动（挂载数据目录，避免重启丢数据）
mkdir -p ~/open-webui/data
docker run -d -p 3000:8080 \
-v ~/open-webui/data:/app/backend/data \
--name open-webui \
ghcr.io/open-webui/open-webui:main浏览器打开 http://localhost:3000，设置里把 Ollama 地址填上（默认 http://localhost:11434），就能在图形界面里用本地模型了。
用 Ollama API 做自动化
Ollama 启动后默认暴露 REST API（端口 11434），可以用任何语言调用：
import requests
import json
# 非流式调用
response = requests.post(
"http://localhost:11434/api/generate",
json={
"model": "qwen2.5:14b",
"prompt": "将以下文本翻译成英文：今天天气真好",
"stream": False,
"options": {"num_ctx": 2048, "temperature": 0.1},
},
)
print(response.json()["response"])
# 结构化输出（JSON 模式，本地模型用于开发的关键）
response = requests.post(
"http://localhost:11434/api/generate",
json={
"model": "qwen2.5:14b",
"prompt": "提取文本中的公司名和金额，以 JSON 输出：\n甲方北京科技有限公司，合同金额500万元",
"stream": False,
"format": "json", # 强制合法 JSON 输出
"options": {"temperature": 0},
},
)
print(json.loads(response.json()["response"]))format: "json" 是本地模型能用于开发的关键：强制输出合法 JSON，可做信息提取、自动打标签、批量处理。本地模型的正确用法是高频、简单、可批量的任务。
六、踩坑记录
坑一：拿 7B q4_0 当 ChatGPT 用。 参数被砍 75% 精度，复杂任务必然翻车。本地模型不是免费 ChatGPT 替代品，是补充工具。
坑二：越聊越慢不清理上下文。 KV Cache 随对话增长，长对话必崩。在 Ollama 对话里敲 /clear 清空历史，或 /set parameter num_ctx 2048 限制上下文长度。
坑三：显存爆了不释放。 Windows 上跑大模型显存占满后，ollama stop 再重启，或重启 Ollama 服务彻底清显存。
坑四：C 盘爆红。 Ollama 默认把模型存 C 盘。用环境变量 OLLAMA_MODELS 指到其他盘，别等 C 盘满了才改。
坑五：不知道自己在跑什么量化。 ollama list 看一下，去 ollama.com/library 对比文件大小，同样参数量文件越小智商越低。
坑六：拿 Ollama 上生产。 Ollama 是轻量开发测试工具，吞吐量有限。生产级高并发选 vLLM（PagedAttention 加连续批处理），但要 Linux 加 CUDA。
FAQ
Q1：本地部署能替代 ChatGPT 吗？ A：对绝大多数人不能。日常聊天、写邮件、查资料，云端模型（ChatGPT、Claude、DeepSeek）体验远超本地--模型更大、推理更快、多模态更强。本地模型是补充，不是替代。
Q2：MacBook 能跑多大的模型？ A：32GB 统一内存可跑 7B（q8_0，流畅）到 14B（q4_K_M，短对话行、长对话崩）。16GB 只够 7B。192GB 的 Mac Studio M2 Ultra 才能跑 70B。
Q3：Ollama 和 vLLM 怎么选？ A：Ollama 上手简单、一条命令跑，适合开发测试和单用户。vLLM 吞吐量高、PagedAttention 管理显存高效，适合生产级多并发，但要 Linux 加 CUDA。个人用 Ollama，上量用 vLLM。
Q4：本地模型真正适合干什么？ A：四类场景：极致隐私（律所、医疗等不能上云的数据）、离线环境（飞机、保密单位）、高频自动化（批量处理，边际成本为零）、实验自由（自定义系统提示词、调参、合 LoRA）。
Q5：量化选哪个级别？ A：显存够选 q8_0（接近原版质量）；显存紧选 q4_K_M（能跑但精度损失明显）；折中选 q5_K_M。代码、RAG 等要精度的任务别低于 q5_K_M。
看法
本地部署大模型的真相是：它不是免费的 ChatGPT，而是一个需要你懂量化、显存和推理框架才能驾驭的工具。Ollama 把门槛降到了「会装软件就行」，但「能跑」和「能用」之间隔着一道技术鸿沟。绝大多数人本地跑模型的幻灭，不是 Ollama 的问题，是拿 7B q4_0 当 GPT-4 用的预期错位。
如果你有隐私刚需、离线需求或高频自动化任务，本地模型值得折腾--选对量化、配够显存、用对场景，它能从「10 秒就萎」变成稳定输出。如果你只是日常用 AI，$20/月的 ChatGPT Plus 真的更香。别被「免费」绑架，按需选择。
参考来源
- Ollama 官网与模型库：https://ollama.com
- Open-WebUI：https://github.com/open-webui/open-webui
- vLLM（生产级推理框架）：https://github.com/vllm-project/vllm
- 本地部署大模型实战（53AI）：https://www.53ai.com/news/LargeLanguageModel/2024081317230.html
- 使用 Ollama 本地化部署 DeepSeek（博客园）：https://www.cnblogs.com/xuxueli/p/18696287
- 使用 Ollama 在本地部署 AI 大模型（Apifox）：https://apifox.com/apiskills/ollama-deploy
- 本文素材由 gongzuoliu 工作流（小红书爆款拆解 + Tavily 联网研 + DeepSeek 生成）产出初稿，经人工改写结构化；速度数据为社区多来源参考量级，非亲自压测，以实际硬件为准