为什么本地部署是「拿 Token」而不是「省 Token」

官方 Free Tier 的额度总要刷新、总要绑卡、总有区域限制。开源权重一旦落到你自己的磁盘上，推理次数就不再受任何平台配额约束——你付出的是一次性硬件成本与电费，边际成本接近于零。2026 年这件事的门槛已经低到：一台 16GB 显存的消费级显卡机器，就能稳定跑 7B～14B 级别的量化模型，覆盖摘要、分类、抽取、代码补全、批量翻译这类高频低难度任务。

关键认知：不要用本地模型去替代旗舰模型，而是把它当成「流量底座」。把 80% 的简单请求留在本地，只在真正需要强推理时才调用云端 API，云端额度自然就够用了。

操作步骤

第一步：先测硬件，再选模型

按显存决定模型规模，经验值（INT4/GGUF 量化，2026 年主流配置）：

  • 8GB 显存：3B～4B 模型（Qwen 小参数版、Llama 3.2 3B、Gemma 3 4B 一类），上下文压到 8K 以内
  • 12～16GB 显存：7B～9B 模型，可开 16K～32K 上下文
  • 24GB 显存（3090/4090 级）：14B 模型 INT4 或 32B 模型低比特量化，适合做团队共享端点
  • 多卡或 48GB 以上：32B～70B，此时应切换到 vLLM 做张量并行

先跑 nvidia-smi 确认显存，再决定量化等级。宁可降一档模型，也不要让显存打满导致频繁换页——吞吐会掉一个数量级。

第二步：Ollama 做单机常驻服务

Ollama 适合个人机与小型团队，安装后一条命令拉起：

```bash

ollama pull qwen3:8b # 或你选定的量化版本

OLLAMA_HOST=0.0.0.0:11434 OLLAMA_NUM_PARALLEL=4 OLLAMA_MAX_LOADED_MODELS=1 ollama serve

```

要点：

  • OLLAMA_NUM_PARALLEL 控制并发槽位，单卡建议 2～4；调太高会因显存不足触发排队
  • OLLAMA_MAX_LOADED_MODELS=1 避免多模型同时驻留把显存撑爆
  • 它自带 OpenAI 兼容接口：http://localhost:11434/v1，直接把 SDK 的 base_url 指过去即可，无需改业务代码
  • 模型文件放在大容量 SSD 上，通过 OLLAMA_MODELS 环境变量指定路径

第三步：vLLM 做高吞吐共享端点

当多人共用、或需要 batch 推理时，Ollama 的调度会成为瓶颈。vLLM 的 PagedAttention 与连续批处理能把吞吐拉高数倍：

```bash

vllm serve Qwen/Qwen3-14B-Instruct \

--quantization awq \

--max-model-len 16384 \

--gpu-memory-utilization 0.90 \

--max-num-seqs 64 \

--api-key local-only-key \

--port 8000

```

要点：

  • --gpu-memory-utilization 从 0.85 起调，留出余量给 KV Cache 增长
  • --max-num-seqs 是并发上限，按显存与上下文长度反推，别照抄默认值
  • 多卡加 --tensor-parallel-size N，N 等于卡数
  • 一定设 --api-key，即使是内网，也避免被同网段脚本误刷

第四步：加一层网关做路由与兜底

在本地端点前面放 LiteLLM 或自写的一层薄代理，实现三件事：

  1. 路由：按任务类型分流，简单任务走本地，复杂任务走云端
  2. 限流：本地端点也要限速，防止一个脚本把 GPU 打满
  3. 降级：本地服务挂了自动回落到云端 API，业务无感

LiteLLM 里配置一个 local 与一个 cloud 两个 deployment，用 fallback 串起来即可。

第五步：量化与上下文的经济学

  • 优先 INT4（AWQ / GPTQ / GGUF Q4），精度损失在摘要、分类任务上通常可接受
  • 上下文长度直接决定 KV Cache 占用，能压到 8K 就别开 32K
  • 开启前缀缓存（vLLM 的 automatic prefix caching）对固定 system prompt 场景收益明显

注意事项

  • 质量边界要写进代码：本地小模型在长链推理、多步工具调用上明显弱于旗舰模型，务必在路由层设阈值，别让用户直接踩坑
  • 别指望消费级显卡跑长上下文：上下文一拉长，显存与延迟同时恶化，实际可用性骤降
  • 散热与电源是真实瓶颈：7×24 常驻推理对电源和散热要求不低，长期跑建议降功耗墙
  • 合规与数据：本地部署的优势是数据不出内网，但模型许可证（Apache 2.0 / Llama 社区许可等）各有商用条款，上线前逐条核对
  • 不要虚构吞吐：实际 tokens/s 取决于模型、量化、批大小与卡型，务必自己压测后再定 SLA

适用场景

  • 批量离线任务：文档摘要、语料清洗、标签抽取、多语言翻译
  • 隐私敏感场景：合同、病历、内部代码，数据不能出内网
  • 高频低价值请求：客服意图分类、日志归因、表单校验
  • 团队共享底座：给全组提供一个稳定的 OpenAI 兼容端点，云端额度只留给硬任务

适用条件与限制

需要至少一张 8GB 以上显存的 GPU（或 Apple Silicon 统一内存机器）；需要能接受模型能力下降一档；需要基本的 Linux 与容器运维能力。若你完全没有硬件，本地部署不是最优解，应优先考虑托管推理的免费额度。