方案概述
如果不想受 API 额度限制，本地推理是彻底的免费方案。Ollama、LM Studio、llama.cpp 等工具让开源模型在个人电脑上即可运行，Token 成本转化为电费与硬件折旧。
操作步骤
- 评估硬件：显存或统一内存越大，能跑的模型越好。
- 安装 Ollama 或 LM Studio，选择与硬件匹配的量化模型。
- 拉取模型后本地启动服务，通常暴露 OpenAI 兼容端点。
- 把应用配置指向本地端点，即可像调用云端 API 一样使用。
- 如需联网或多人使用，可自建网关做鉴权与限流。
注意事项
- 本地模型能力通常弱于头部闭源模型，复杂任务需权衡。
- 量化会损失部分质量，需在速度与效果间取舍。
- 笔记本长时间高负载运行需注意散热与续航。
- 商用前确认模型许可证是否允许。
适用场景
隐私敏感数据、离线环境、长期低成本使用、学习模型原理。
2026 年时效提示
开源模型迭代很快，建议定期关注模型榜单与工具更新。