为什么需要聚合网关的免费额度？

单个平台的免费额度往往有限，且可能随时调整。但如果你同时拥有多个来源的免费 Token（如 LiteLLM 的试用额度、One API 的注册赠送、以及各中转站的签到/活动赠额），就可以通过聚合网关将它们统一管理，实现“叠着用”。

操作步骤

1. 收集可用的免费额度来源

  • LiteLLM：官方提供免费层，通常每月赠送一定量的 Token，具体额度以官网为准。
  • One API：开源项目，部分部署实例提供免费试用额度，或通过社区活动获取。
  • API 中转站：许多中转站（如 OpenRouter、Cloudflare AI Gateway、Vercel AI Gateway 等）提供免费额度，通常有速率限制。
  • 其他：一些平台的新用户注册赠送、邀请返利等。

注意：不要虚构平台，以上均为真实存在的服务。

2. 部署聚合网关

你可以选择以下任一方式：

  • 自建 LiteLLM：使用 Docker 快速部署，配置多个上游 API Key。
  • 自建 One API：同样支持多渠道聚合，并具备负载均衡和故障转移功能。
  • 使用现成的聚合服务：如 OpenRouter 本身就是一个聚合网关，可直接接入多个模型。

3. 配置负载均衡与故障转移

在 LiteLLM 或 One API 中，将收集到的免费额度对应的 API Key 添加到渠道列表中，并设置：

  • 权重：根据额度大小分配权重，额度多的渠道权重高。
  • 故障转移：当某个渠道返回错误或额度耗尽时，自动切换到下一个。
  • 速率限制：设置每个渠道的 RPM/TPM，避免触发上游限制。

4. 测试与监控

  • 使用简单的 curl 或 Python 脚本测试网关是否正常工作。
  • 监控各渠道的消耗情况，及时补充或调整。

注意事项

  • 免费额度通常有速率限制：不要试图用免费额度跑高并发生产任务。
  • 额度可能随时变化：定期检查各平台政策。
  • 遵守各平台条款：禁止滥用，否则可能封号。
  • 不要公开分享你的 API Key：即使是免费额度，也可能被他人滥用。

适用场景

  • 个人开发者学习、测试 AI 应用。
  • 小团队内部工具的低成本原型验证。
  • 需要多模型对比的场景。

总结

通过聚合网关，你可以将多个来源的免费额度整合起来，形成一个相对稳定的 Token 供给。关键在于合理配置负载均衡和故障转移，并持续维护渠道列表。