New API / One API 類網關選型
開源網關常見能力對比、部署注意、多模型路由與用戶體系。

這類網關做什么
New API(全称 Next-Generation AI Gateway,基于 QuantumNous/new-api 仓庫)是一款開源的 AI 模型聚合與分發網關,专為合法授权场景设計。它将多個上游 AI 服务商的接口(如 OpenAI、Claude、Google Gemini、DeepSeek、Midjourney、Suno 等 30+ 提供商)統一封装為 OpenAI 兼容格式,同時支持跨协議轉换(如 OpenAI ⇄ Claude Messages、OpenAI ⇄ Gemini)。用戶只需一個統一入口,即可调用所有模型,實現密鑰管理、额度控制、负载均衡和成本追踪。
核心能力包括:
- 智能路由:支持加权随机、故障自动切换、重試机制,用戶级限流。
- 成本與帳务:支持內部充值、组织分摊、企业客户帳單,含缓存命中計費(OpenAI、DeepSeek、Claude 等)。
- 權限與安全:令牌分组、模型访问控制、审計日志、OIDC/Discord 等多源認證。
- 多格式支持:原生 OpenAI Responses、Realtime API、Rerank(Cohere/Jina)、圖像生成(Midjourney)、音乐(Suno)等。
- 資料洞察:實時看板、統計分析、用量仪表盘。
與早期 One API 相比,New API 在界面現代化、UI 多語言支持(简体/繁体/英文/日語/法語)、資料庫兼容性(无缝继承 One API 資料)、進階路由策略和企业级帳务上做了显著优化。部署方式轻量:單 Docker 容器或 Docker Compose 即可启动,适用于個人、团队或企业私有化中轉站建设。
選型维度
选择 New API 時需结合實際场景,從以下维度评估:
| 维度 | 描述與關键考量 | 推荐场景 |
|---|---|---|
| 部署复杂度 | Docker Compose 單容器启动,依赖 Postgres/MySQL + Redis。初期門槛低,后续扩展需關註資料庫與 Redis。 | 個人/小团队快速上线 |
| 协議與模型支持 | 原生 OpenAI 兼容 + 多格式轉换,內置 Midjourney/Suno 等非 LLM 模型。 | 混合多模態需求 |
| 路由與限流 | 加权随机、故障切换、重試、用戶级限流、推理力度分级(o3-mini-high/medium/low 等)。 | 高并發、穩定性要求高 |
| 帳务與成本 | 组织级分摊、EPay/Stripe 充值、缓存計費、價格阶梯。 | 需要精确成本控制 |
| 權限與安全 | 令牌分组、审計、OAuth/OIDC、Rate limiting。 | 团队协作或企业私有化 |
| 扩展性與性能 | Golang + Gin 架构,高并發低延遲(測試 QPS 视硬件而定),支持 Redis 缓存。 | 需要长期运维或高流量 |
| 社区與维护 | 活跃仓庫(数万星级分叉),社区文档完善,定期更新(GPT-5.6、缓存計費等)。 | 追求稳定更新 |
| 合規性 | 仅限合法授权场景,需遵守上游条款與法規。 | 合規使用 |
New API 特别适合中小团队或個人開發者,相對于纯自研或商业平台,它提供了開源的灵活性與可视化管理后台。
部署與配置要点
部署 New API 推荐使用 Docker Compose,單机 4 核 8G 內存即可满足日常使用。以下是完整步骤:
- 克隆项目:
\\\ git clone https://github.com/QuantumNous/new-api.git cd new-api \\\
- 配置 Docker Compose(推荐方式):
編輯 \docker-compose.yml\,關键参数示例: \\\yaml version: '3.8' services: new-api: image: calciumion/new-api:latest container_name: new-api restart: always ports: - "3000:3000" volumes: - ./data:/data environment: - SESSION_SECRET=your-strong-secret - SQL_DSN=postgres://user:pass@db:5432/newapi?sslmode=disable # 或使用 MySQL - REDIS_CONN_STRING=redis://redis:6379 - TZ=Asia/Shanghai \\\ (完整模板参考官方 \docker-compose.yml\ 或 \docker-compose.dev.yml\)
- 启动服务:
\\\ docker compose up -d \\\ 访问 \http://localhost:3000\(首次需初始化管理员帳户)。
- 配置要点:
- 环境变量(详見官方环境变量文档):重点設定 \TRUSTED_PROXIES\(代理 IP 列表)、\SESSION_COOKIE_SECURE\(生产环境建議開启)、\MAX_REQUEST_BODY_MB\(防大文件攻击)。 - 資料庫:推荐 Postgres/MySQL(生产稳定),SQLite 适合測試。 - 缓存:Redis 用于會话與限流,配置 \CRYPTO_SECRET\ 與 \SESSION_SECRET\ 一致。 - 網路與安全:启用 HTTPS(Nginx/Cloudflare 反代 + Let’s Encrypt),設定 \TRUSTED_PROXIES\ 防止伪造。 - 资源监控:启用 Pyroscope 采样,观察內存/CPU。
- 常見配置陷阱:
- 生产环境必须使用資料庫而非 SQLite(避免單点故障)。 - Redis 连接需带密碼,保持 \SESSION_SECRET\ 一致。 - 測試环境可临時關闭 \SESSION_COOKIE_SECURE\,生产必须設定。
部署完成后,首次访问即可建立管理员帳號,进入后台完成模型接入。
多模型與分组
New API 支持将多個上游模型聚合為統一服务,核心是智能路由和權限分组。
- 模型接入:在后台「模型」頁面新增通道(Channel),填寫上游 API Key、Base URL、模型名称。支持批量导入 CSV,优先级設定(数字越小优先级越高)。
- 路由策略:
- 加权随机:根據权重分配請求(如 OpenAI 80%、DeepSeek 20%)。 - 故障切换:上游异常時自动重試或切换。 - 用戶限流:每個用戶可設定請求/分钟上限。
- 分组管理:建立用戶组,绑定模型、限流規則、额度。支持子帳號管理,适合团队分權限。
- 分组示例:開發组(只用 GPT-4o)、測試组(DeepSeek + Groq)。
示例路由配置(YAML 風格,進階自定義通道): \\\yaml channel_groups: dev_group: models: [gpt-4o, gpt-4o-mini] priority: 1 weight: {gpt-4o: 80, gpt-4o-mini: 20} test_group: models: [deepseek-chat] rate_limit: 10 # 每分钟 \\\
通過「智能路由」頁面可可视化调整,實時查看命中率與延遲。
常見坑
- 資料庫压力:未設定 Redis 缓存,导致請求延遲升高,建議開启 Redis 并监控 QPS。
- 密鑰泄露:仅使用虚拟密鑰(New API 內部生成),避免直接暴露上游 Key。
- 缓存計費问题:OpenAI 等模型缓存命中需正确配置,旧版本可能帳單不符。
- 限流误判:用戶限流與全局限流同時生效時,建議使用 Redis 分布式限流。
- 網路连通性:海外模型部署時,需正确配置代理或海外伺服器,避免 DNS 问题。
- 版本兼容:升级時備份資料庫,兼容 One API 資料即可无缝迁移。
與自研對比
自研網關需從零實現路由、限流、帳务模块,New API 提供了現成解决方案:
- 自研优势:完全定制逻辑,可集成私有上游或特定算法。
- 自研劣势:開發周期长(至少 1-2 人月),维护复杂(并發、缓存、审計)。
- New API 优势:開箱即用,社区活跃,帳务/權限模块成熟。
推荐场景:自研适合极致定制或已有成熟团队;New API 适合 90% 的中小团队,直接使用即可落地。相關自建中轉站可参考 build-transit-station。
風險與邊界
New API 仅用于合法授权场景,必须严格遵守上游服务条款(OpenAI、Anthropic 等)和中國生成式人工智能相關法規(如《生成式人工智能服务管理暂行办法》)。非法律意見:用戶需自行完成備案、內容安全审核、日志留存等合規義务。使用時請勿用于任何违規用途,存在風控風險。
延伸阅讀
風險與邊界:仅用于合法授权场景。非法律意見。
---
免責聲明: GrokCode 僅聚合公開/提交資訊,不賣貨、不收款、不擔保第三方服務。下單或充值前請回原站核驗。本頁不構成法律意見。
适用于 GrokCode 倍率榜。信息仅供参考,不构成购买、投资或法律意见。