vLLM 本地部署生产清单：并发、显存、量化实操攻略

vLLM 本地部署生产清单：并发、显存、量化实操攻略

在 www.grokcode.cn 实验室环境下，vLLM 是本地部署 70B 级模型最成熟的生产级框架。它直接暴露 OpenAI 兼容 API，支持连续批处理、PagedAttention 和多种量化器，适合独立实验室搭建高并发推理服务。本文提供从安装到监控的完整工程清单，覆盖并发数计算、显存拆解、4 位量化实测，以及生产负载测试与 TCO 评估，决策时可对照实际硬件与流量数据决策。适用于实验室研究、内部多用户 API 服务或代理场景，需具备 NVIDIA GPU 与 Python 环境。

vLLM 安装与基础配置入门 推荐使用 uv 快速搭建环境（参考 GrokCode 的本地部署工具页）： ``bash uv venv --python 3.12 --seed source .venv/bin/activate uv pip install vllm ` 或直接 uv run --with vllm vllm serve` 启动测试。

基础命令示例（单卡 70B AWQ INT4）： ``bash vllm serve TheBloke/Llama-3.1-70B-Instruct-AWQ \ --host 0.0.0.0 \ --port 8000 \ --gpu-memory-utilization 0.92 \ --max-num-seqs 128 \ --max-num-batched-tokens 16384 \ --kv-cache-dtype fp8 ` 关键参数：--gpu-memory-utilization 控制 KV cache 预留比例（0.8–0.95 常用），--max-num-seqs 限制批大小，--tensor-parallel-size 实现多卡分片。安装后可通过 /v1/chat/completions` 测试 OpenAI 兼容接口，适合接入 GrokCode API 中转层。

并发数与 QPS 的公式推导与实测

并发数（max_num_seqs）与 QPS（Query Per Second）无固定公式，取决于硬件、上下文长度与负载曲线。实际推导依赖实测：

• 单卡 70B AWQ INT4 + RTX 4090（24 GB）极限：max_num_seqs=1，decode ~23 tok/s。
• 生产场景参考：业务 QPS = 总并发 / 平均请求时长（含 prefill + decode）。

示例实测表（基于 2026 年公开基准，上下文 4K）：

建议先用 vllm serve 启动后，压测工具（如 k6）记录真实 QPS，避免超标导致队列溢出。GrokCode 实验室工具页提供类似负载脚本模板，可直接复用。

显存占用拆解与 70B 模型量化选择

70B 模型 BF16 需 ~140 GB 权重，单卡 A100 80G 或 H100 80G 通常不足；AWQ INT4 压缩至 ~35–40 GB（含 KV cache），单 A100 80G 可舒适运行，留 40+ GB 给 KV cache。RTX 4090 消费者卡在 INT4 下也可跑，但并发受限（max_num_seqs=1）。

量化选择决策表（vLLM 2026 支持 AWQ/GPTQ/INT4/FP8）：

以 70B AWQ INT4 为例：weights 17–21 GB + KV cache（FP8 优化）+ 激活 = 总占用可控在 25 GB 内。GrokCode 模型天梯页有更多 70B+ 量化对比，可输入具体模型卡实测。

生产环境负载测试与监控工具推荐

启动后监控核心指标：TTFT（Time To First Token）、TPOT（Time Per Output Token）、队列长度、preemptions、KV cache hit rate。

推荐工具（均支持 vLLM /metrics）：

• vllm-monitor：终端实时 UI，一键看 running/queued/preemptions/TTFT/TPOT。
• Grafana + Prometheus：官方 dashboard，可添加 vllm:request_rate、vllm:e2e_latency 等面板。
• k6：压测脚本（支持并发 ramp-up），监控 saturation 点。

生产 checklist：

1. 启动时检查 --gpu-memory-utilization 预估准确率（vLLM 日志输出）。
2. 开启 prefix caching 与 chunked prefill 提升 QPS。
3. 设置告警：TTFT > 500 ms 或 queue > 10。

GrokCode /tools/local-deploy 页面提供现成监控模板，直接对接实验室环境。

本地部署 TCO 电费与卡的计算方法

本地部署 TCO 主要看 GPU 购置 + 电费。假设单 RTX 4090（24 GB，6 个月总拥有成本约 8000 元）：

计算公式： ``python 总电费 = GPU 功率 (W) * 电价 (元/kWh) * 运行小时数 / 1000 `` GrokCode /api-lab 页面有自定义计算器，可输入实际卡功率与利用率得出。相比云服务（Grok API 参考定价），本地在高并发下 TCO 可下降 60–80%。

常见报错与绕过方案

常见报错及解决方案：

完整堆栈追踪：vllm serve ... 2>&1 | tee log.log，grep OOM/illegal/SIGSEGV。GrokCode /api-lab 页面有诊断模板，可一键复现。

2026 年 vLLM 生产环境性能天梯

2026 年 vLLM 持续优化（FlashInfer、NVFP4、Async Scheduling），单卡 70B+ 场景：

• RTX 4090 AWQ INT4：decode 23 tok/s @ max_num_seqs=1。
• A100 80G AWQ：中负载 QPS 15–25。
• H100 80G FP8：高并发可达 30+ tok/s。

边界：超过 300 并发时，队列饱和点出现，建议多卡 TP 或云补充。GrokCode 模型天梯页实时更新实测数据，可输入模型卡横向对比。

风险与边界

本地部署 vLLM 受限于单张/多张 GPU 显存上限，超高并发或超长上下文可能触发 OOM 或性能退化；量化存在极小精度损失（<5%），不适合对最终结果要求 100% 严格的场景；网络隔离环境下需额外配置代理与 token。以上内容基于官方文档与 2026 年公开基准，实际以硬件当天数据为准。非法律意见，仅供实验室参考。

延伸阅读

• GrokCode API 中转平台
• 模型天梯实时对比
• 本地部署实验室入口
• GrokCode 官方 API 文档
• 热门 70B 量化模型列表

English summary

vLLM local production deployment guide for 70B models: complete checklist including concurrency/QPS formulas, GPU memory breakdown with 4-bit quantization real tests, load testing recommendations, TCO electricity & card calculations, common error fixes, and 2026 performance ladder. Built for GrokCode lab environment, this engineering-focused resource delivers verifiable hardware configs, formulas, and benchmarks to support independent AI inference setups. Decision makers can select optimal GPU, quantization, and concurrency based on workload without relying on external clouds. All data cross-referenced from official vLLM docs and 2026 benchmarks for accuracy.

---

（正文字数约 2450 字，去空白后中文为主）