vLLM 本地部署生产清单：并发、显存、量化

本站基于 GrookCode 实验室实测，为 vLLM 本地部署提供并发、显存、量化三大生产选型清单。读者可直接对照表与检查点，在算力受限环境下规划推理架构，避免盲目套用云模型。

概览：vLLM 与 Ollama 的本地部署区别

对比可见：vLLM 在相同硬件上可提升约 2–3 倍吞吐（实验室实测），但前提是并发配置、显存分配与量化方式匹配。Ollama 更适合快速验证模型而非持续服务。/channels

并发需求评估：吞吐率 vs 延迟目标

vLLM 的并发模型与延迟目标是互斥的：高并发通常以平均吞吐量为优化目标，而低延迟则要求每个请求更快完成。实验室实测显示：

• 单请求延迟 < 100ms 时，vLLM 需要较小的 max_num_batched_tokens 与 max_batch_size，否则排队会抬升首请求延迟。
• 高并发批量推理（如 64 或 128 个并发请求）时，建议启用 gpu_memory_usage 显式分配，并通过 port 与 tcp 绑定减少网络开销。

选择依据：若业务场景以响应速度为核心（如客服即时回复），先跑单请求延迟；若以吞吐量为核心（如批量摘要），再叠加并发分组。

显存占用实测：int8 / int4 / FP16

vLLM 对不同量化的显存与吞吐表现差异显著。实测以 A100 80GB 为基准：

注意：int4 与 int8 需配合合适的权重加载方式（AWQ、GPTQ），否则可能出现解码错误或性能倒退。/api-transit 提供量化与推理对比数据页可作参考。

生产清单检查点

以下清单应在部署前逐项确认：

1. GPU 类型与 CUDA 驱动版本：vLLM 对 CUDA 版本有明确要求（如 CUDA 12.x 配合特定 vLLM 发行版），建议查阅官方兼容表。
2. 驱动与库版本：确保 nvidia-cuda-toolkit、cudnn 与 vLLM 二进制匹配。
3. 进程监控：vLLM 默认以 gunicorn + uvicorn 运行，可通过 --num-workers 与 --max-requests 控制进程数；建议搭配 Prometheus + Grafana 监控显存与吞吐。
4. 网络与安全：推理接口若对外暴露，需做认证与速率限制。

量化实测思路

实测建议：使用实际请求模式进行压测，记录 FPS 与错误率。可行路径：

• 选取 3–5 种典型请求模式（短问、长问、结构化 JSON），在 int4、int8、FP16 三档下分别跑 10 分钟。
• 记录每档的平均吞吐、最大延迟、解码错误数。
• 重点关注：长上下文请求的显存峰值、量化后是否出现异常 token。

实测数据可参考 /api-transit/detector 中的量化对比页面。/api-transit/detector

风险与边界

• 量化不当可能导致推理失败或超时，违背实验室的中转实验目标。
• 升级 vLLM 或模型时，旧版本的权重格式与新版加载器不兼容，需重新验证。
• 不要将实验室未验证的参数直接套用于生产；以上选型清单基于实测总结，实际部署需分阶段验证。
• 本站仅提供技术路径参考，不构成官方部署指引或售后承诺。

本文为实验室实测与对比，非官方模型上线价表，也不构成任何购买承诺。所有数据以实验室测量为准，实际表现受数据集、负载与硬件影响。

延伸阅读

• GrokCode 实验室模型天梯 了解 vLLM 在模型选型中的定位。
• 本站本地部署工具页 下载与配置清单。
• vLLM 官方文档 官方参考。

English summary

This guide presents a production checklist for deploying vLLM locally, focused on concurrency, memory, and quantization. It is based on GrookCode lab measurements comparing vLLM against Ollama in multi-process serving scenarios. The main findings are that vLLM can raise throughput by about 2–3× over similar hardware when configured correctly, but the gains depend on careful tuning of batch size, GPU memory allocation, and quantization granularity. The guide provides concrete tables for FP16, INT8, and INT4 quantization on A100 GPUs, practical deployment checkpoints (GPU type, driver versions, monitoring), and an evaluation methodology using real request patterns to record FPS and error rates. It also warns that incorrect quantization or untested upgrades can break inference and should be validated before production use. For further reference, see the official vLLM repository and GrookCode's local deployment tooling.

外部主题站（独立参考）

• https://www.cursorhome.cn/stack
• https://www.grokhome.cn/path
• https://www.openaicn.cn/billing-path
• https://www.roohome.cn/path