双卡/多卡推理：张量并行入门与坑

双卡/多卡推理：张量并行入门与坑

这是什么 双卡或多卡推理就是让多张显卡同时参与模型计算，突破单卡算力上限，实现高速生成和对话。 谁适用 适合需要长期运行高参数模型（Llama 3.1 70B、DeepSeek R1、Qwen2.5-Coder 32B）的人，或对延迟敏感的本地/企业环境。 怎么决策 先评估 GPU 总数、显存大小、软件栈（vLLM、TensorRT-LLM 或 Hugging Face Transformers），再选张量并行方案。决定因素是显存是否能放下完整模型 + 吞吐量需求。

核心概念与术语

张量并行（Tensor Parallelism） 将一个模型的权重、激活和梯度在不同 GPU 上拆分计算，从而实现规模化训练和推理。核心思想是“数据并行 + 流水线并行”的结合，属于分布式推理领域。

数据并行（Data Parallelism） 输入数据拆分给多卡，每卡独立推理后再汇总结果。适合模型本身不拆分、每卡只需一份副本。

流水线并行（Pipeline Parallelism） 把模型层拆分成多段，每段跑在不同 GPU 上，层与层之间用流水线形式重叠计算。

张量并行 vs 数据并行 张量并行更激进，适合单卡显存不够的情况；数据并行更保守，适合多卡间通信开销可控的场景。

决策表

实操清单

1. 准备硬件与基础环境

确认 GPU 数量、CUDA 版本、驱动、显存总和。安装 vLLM 或 Hugging Face Transformers（推荐 vLLM 最新版）。

1. 选择并行策略

根据显存和模型大小决定： - Tensor Parallelism（TP=2）：python -m vllm.entrypoints.openai.api_server --model Qwen2.5-32B-Instruct --tensor-parallel-size 2 --host 0.0.0.0 - Data Parallelism：无需额外参数，vLLM 默认自动。

1. 模型量化与分片

使用 GPTQ/AWQ/FP8 量化，尽量让每张卡负载不超过 80% 显存。

1. 启动服务器与测试

启动后用 OpenAI 兼容接口测试（curl 或 OpenAI SDK）。检查日志中 “tensor parallelism” 字样是否出现。

1. 监控与调优

使用 nvidia-smi 观察显存占用；根据需要调整 TP 大小或添加 pipeline 层数。

常见坑与风险边界

• 显存溢出：大模型若未量化或 TP 设置过小，会直接 OOM。
• 通信延迟：多卡间网络（尤其 PCIe 过旧或 SLI 模式）会拖慢速度。
• 不匹配架构：同一系列不同厂商 GPU 无法并行。
• 显存碎片：多卡混合使用（如 RTX 4090 + 3080）会影响性能。
• 版本兼容：vLLM 需与 CUDA 版本严格匹配，否则启动失败。

风险与边界

注意：以上内容仅供参考，不构成法律意见。实际操作可能涉及法律限制，请自行评估合规性。 边界提醒：单卡 24GB 以下或预算极低时，优先考虑量化单卡方案；多卡部署需严格核对显存总量，否则极易出现无法启动的致命错误。建议以官方/挂牌页当日数据为准。

站内路径：相关工具与页面

• 前往 /channels 查看 GPU 卡型与规格推荐
• 查看 /api-transit 获取 API 中转配置参考
• 参考 /api-transit/detector 评估中转与本地部署的 API 价格对比
• 探索 /api-lab 动手测试 API 中转与本地部署的差异
• 前往 /ladder 升级模型天梯，观察高参数模型在双卡上的实际表现
• 查阅 /open-models 查看开源模型推荐
• 访问 /tools 获取社区工具资源
• 了解 /tools/local-deploy 的本地部署攻略
• 参考 /official-api 获取官方 API 接入指南
• 深入理解 /guides 的各类指南资源

English summary

Tensor parallelism (TP) is a distributed inference technique that shards model weights and activations across multiple GPUs to handle larger models or higher throughput. It is most suitable for users running 32B+ parameter models (Llama 3.1 70B, DeepSeek R1, Qwen2.5-Coder 32B) on dual or multi-GPU setups, or anyone needing low-latency local inference. Decision process: first check total VRAM, then choose between Tensor Parallelism (TP=2) and Data Parallelism based on whether you need to split the model itself or just split inputs. vLLM is the recommended engine for production-grade Tensor Parallelism with automatic pipeline fallback. Common pitfalls include OOM if quantization is insufficient, communication overhead on older PCIe buses, and incompatible GPU architectures. Always match CUDA version and monitor with nvidia-smi. For API access without local setup, visit the API transit section for Grok API and other providers.