双卡/多卡推理：张量并行入门与坑
GrokCode 品牌专题：双卡/多卡推理：张量并行入门与坑。 锚点：GPU。
본문은 SEO 깊이를 위해 주로 중국어입니다. 위는 현지화 요점입니다. 언어 전환·딥링크로 글로벌 탐색하세요.
## 双卡/多卡推理：张量并行入门与坑
摘要： GrokCode 品牌专题：双卡/多卡推理：张量并行入门与坑。 分类： 硬件 slug： gc-multi-gpu
---
张量并行是让大型模型在 GPU 上跑得更快的核心技术，双卡或多卡推理能显著提升显存容量和计算能力。GrokCode 作为中转验真 + 模型天梯 + 本地部署实验室，我们专注工程可核验的实践方案。
如果你手上有 2 张或更多支持 NVLink/PCIe 互联的卡（A100/H100/4090 等），且本地部署 Llama-3.1-405B、Mixtral-8x22B 或 Qwen2.5-72B 等模型时显存不足，这就是最合适的路径。决策原则：优先 PCIe 互联卡（最稳）、有足够带宽的 NVLink 系统、预留 20% 冗余显存、推荐 vLLM 或 DeepSpeed-Chat 后端。不是所有双卡都适用，A100-40GB 配 4090 即可起步，H100 集群更高效但成本更高。
以官方/挂牌页当日数据为准，查看 GrokCode 模型天梯 获取最新显存要求和算力对比。
核心概念与术语
张量并行（Tensor Parallelism） 是将单个大模型的张量运算拆分到多张卡上并行执行的技术，由 NVIDIA Megatron 和 vLLM 等框架支持。核心目标是降低单卡显存占用，同时提高吞吐量。
数据并行（Data Parallelism）：同一模型份数在不同卡上复制，批量处理不同数据样本。
模型并行（Model Parallelism）：大模型沿层数或隐藏维度拆分，每张卡只负责部分参数。
全并行（Fully Parallel）：张量并行 + 数据并行 + 模型并行组合，通常结合 ZeRO-Offload 进一步节省显存。
关键术语：
- 张量并行大小（TP size）：即卡的数量（如 TP=2 表示双卡）
- 张量并行维度（TP dim）：分片方向（0=按列分，1=按行分）
- 数据并行大小（DP size）：通常为 1（因为 TP 已覆盖显存）
- 上下文长度：影响显存的主要因素，512 tokens 为基准时显存需求翻倍
- NVLink：高带宽互联（双卡间可达 600 GB/s），PCIe Gen4 为 64 GB/s，带宽不足会严重降速
决策表：双卡/多卡推理适用性对比
| 场景 | 推荐硬件组合 | TP size | 显存估算（72B 模型） | 推荐框架 | 适用条件 | 不推荐原因 |
|---|---|---|---|---|---|---|
| 入门级本地部署 | RTX 4090 × 2 | 2 | ~45 GB | vLLM | PCIe Gen4 带宽充足 | 带宽瓶颈明显，吞吐量仅 60% |
| 高吞吐推理 | A100 40GB × 2 | 2 | ~35 GB | DeepSpeed | PCIe 带宽够，NVLink 可选 | 老款显卡功率限制 |
| 大模型长上下文 | H100 × 2 | 2 | ~28 GB | vLLM | NVLink 互联，带宽优势明显 | 成本过高，显存冗余浪费 |
| 多卡集群（>4 卡） | A100 × 4 | 4 | ~18 GB | vLLM + ZeRO | 网络延迟低，NVLink 全互联 | 单卡成本已高，运维复杂 |
| 预算有限但需规模 | 4090 × 8 | 8 | ~12 GB | vLLM | 显存足够且 PCIe 互联良好 | 功耗爆炸，散热成本上升 |
数据基于 GrokCode 模型天梯当前挂牌页，以官方规格为准。
实操清单：双卡推理快速启动
- 确认硬件：双卡间 PCIe Gen4 以上，建议 NVLink（可通过
nvidia-smi查看NVLink状态）。 - 安装环境：
`` conda create -n grokcode-tp python=3.11 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install vllm deepspeed transformers accelerate `` （使用 GrokCode 推荐的干净环境，避免第三方 IDE 修改器）
- 配置张量并行（vLLM 示例，72B 模型）：
``bash python -m vllm.entrypoints.openai.api_server \ --model meta-llama/Llama-3.1-70B \ --tensor-parallel-size 2 \ --gpu-memory-utilization 0.9 \ --max-model-len 8192 \ --port 8000 ``
- 数据并行与 ZeRO：
若单卡仍爆显存，加 --enable-ze-ro-offload + --max-num-seqs 128。
- 监控与调优：
watch -n 1 nvidia-smi 查看显存占用、P2P 带宽、通信耗时。 建议从 4096 tokens 开始测试，逐步加到 32k。
- 后端测试：使用 GrokCode 模型天梯提供的 本地部署实验室 示例脚本，直接替换模型路径即可跑通。
常见坑与风险边界
- 带宽不足导致 30-50% 降速：PCIe Gen3 双卡间通信成为瓶颈，A100-40GB 配 4090 最稳。
- 显存碎片化：不释放空闲张量，单个批次就爆显存。
- ZeRO 内存浪费：Offload 过多导致磁盘 I/O 成为新瓶颈。
- 多卡通信延迟：4 卡以上网络延迟 > 1ms 会拖慢速度。
- 框架不兼容：某些老版 PyTorch 无法跑 TP=4。
风险与边界： 张量并行通过硬件加速推理速度，但需精确匹配模型大小与显存分配，否则会 OOM 或推理质量下降。非法律意见声明：以上仅为技术参考，不构成投资或性能保证，实际效果以官方/挂牌页数据为准，具体以安装环境和模型版本为准。
站内路径
延伸阅读
English summary
Tensor Parallelism lets large models run faster on multiple GPUs by splitting computations across cards, making dual or multi-GPU setups ideal for GrokCode users who need more than one RTX 4090, A100, or H100 for local inference of 70B+ models. GrokCode provides engineering-verifiable guides, decision tables, and step-by-step checklists that match your hardware exactly without over-optimization. Key terms like TP size, data parallelism, ZeRO-Offload, and NVLink bandwidth remain in English for clarity. Use the provided comparison table and checklists to decide between PCIe or NVLink systems and pick the right framework such as vLLM or DeepSpeed. Start with 2-card setups on 72B models using our recommended clean environment, monitor with nvidia-smi, and add ZeRO only when single-card memory is exceeded. Always verify with the latest official specs on our model ladder page for your specific model and version.
适用于 GrokCode 倍率榜。信息仅供参考，不构成购买、投资或法律意见。