Alibaba · 72B

Qwen2.5 72B Instruct

接近商用中文质量;48GB+ 或双卡。

许可 QwenQ4 ~38GB舒适 48GB70B 旗舰本地优先

部署预估(启发式)

默认推荐卡 RTX A6000 48GB · 量化 Q4 · ctx 8k · 并发 1

适配偏紧
需 / 有效显存44.4/48G
吞吐 tok/s~12.4
引擎vLLM / TGI

推荐:vllm → tgi,量化 Q4,先单流压测再开并发。

下载与部署入口

一键本地拉取

ollama run qwen2.5:72b
参数72B
默认量化Q4
默认上下文8K
发布2024

推荐引擎

  • vLLM(高吞吐 OpenAI 兼容)
  • SGLang
  • Ollama(上手最快)

标签:对话 · 代码 · 多语 · Agent · 家族 Qwen中文与 coding 强;体积档齐全,Ollama/HF 生态完整。

入门阅读:本地部署 · 显存对照 · 量化

同家族

Qwen2.5 72B Instruct · 开源下载与本地部署 · GrokCode 倍率榜