DeepSeek · 32B distill

DeepSeek-R1 Distill 32B

蒸馏 32B;24GB 卡推理能力明显强于 8B。

许可 MITQ4 ~18GB舒适 24GB32–34B 单卡甜点本地优先

部署预估(启发式)

默认推荐卡 RTX 4090 24GB · 量化 Q4 · ctx 8k · 并发 1

适配偏紧
需 / 有效显存22.2/24G
吞吐 tok/s~29.5
引擎Ollama / vLLM

消费级单卡跑 32B:推荐 ollama + Q4;Agent 长上下文建议 concurrent=1。

下载与部署入口

一键本地拉取

ollama run deepseek-r1:32b
参数32B distill
默认量化Q4
默认上下文8K
发布2025

推荐引擎

  • Ollama(上手最快)
  • vLLM(高吞吐 OpenAI 兼容)
  • llama.cpp / llama-server

标签:推理 · 数学 · 代码 · 家族 DeepSeek推理 / 代码 / V3 系;大 MoE 需机房或多卡。

入门阅读:本地部署 · 显存对照 · 量化

同家族

DeepSeek-R1 Distill 32B · 开源下载与本地部署 · GrokCode 倍率榜