DeepSeek · 671B MoE

DeepSeek-V3

超大 MoE;机房多卡 / 云推理,不适合单消费卡。

许可 DeepSeekQ4 ~200GB舒适 400GB100B+ / 大 MoE

部署预估(启发式)

默认推荐卡 H100 80GB · 量化 Q4 · ctx 8k · 并发 1

适配舒适
需 / 有效显存59.1/80G
吞吐 tok/s~14.2
引擎vLLM / SGLang

机房卡优先 vllm / sglang 连续服务;OpenAI 兼容对外暴露。

下载与部署入口

无官方 Ollama slug 时:从 HF GGUF 下载后用 llama.cpp / LM Studio,或 ollama create 自定义。

参数671B MoE
激活约37B
默认量化Q4
默认上下文8K
发布2024

推荐引擎

  • vLLM(高吞吐 OpenAI 兼容)
  • SGLang

标签:对话 · 代码 · MoE · Agent · 家族 DeepSeek推理 / 代码 / V3 系;大 MoE 需机房或多卡。

入门阅读:本地部署 · 显存对照 · 量化

同家族

DeepSeek-V3 · 开源下载与本地部署 · GrokCode 倍率榜