unsloth · ~35B

Qwen-AgentWorld-35B-A3B

Hugging Face GGUF · downloads ~563,938. Repo: unsloth/Qwen-AgentWorld-35B-A3B-GGUF

许可 unknownQ4 ~19.2GB舒适 26.2GB32–34B 单卡甜点本地优先

部署预估(启发式)

默认推荐卡 RTX A6000 48GB · 量化 Q4 · ctx 8k · 并发 1

适配偏紧
需 / 有效显存22.2/48G
吞吐 tok/s~25.1
引擎vLLM / TGI

推荐:vllm → tgi,量化 Q4,先单流压测再开并发。

下载与部署入口

无官方 Ollama slug 时:从 HF GGUF 下载后用 llama.cpp / LM Studio,或 ollama create 自定义。

参数~35B
默认量化Q4
默认上下文8K
发布2026-06-24

推荐引擎

  • llama.cpp / llama-server
  • Ollama(上手最快)

标签:MoE · Agent · 对话 · 家族 Qwen中文与 coding 强;体积档齐全,Ollama/HF 生态完整。

入门阅读:本地部署 · 显存对照 · 量化

同家族

Qwen-AgentWorld-35B-A3B · 开源下载与本地部署 · GrokCode 倍率榜