gemma-4-26B-A4B-it-qat

部署预估（启发式）

默认推荐卡 RTX A6000 48GB · 量化 Q4 · ctx 8k · 并发 1

推荐：vllm → tgi，量化 Q4，先单流压测再开并发。

下载与部署入口

无官方 Ollama slug 时：从 HF GGUF 下载后用 llama.cpp / LM Studio，或 ollama create 自定义。

推荐引擎

• llama.cpp / llama-server
• Ollama（上手最快）

标签：视觉 · MoE · 对话 · 家族 Gemma：Google 开放权重；小体积本地友好。

入门阅读：本地部署 · 显存对照 · 量化