yuxinlu1 · ~12B

gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2

Hugging Face GGUF · downloads ~379,693. Repo: yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF

许可 unknownQ4 ~8GB舒适 16GB13–14B 中档本地优先

部署预估(启发式)

默认推荐卡 RTX 4060 Ti 16GB · 量化 Q4 · ctx 8k · 并发 1

适配舒适
需 / 有效显存12.3/16G
吞吐 tok/s~19.5
引擎Ollama / llama.cpp / llama-server

推荐:ollama → llamacpp,量化 Q4,先单流压测再开并发。

下载与部署入口

无官方 Ollama slug 时:从 HF GGUF 下载后用 llama.cpp / LM Studio,或 ollama create 自定义。

参数~12B
默认量化Q4
默认上下文8K
发布2026-06-19

推荐引擎

  • llama.cpp / llama-server
  • Ollama(上手最快)

标签:代码 · 推理 · Agent · 对话 · 家族 GemmaGoogle 开放权重;小体积本地友好。

入门阅读:本地部署 · 显存对照 · 量化

同家族

gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2 · 开源下载与本地部署 · GrokCode 倍率榜