Llama-3.2-1B-Instruct-Q8_0
Hugging Face GGUF · downloads ~297,721. Repo: hugging-quants/Llama-3.2-1B-Instruct-Q8_0-GGUF
许可 unknownQ4 ~4GB舒适 8GB3–9B 入门档本地优先
部署预估（启发式）
默认推荐卡 RTX 4060 8GB · 量化 Q4 · ctx 8k · 并发 1
适配偏紧
需 / 有效显存7.4/8G
吞吐 tok/s~26.5
引擎Ollama / llama.cpp / llama-server
推荐：ollama → llamacpp，量化 Q4，先单流压测再开并发。
下载与部署入口
无官方 Ollama slug 时：从 HF GGUF 下载后用 llama.cpp / LM Studio，或 ollama create 自定义。
参数~1B
默认量化Q4
默认上下文8K
发布2024-09-25
推荐引擎
- llama.cpp / llama-server
- Ollama（上手最快）
标签：对话 · 家族 Llama：开源社区基座；3.1/3.3/4 系本地与云推理双热。
同家族
- llama3.2 · 1b/3b · Q4~4GB
- Llama 3.1 8B Instruct · 8B · Q4~6GB
- llama3 · ~7B · Q4~4GB
- Llama 3.3 70B Instruct · 70B · Q4~36GB
- codellama · ~7B · Q4~4GB
- Llama 4 Scout · Scout MoE · Q4~48GB
站内推荐
同系工具：Clavue CLI / imux IDE / clavue-2.1
Clavue · CLI 与 Agent 平台
CLI / GUI Agent 运行时、设备登录、会员额度与 OpenAI 兼容 API（api.clavue.com）。开发脚本、CI 与本地工具一条链路。
打开 Clavue ↗imux · 原生 macOS AI IDE
Clavue 平台的原生 IDE：多 Agent 分屏、Ghostty 级终端、Agent Chat、浏览器自动化与 Supervisor——不是又一个 Electron 壳。
了解 imux ↗Clavue 2.1 · 产品级大模型
旗舰模型 clavue-2.1（及 fast / pro / rev）：适合复杂推理与长程 Agent 循环。Chat、imux、API 共用会员额度。
查看模型 ↗