Meta · 8b/70b

dolphin-llama3

Dolphin 2.9 is a new model with 8B and 70B sizes by Eric Hartford based on Llama 3 that has a variety of instruction, conversational, and coding skills.

许可 unknownQ4 ~4.4GB舒适 8.8GB3–9B 入门档本地优先

部署预估(启发式)

默认推荐卡 RTX 4060 Ti 16GB · 量化 Q4 · ctx 8k · 并发 1

适配舒适
需 / 有效显存7.4/16G
吞吐 tok/s~33.1
引擎Ollama / llama.cpp / llama-server

推荐:ollama → llamacpp,量化 Q4,先单流压测再开并发。

下载与部署入口

一键本地拉取

ollama run dolphin-llama3
参数8b/70b
默认量化Q4
默认上下文8K
发布

推荐引擎

  • Ollama(上手最快)
  • llama.cpp / llama-server

标签:代码 · 对话 · 家族 Llama开源社区基座;3.1/3.3/4 系本地与云推理双热。

入门阅读:本地部署 · 显存对照 · 量化

同家族

dolphin-llama3 · 开源下载与本地部署 · GrokCode 倍率榜