推理速度
模型生成效率与延迟的客观对比
数据更新于 2026-07-31 · 能力库 206 条(网关 49 · 站外 157 · AA 173 · Arena 100) · 当前榜 89 名 · OpenRouter 实时已接入 · 知识库 159 模 / 31 族 / 26 维

模型天梯 · capability
推理速度
本榜评估AI模型的推理速度表现,重点考察每秒token生成数(tokens/s)、首token延迟(TTFT)及多并发吞吐能力。数据来源于Artificial Analysis(AA)的独立基准测试、LMSYS Arena等平台的性能指标、Hugging Face等开源benchmarks的测速结果、主流API提供商的实际用量统计,以及基于模型架构、参数量和量化级别的启发式估算。解读时需结合具体硬件、部署环境和应用场景,速度仅为独立维度,建议与质量、成本等其他榜单综合参考。
- tokens/s归一化得分(权重最高)
- TTFT与端到端延迟测试结果
- 多并发吞吐量与稳定性指标
| # | 模型 | 厂商 | 地区 | 速度分 | 相对 | 说明 | 证据源 | 佐证 |
|---|---|---|---|---|---|---|---|---|
| 🥇 | grok-4.20-0309-non-reasoning grok-4.20-0309-non-reasoning | x-ai | 美国网关 | 100 | 29.3 tok/s 吞吐 / 延迟 | 实测OR | 查看佐证 | |
| 🥈 | grok-4.3-fast grok-4.3-fast | xai | 美国网关 | 100 | 30 tok/s 吞吐 / 延迟 | 实测OR快照Arena | 查看佐证 | |
| 🥉 | grok-4.20-0309-non-reasoning-console grok-4.20-0309-non-reasoning-console | x-ai | 美国网关 | 94 | 17.6 tok/s 吞吐 / 延迟 | 实测OR | 查看佐证 | |
| 4 | grok-composer grok-composer | xai | 美国网关 | 87 | 15 tok/s 吞吐 / 延迟 | 探测 | 查看佐证 | |
| 5 | qwen3.6:35b-a3b qwen3.6:35b-a3b | qwen | 中国网关 | 87 | 141 tok/s 吞吐 / 延迟 | 探测AAOR | 查看佐证 | |
| 6 | gpt-4.1-nano-2025-04-14 gpt-4.1-nano-2025-04-14 | openai | 美国网关 | 84 | 12.9 tok/s 吞吐 / 延迟 | 探测OR快照 | 查看佐证 | |
| 7 | qwen3.5:4b qwen3.5:4b | qwen | 中国网关 | 82 | 12 tok/s 吞吐 / 延迟 | 探测 | 查看佐证 | |
| 8 | grok-3 grok-3 | xai | 美国网关 | 80 | 11.1 tok/s 吞吐 / 延迟 | 探测 | 查看佐证 | |
| 9 | grok-4.20-fast grok-4.20-fast | xai | 美国网关 | 80 | 9.4 tok/s 吞吐 / 延迟 | 实测 | 查看佐证 | |
| 10 | gpt-5.4-mini gpt-5.4-mini | openai | 美国网关 | 71 | 8.6 tok/s 吞吐 / 延迟 | 探测AAOR | 查看佐证 | |
| 11 | gemini-3-5-flash-low gemini-3-5-flash-low | 美国网关 | 70 | 8.5 tok/s 吞吐 / 延迟 | 探测OR快照 | 查看佐证 | ||
| 12 | qwen3.6:27b qwen3.6:27b | qwen | 中国网关 | 70 | 54 tok/s 吞吐 / 延迟 | 探测AAOR | 查看佐证 | |
| 13 | grok-4.20-0309-reasoning-console grok-4.20-0309-reasoning-console | x-ai | 美国网关 | 67 | 6.3 tok/s 吞吐 / 延迟 | 实测OR | 查看佐证 | |
| 14 | grok-4.20-multi-agent-console grok-4.20-multi-agent-console | x-ai | 美国网关 | 65 | 6.1 tok/s 吞吐 / 延迟 | 实测OR | 查看佐证 | |
| 15 | grok-4.3-medium grok-4.3-medium | xai | 美国网关 | 65 | 6.1 tok/s 吞吐 / 延迟 | 实测OR快照Arena | 查看佐证 | |
| 16 | gpt-4.1-nano gpt-4.1-nano | openai | 美国网关 | 64 | 7.4 tok/s 吞吐 / 延迟 | 探测AAOR | 查看佐证 | |
| 17 | gpt-5.6-luna gpt-5.6-luna | openai | 美国网关 | 64 | 184 tok/s 吞吐 / 延迟 | 探测AAOR | 查看佐证 | |
| 18 | grok-4.3-high grok-4.3-high | xai | 美国网关 | 64 | 5.9 tok/s 吞吐 / 延迟 | 实测OR快照Arena | 查看佐证 | |
| 19 | lingsi1.0 lingsi1.0 | other | —网关 | 64 | 7.3 tok/s 吞吐 / 延迟 | 探测 | 查看佐证 | |
| 20 | grok-4.20-0309-console grok-4.20-0309-console | xai | 美国网关 | 60 | 5.5 tok/s 吞吐 / 延迟 | 实测 | 查看佐证 | |
| 21 | grok-4.3-low grok-4.3-low | xai | 美国网关 | 58 | 5.3 tok/s 吞吐 / 延迟 | 实测OR快照Arena | 查看佐证 | |
| 22 | grok-4.20-multi-agent-high grok-4.20-multi-agent-high | x-ai | 美国网关 | 55 | 5 tok/s 吞吐 / 延迟 | 实测OR | 查看佐证 | |
| 23 | grok-composer-2.5-fast grok-composer-2.5-fast | xai | 美国网关 | 51 | 5.7 tok/s 吞吐 / 延迟 | 探测 | 查看佐证 | |
| 24 | GPT-5.6 Luna (max) aa/gpt-5.6-luna-max | OpenAI | 美国 | 46 | 184 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 25 | GPT-5.6 Luna (xhigh) aa/gpt-5.6-luna-xhigh | OpenAI | 美国 | 46 | 184 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 26 | grok-4.3-console grok-4.3-console | xai | 美国网关 | 46 | 4.3 tok/s 吞吐 / 延迟 | 实测OR快照Arena | 查看佐证 | |
| 27 | GPT-5.6 Luna (low) aa/gpt-5.6-luna-low | OpenAI | 美国 | 44 | 174 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 28 | grok-4.5 grok-4.5 | x-ai | 美国网关 | 44 | 58 tok/s 吞吐 / 延迟 | 探测AAOR | 查看佐证 | |
| 29 | GPT-5.6 Luna (high) aa/gpt-5.6-luna-high | OpenAI | 美国 | 42 | 166 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 30 | grok-4.20-multi-agent-medium grok-4.20-multi-agent-medium | x-ai | 美国网关 | 42 | 4 tok/s 吞吐 / 延迟 | 实测OR | 查看佐证 | |
| 31 | GPT-5.6 Luna (medium) aa/gpt-5.6-luna-medium | OpenAI | 美国 | 41 | 164 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 32 | grok-4.20-multi-agent-xhigh grok-4.20-multi-agent-xhigh | x-ai | 美国网关 | 39 | 3.8 tok/s 吞吐 / 延迟 | 实测OR | 查看佐证 | |
| 33 | GPT-5.6 Terra (max) aa/gpt-5.6-terra-max | OpenAI | 美国 | 33 | 132 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 34 | grok-4.3 grok-4.3 | x-ai | 美国网关 | 33 | 4.4 tok/s 吞吐 / 延迟 | 探测AAOR | 查看佐证 | |
| 35 | Muse Spark 1.1 (xhigh) aa/muse-spark-1.1-xhigh | Meta | 美国 | 32 | 127 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 36 | grok-build-0.1 grok-build-0.1 | x-ai | 美国网关 | 31 | 4.3 tok/s 吞吐 / 延迟 | 探测AAOR | 查看佐证 | |
| 37 | Agnes 2.5 Pro Alpha aa/agnes-2.5-pro-alpha | Sapiens AI | — | 29 | 116 tok/s 吞吐 / 延迟 | AA快照站外对照 | 查看佐证 | |
| 38 | DeepSeek V4 Flash (max) aa/deepseek-v4-flash-max | DeepSeek | 中国 | 29 | 115 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 39 | GLM-5.2 (max) aa/glm-5.2-max | Z AI | 中国 | 29 | 116 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 40 | GPT-5.6 Terra (xhigh) aa/gpt-5.6-terra-xhigh | OpenAI | 美国 | 28 | 113 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 41 | GPT-5.6 Terra (Non-reasoning) aa/gpt-5.6-terra-non-reasoning | OpenAI | 美国 | 27 | 106 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 42 | GPT-5.6 Terra (high) aa/gpt-5.6-terra-high | OpenAI | 美国 | 26 | 104 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 43 | GPT-5.6 Terra (medium) aa/gpt-5.6-terra-medium | OpenAI | 美国 | 26 | 104 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 44 | GPT-5.6 Terra (low) aa/gpt-5.6-terra-low | OpenAI | 美国 | 25 | 99 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 45 | Claude 4.5 Haiku aa/claude-4.5-haiku | Anthropic | 美国 | 24 | 97 tok/s 吞吐 / 延迟 | AA快照站外对照 | 查看佐证 | |
| 46 | composer-2.5 composer-2.5 | cursor | —网关 | 24 | 3.9 tok/s 吞吐 / 延迟 | 探测 | 查看佐证 | |
| 47 | Claude Sonnet 5 (max) aa/claude-sonnet-5-max | Anthropic | 美国 | 19 | 75 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 48 | gpt-5.4 gpt-5.4 | openai | 美国网关 | 17 | 3.6 tok/s 吞吐 / 延迟 | 探测AAOR | 查看佐证 | |
| 49 | GPT-5.6 Sol (max) aa/gpt-5.6-sol-max | OpenAI | 美国 | 17 | 66 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 50 | Hy3 aa/hy3 | Tencent | 中国 | 17 | 68 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 51 | Claude Fable 5 (with fallback) aa/claude-fable-5-with-fallback | Anthropic | 美国 | 16 | 64 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 52 | Claude Sonnet 5 (Non-reasoning) aa/claude-sonnet-5-non-reasoning | Anthropic | 美国 | 16 | 65 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 53 | DeepSeek V4 Pro (max) aa/deepseek-v4-pro-max | DeepSeek | 中国 | 16 | 64 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 54 | deepseek-v4-pro deepseek-v4-pro | deepseek | 中国网关 | 16 | 64 tok/s 吞吐 / 延迟 | 探测AAOR | 查看佐证 | |
| 55 | DeepSeek V4 Pro (high) aa/deepseek-v4-pro-high | DeepSeek | 中国 | 15 | 59 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 56 | GPT-5.6 Sol (high) aa/gpt-5.6-sol-high | OpenAI | 美国 | 15 | 60 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 57 | GPT-5.6 Sol (xhigh) aa/gpt-5.6-sol-xhigh | OpenAI | 美国 | 15 | 61 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 58 | Grok 4.5 (high) aa/grok-4.5-high | xAI | 美国 | 15 | 58 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 59 | Claude Opus 5 (low) aa/claude-opus-5-low | Anthropic | 美国 | 14 | 54 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 60 | Claude Opus 5 (max) aa/claude-opus-5-max | Anthropic | 美国 | 14 | 54 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 61 | Claude Opus 5 (xhigh) aa/claude-opus-5-xhigh | Anthropic | 美国 | 14 | 54 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 62 | GPT-5.6 Sol (low) aa/gpt-5.6-sol-low | OpenAI | 美国 | 14 | 57 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 63 | GPT-5.6 Sol (medium) aa/gpt-5.6-sol-medium | OpenAI | 美国 | 14 | 55 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 64 | gpt-5.6-terra gpt-5.6-terra | openai | 美国网关 | 14 | 132 tok/s 吞吐 / 延迟 | 探测AAOR | 查看佐证 | |
| 65 | Claude Opus 5 (high) aa/claude-opus-5-high | Anthropic | 美国 | 13 | 53 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 66 | Claude Opus 5 (medium) aa/claude-opus-5-medium | Anthropic | 美国 | 13 | 53 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 67 | deepseek-v4-flash deepseek-v4-flash | deepseek | 中国网关 | 13 | 3.5 tok/s 吞吐 / 延迟 | 探测OR快照OR | 查看佐证 | |
| 68 | GPT-5.6 Sol (Non-reasoning) aa/gpt-5.6-sol-non-reasoning | OpenAI | 美国 | 13 | 52 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 69 | codex-auto-review codex-auto-review | openai | 美国网关 | 12 | 2.1 tok/s 吞吐 / 延迟 | 探测 | 查看佐证 | |
| 70 | gemma4:12b gemma4:12b | 美国 | 12 | 35 tok/s 吞吐 / 延迟 | 探测AA快照 | 查看佐证 | ||
| 71 | gemma4:26b-a4b gemma4:26b-a4b | 美国 | 12 | 35 tok/s 吞吐 / 延迟 | 探测AA快照 | 查看佐证 | ||
| 72 | gpt-5.2 gpt-5.2 | openai | 美国网关 | 12 | 2.3 tok/s 吞吐 / 延迟 | 探测OR快照OR | 查看佐证 | |
| 73 | gpt-5.2-2025-12-11 gpt-5.2-2025-12-11 | openai | 美国网关 | 12 | 2 tok/s 吞吐 / 延迟 | 探测OR快照 | 查看佐证 | |
| 74 | gpt-5.2-chat-latest gpt-5.2-chat-latest | openai | 美国网关 | 12 | 2.3 tok/s 吞吐 / 延迟 | 探测OR快照 | 查看佐证 | |
| 75 | gpt-5.2-pro gpt-5.2-pro | openai | 美国网关 | 12 | 2.3 tok/s 吞吐 / 延迟 | 探测OR快照OR | 查看佐证 | |
| 76 | gpt-5.2-pro-2025-12-11 gpt-5.2-pro-2025-12-11 | openai | 美国网关 | 12 | 2.3 tok/s 吞吐 / 延迟 | 探测OR快照 | 查看佐证 | |
| 77 | gpt-5.3-codex-spark gpt-5.3-codex-spark | openai | 美国网关 | 12 | 2.3 tok/s 吞吐 / 延迟 | 探测OR快照 | 查看佐证 | |
| 78 | gpt-5.4-2026-03-05 gpt-5.4-2026-03-05 | openai | 美国网关 | 12 | 0.2 tok/s 吞吐 / 延迟 | 探测OR快照Arena | 查看佐证 | |
| 79 | gpt-5.5 gpt-5.5 | openai | 美国网关 | 12 | 0.4 tok/s 吞吐 / 延迟 | 探测AAOR | 查看佐证 | |
| 80 | gpt-5.6-sol gpt-5.6-sol | openai | 美国网关 | 12 | 66 tok/s 吞吐 / 延迟 | 探测AAOR | 查看佐证 | |
| 81 | Kimi K3 (low) aa/kimi-k3-low | Kimi | 中国 | 12 | 33 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 82 | Kimi K3 (max) aa/kimi-k3-max | Kimi | 中国 | 12 | 35 tok/s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 83 | LongCat 2.0 aa/longcat-2.0 | LongCat | — | 12 | 43 tok/s 吞吐 / 延迟 | AA快照站外对照 | 查看佐证 | |
| 84 | Claude Sonnet 4.6 (Non-reasoning, Low Effort) aa/claude-sonnet-4.6-non-reasoning-low-effort | Anthropic | 美国 | 0 | 42.00s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | |
| 85 | Gemini 3.5 Flash (medium) aa/gemini-3.5-flash-medium | 美国 | 0 | 153.00s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | ||
| 86 | Gemini 3.5 Flash (minimal) aa/gemini-3.5-flash-minimal | 美国 | 0 | 153.00s 吞吐 / 延迟 | AA快照站外对照Arena | 查看佐证 | ||
| 87 | GPT-5.3 Codex (xhigh) aa/gpt-5.3-codex-xhigh | OpenAI | 美国 | 0 | 114.00s 吞吐 / 延迟 | AA快照站外对照 | 查看佐证 | |
| 88 | o3 aa/o3 | OpenAI | 美国 | 0 | 115.00s 吞吐 / 延迟 | AA快照站外对照 | 查看佐证 | |
| 89 | Qwen3.5 Omni Plus aa/qwen3.5-omni-plus | Alibaba | 中国 | 0 | 54.00s 吞吐 / 延迟 | AA快照站外对照 | 查看佐证 |
启发式维度(中文/英文/OCR/软件等)在无官方公开 bench 时由厂商归属、模态与关联模型热度估算,仅供选型参考; 客观能力以 AA 智力/代码/Agent 与本站实测为准。交叉验证: 用量榜 · 模型目录 · 实验室。
관련 도구
Clavue CLI / imux IDE / clavue-2.1
Clavue · CLI 与 Agent 平台
CLI / GUI Agent 运行时、设备登录、会员额度与 OpenAI 兼容 API(api.clavue.com)。开发脚本、CI 与本地工具一条链路。
打开 Clavue ↗imux · 原生 macOS AI IDE
Clavue 平台的原生 IDE:多 Agent 分屏、Ghostty 级终端、Agent Chat、浏览器自动化与 Supervisor——不是又一个 Electron 壳。
了解 imux ↗Clavue 2.1 · 产品级大模型
旗舰模型 clavue-2.1(及 fast / pro / rev):适合复杂推理与长程 Agent 循环。Chat、imux、API 共用会员额度。
查看模型 ↗