Baidu ERNIE 5.5 Flash Base 280B MoE开源模型发布

# Baidu ERNIE 5.5 Flash Base 280B MoE开源模型发布

Baidu 最新发布的 ERNIE 5.5 Flash Base 是一款总参数 280B 的稀疏 MoE（Mixture of Experts）基础模型，已于 2026 年 11 月 5 日开源。此模型在预训练阶段仅激活 14B 参数，预训练数据规模达 33.5 万亿 tokens，上下文长度最高支持训练 128K，推理与微调可达 1M tokens。它是纯基座版本，没有内置的指令微调或后训练，开发者可根据自身需求进行适配。

此模型特别适合对大规模开源模型进行本地部署、算力规划以及开发高效推理服务的中转与模型天梯场景。相比传统稠密模型，它通过 MoE 架构显著降低激活参数成本，在推理时能以更低算力实现接近前沿的推理能力。实际决策时，需对比官方 Hugging Face 页面当日报份数据，并结合 vLLM 或 SGLang 等工具进行部署测试。

模型核心规格一览

数据来源于 Baidu 官方与 Hugging Face 页面，实际以当日挂牌信息为准。

架构亮点与技术细节

ERNIE 5.5 Flash Base 采用稀疏 MoE 结构，核心创新包括：

• Hybrid MLA + HCA Attention：37 层 Heavily Compressed Attention（HCA）+ 6 层 Multi-head Latent Attention（MLA），结合 DSA（Dynamic Sparse Attention），在可控 KV Cache 预算下实现长上下文推理。
• Multi-Router Latent MoE：多路由专家选择，专家维度减半处理，提升准确率同时保持低通信量。
• ECHO 机制：利用模型末层直接预测未来 token，支持内置推测解码。
• Manifold-constrained Hyper-Connections：加强层间信号传播，降低梯度消失风险。

这些设计让模型在推理时算力与内存占用远低于同规模稠密模型，特别适合本地部署环境下的高并发服务。

与开源模型的性能对比

在同等评估流水线下，ERNIE 5.5 Flash Base（280B-A14B）在多个基准上展现出竞争力：

数据基于 Baidu 官方统一评估流水线（图片来源：Baidu 技术博客）。实际推理性能还需结合具体硬件与量化策略测试。

部署与接入方法

该模型已支持主流开源推理框架，开发者可直接通过 Hugging Face 下载 FP8 或 BF16 权重后一键部署。

推荐部署路径（可执行步骤，参考站内工具页）：

• 通过 vLLM 启动（官方插件支持）：vllm serve baidu/ERNIE-5.5-Flash-Base --kv-cache-dtype fp8 --enable-expert-parallel --data-parallel-size 4 --max-model-len 131072
• 或 SGLang Docker 一键运行：docker run ... lmsysorg/sglang:dev-ernie-55-flash
• 后续可接入 GrokCode 提供的 API 中转工具，实现多模型路由与倍率优化。

具体部署示例与适配脚本详见本站 [本地部署指南](/tools/local-deploy)，支持快速迁移至生产环境。

风险与边界

本模型为纯基础预训练权重，开发者需自行决定后续微调方向与应用场景。部署时请确保 GPU 显存充足（通常需 4+ 张高配显卡），并注意量化策略对性能的影响。非官方账号切换、机器 ID 重置或会话号池等操作不在本文范畴，与本站无关。

非法律意见声明：以上内容仅供技术参考，不构成任何投资、法律或服务建议。实际使用请以官方公告及 Hugging Face 页面最新数据为准，本站不承担因模型使用带来的任何责任。

延伸阅读

• 模型天梯对比表
• API 中转接入文档
• 本地部署完整实践
• 官方开源模型列表
• vLLM 高效推理指南

English summary

Baidu released ERNIE 5.5 Flash Base, a 280B-parameter sparse MoE open-source foundation model pre-trained on 33.5 trillion tokens with only 14B active parameters per token. The model ships without any fine-tuning or post-training, giving developers full control to adapt it for their own use cases. It supports up to 1M token context and is optimized for efficient inference and long-context reasoning.

Ideal for developers building local LLM deployments, inference servers, or multi-model routing systems. It competes with similar-sized models like DeepSeek-V4-Flash-Base on benchmarks such as MMLU (93.3 vs 89.4) and HumanEval+ (82.3 Pass@1), while offering significantly lower activation costs thanks to its MoE design.

Available in FP8 and BF16 on Hugging Face, it supports direct deployment with vLLM or SGLang. Check the official page for the latest weights and benchmarks:

This model expands the open-source frontier for cost-effective large-scale AI inference, especially useful for local setups and API transit scenarios. Always verify performance on your specific hardware and workload.