NVIDIA Nemotron 3.5 Super VL 120B MoE部署EKS
NVIDIA Nemotron 3.5 Super VL is a 120B-parameter mixture-of-experts model that pairs reasoning and tool use with multimodal understanding. This post explores its architecture and u
正文為 SEO 深度以中文為主；上方要點已本地化。可用語言切換與深鏈進行全球導航。
# NVIDIA Nemotron 3.5 Super VL 120B MoE部署EKS
NVIDIA Nemotron 3.5 Super VL 120B MoE 是一款支持文本、图像、文档和视频理解的开放多模态模型，激活参数约12B，上下文长度最高1M token。它特别适合构建具备推理、工具调用和视觉分析能力的agentic AI工作流。适合拥有AWS EKS集群或SageMaker HyperPod资源的团队、需要多模态agent服务或本地化部署的组织。
决策时，优先对比部署架构、GPU需求和性能指标。相比纯云端API，EKS部署能提供完整控制权，但需要提前规划算力并考虑NVFP4量化优化。建议先访问AWS官方博客确认最新配置，再对照GrokCode官方API页面验证接入方式。
模型架构与核心特性
NVIDIA Nemotron 3.5 Super VL 采用混合Mamba-2、MoE和注意力层架构，搭配RADIO视觉编码器。总参数120B，推理时仅激活12B，计算成本与更小型模型相当，但可保留完整权重。
关键优势包括：
- 支持多模态输入（文本+图像+文档+视频），输出仅限文本。
- 上下文长度达1M token，Mamba-2层保持固定状态，内存不随序列增长而激增。
- 内置递归多令牌预测（MTP）头，开启后可加速投机性解码。
- 支持BF16和NVFP4两种精度，NVFP4更节省显存。
- 在Hermes Bench上达63.44%，LangChain agent评估87.05%，CharXiv图表推理80.8%。
这些特性使其特别适合agentic AI场景，如代码验证、网页研究、文档总结和视频分析。
部署架构与资源配置
部署推荐在Amazon EKS、EKS Auto Mode或SageMaker HyperPod EKS上运行，通过NVIDIA Dynamo聚合服务或vLLM实现推理。参考实现由AWS提供，包含Kubernetes清单、模型下载、EFA互联和监控脚本。
最小GPU配置（vLLM）： | GPU型号 | BF16 最小卡数 | NVFP4 最小卡数 | |-------------|---------------|----------------| | B200/GB200 | 8 | 2 | | B300/GB300 | 4 | 1 | | H200 | 8 | 4 | | H100 | 16 | 8 |
架构特点：
- CPU节点运行系统和测试Pod。
- GPU节点运行模型推理。
- 共享FSx for Lustre存储权重文件。
- EFA网卡实现GPU间高速互联。
- 视情况对prefill和decode阶段进行节点分离。
部署步骤（AWS官方参考实现）
- 准备AWS账户并创建EKS集群（EKS Auto Mode可简化GPU管理）。
- 下载模型权重和容器镜像（通过Amazon ECR）。
- 应用Kubernetes清单部署服务（包含NVIDIA Dynamo或vLLM配置）。
- 使用NCCL all-reduce微基准验证集群互联。
- 运行NVIDIA aiperf工具进行性能测试和并发压力测试。
- 优化配置（如聚合 vs 分离模式、精度选择）以达到TTFT和ITL目标。
完整参考实现已在AWS do-eks项目中提供，可直接下载并适配其他NVIDIA Nemotron模型。建议在实际部署前阅读官方博客确认集群类型和版本兼容性。
与GrokCode官方API的对比与融合建议
GrokCode提供API中转服务，适用于需要快速接入的场景。通过官方API页面可查看当前支持的模型接入方式。EKS部署适合对性能、隐私和自定义要求较高的企业，而GrokCode中转则更注重便捷性和倍率优化。
对比表：
| 维度 | EKS/SageMaker部署 | GrokCode API中转 |
|---|---|---|
| 控制权 | 完全（本地权重） | 托管服务 |
| 成本 | 硬件+电费（长期高） | 按token计费（弹性） |
| 多模态支持 | 原生优化 | 通过代理无缝调用 |
| 接入难度 | 需运维团队 | 一键配置 |
| 适用场景 | 大规模agentic工作流 | 中小团队快速验证 |
建议将GrokCode API作为辅助工具，与EKS部署搭配使用，实现成本和灵活性的平衡。
延伸阅读
- 模型天梯：查看更多开源MoE模型性能数据。
- 本地部署实验室：参考vLLM本地化部署最佳实践。
- API中转：了解API中转如何提升推理效率。
- 官方API：查看GrokCode支持的模型接入详情。
- 工具页：查看vLLM等推理工具的详细配置。
风险与边界
部署EKS或SageMaker时需注意以下边界：
- GPU显存和互联带宽是硬性限制，超配额可能导致服务不可用。
- 模型权重下载和镜像拉取会产生初始带宽成本。
- 多模态推理（图像/视频）吞吐量通常低于纯文本，需针对性调优。
免责声明：本文内容仅供技术参考，部署涉及的AWS服务定价、可用性及合规性以AWS官方页面实时数据为准。GrokCode不提供法律意见、技术支持或保证任何具体结果。请根据自身需求评估风险，并优先参考AWS官方文档和最新基准。
English summary
NVIDIA Nemotron 3.5 Super VL 120B MoE is a powerful open multimodal model for agentic AI workflows combining reasoning, tool use, and visual understanding. Deployed on AWS EKS or SageMaker HyperPod EKS using vLLM or NVIDIA Dynamo, it delivers high performance with full control over weights and infrastructure. Minimum GPU requirements are low with NVFP4 quantization, making it suitable for cost-sensitive production environments. The official AWS reference implementation provides complete Kubernetes manifests, benchmarking tools, and validation scripts for quick setup. GrokCode API service complements this by offering seamless token-level access for teams needing faster integration without managing clusters. Key trade-offs include higher upfront hardware costs for EKS versus pay-per-token pricing, but EKS wins for long-term scalability and customization. Always validate current AWS pricing and compatibility before deployment, as infrastructure requirements can evolve.
适用于 GrokCode 倍率榜。信息仅供参考，不构成购买、投资或法律意见。