Recursive Flint 40B MoE 本地代码模型发布

# Recursive Flint 40B MoE 本地代码模型发布

Recursive 发布的 Flint 40B MoE 本地代码模型是一款专为编码代理设计的开源权重模型，由前 DeepMind 研究员主导的 startup 研发而成。它采用稀疏架构，仅激活约 2.5B 参数，却能在消费级硬件（如 M4 Pro Mac 或 64GB RTX GPU）上实现 125+ tokens/s 的推理速度，适合需要离线运行 coding agents 的开发者。

你适用场景包括：本地部署 AI 编码助手、构建自定义 coding agents、避免 API Token 成本、追求数据隐私或完全离线环境。决策时优先考虑你的硬件（48GB+ 显存）和任务类型（复杂项目建议分步处理），对比 Claude Code 或 OpenAI 的云服务成本与延迟。

Flint 核心亮点

Flint 是 Recursive 的首款公开模型，参数规模为 40B（总参数），活跃参数仅 2.5B。架构选择由内部 Eureka Machine 自动化完成，支持最大上下文 262K tokens（推荐上限 256K）。它在多个编码基准上表现突出，尤其在 agentic 任务上超越同类 MoE 模型。

运行环境支持 llama.cpp、Ollama、LM Studio、vLLM、SGLang，以及公司自研 rec 引擎。Apache 2.0 开源权重可在 Hugging Face 免费获取，无需付费订阅即可本地运行。

部署实操指南

1. 准备硬件：至少 48GB 显存（推荐 64GB+ 以支持完整上下文）。
2. 下载权重：访问 Hugging Face 页面，下载 flint 量化版本（4-bit NVFP4，约 23GB 磁盘占用）。
3. 安装运行时：通过 Ollama ollama run flint:40b-a2b 或 vLLM 启动服务。
4. 配置推理：设置 batch size 和 context 为实际需求，避免过长导致内存溢出。
5. 测试代理：用 Cursor 或 Cursor-like 工具集成本地服务，输入编码任务观察响应速度。

重要说明：模型为开源，具体推理速度和基准以官方挂牌页或硬件实测为准。Eureka Machine 自动化了架构、量化与内核优化，但独立验证结果仍在进行中。

运行参数对比表

数据来源：Recursive 官方及 Ollama/HF 仓库。实际性能受硬件、量化级别、上下文长度影响。

与传统 API 模型的对比

Flint 在速度和成本上对本地部署优势明显，尤其适合高频编码任务。

工程实践建议

• 集成 Cursor：通过本地 API 包装，将 Flint 作为 Cursor 的后端模型，实现无缝切换。
• 优化策略：使用 vLLM 启用连续批处理；结合 4-bit 量化后内存占用更低；分步任务处理提升复杂项目成功率。
• 与已有生态结合：配合 Ollama 快速启动服务，或通过 GrokCode API 中转工具实现多模型路由。

风险与边界

本地部署模型虽完全离线，但仍受硬件限制、量化精度损失和任务复杂度影响。复杂编码项目可能需要人工干预或分拆任务；Eureka Machine 自动化程度虽高，但尚未证明全自动自我迭代。推荐从简单任务开始验证。以上内容仅供参考，非法律或专业意见，以官方公告和硬件实测为准。

延伸阅读

• API 中转工具详解
• 本地部署最佳实践
• 模型天梯排行榜
• 开源模型仓库

English summary

Recursive has released Flint, a 40B-parameter Mixture-of-Experts model optimized for local coding agents. With only 2.5B active parameters, it delivers strong performance on benchmarks like SWE-Bench Verified while running at 125+ tokens per second on an M4 Pro Mac or over 150 tokens per second on an RTX 64GB GPU. The model ships with open Apache 2.0 weights, supports up to 262K context, and can be run locally via Ollama, vLLM, or llama.cpp. It was largely developed using Recursive’s automated Eureka Machine system in under four months. Ideal for developers seeking offline, cost-free coding agents without API dependencies. While impressive, performance on very complex tasks may still benefit from human oversight and task decomposition. Check official sources and hardware compatibility for the latest details.