云领未来 · 智驭灵韵 服务热线 021-62280217 中文 | EN

美团开源LongCat-2.5 万亿参数模型适配国产算力

事件概述

11月9日至10日,美团正式以 MIT 协议开源长序列原生多模态大模型 LongCat-2.5,支持商用推理部署与二次训练,无需额外授权。模型总参数达1.6万亿,每个词元激活约480亿参数(典型稀疏 MoE 架构),支持最长100万词元的上下文长度,定位面向长程智能体任务,在复杂代码库开发、完整项目构建、Visual Coding 与专业办公场景具备端到端交付能力。模型权重已上传 Hugging Face,并配套技术博客与线上调用平台。

最具产业意义的是其对国产算力芯片的深度协同优化:在单卡显存不足80GB的约束下,通过 FSDP 双重分片、混合词表并行、MoonEP 动态专家复制与零拷贝通信,将长序列监督微调的单卡吞吐量较 DDP 基线提升86%,为社区在国产加速器上复现与二次开发提供可参考的基础设施路径。

背景与解读

一、技术背景与演进脉络

开源大模型竞争正从“参数规模”转向“工程落地与硬件适配”。当前主流开源模型多停留在128K—256K上下文,而智能体执行复杂任务需在长上下文中保持状态一致、工具调用记忆与跨模态对齐,百万上下文是支撑“长程”能力的基础。LongCat-2.5 选择原生多模态路线,将视觉信号转为多层次离散词元与文本共用主干,省去外挂视觉模块,降低部署复杂度。

二、核心驱动与底层机制

推理采用 W4A4 量化(专家权重与激活同步压缩至4比特,依托原生 INT4 矩阵乘法单元执行),在保持下游任务表现的同时显著降低单位 token 成本。训练侧引入大量真实长程任务轨迹,并以“部分回滚异步训练”支持长任务中断后继续执行;用大语言模型担任轨迹评判员,对冗余推理与过度思辨施加约束,使模型聚焦任务实质达成。

三、市场格局与产业链影响

这是首个为国产算力专门调优的万亿级开源模型,其意义在于把“模型层创新”与“国产硬件可用到好用”的跨越直接挂钩。对国产 AI 加速器厂商,LongCat-2.5 提供了可验证的适配范式与真实负载;对应用开发者,MIT 协议降低了商用门槛;对算力运营商,长序列训练效率提升意味着单机可承载更大 batch,改善单位算力收益。

影响与趋势

短期,LongCat-2.5 将带动一批基于国产算力的 Agent 应用与教育、办公场景落地;中期,MoE + 百万上下文 + 低比特推理的组合或成开源旗舰标配;长期,模型与国产硬件的协同优化将削弱对海外加速卡的单一依赖。关键观察变量:国产加速器实际部署规模、社区二次训练活跃度、W4A4 在更多模型的泛化效果。

对产业参与者的启示

AI 应用企业应评估在国产算力上部署 LongCat-2.5 的可行性,把握 MIT 协议的商用红利;国产芯片厂商应主动与开源大模型对齐算子与并行策略,缩短适配周期;开发者可借助其长上下文能力构建“代码库级”智能体。需注意的是,开源不等于零成本,长序列推理对显存与带宽的硬约束仍需在工程上精打细算。

本栏目内容为行业信息整理与技术观点分享,不构成任何投资建议。