云领未来 · 智驭灵韵 服务热线 021-62280217 中文 | EN

端侧开源小模型密集落地 算力效率成竞争焦点

事件概述

近日,端侧与开源小模型领域密集出现多项进展,反映 AI 竞争焦点正从模型参数规模转向算力效率与工程化落地。商汤开源约 90 亿参数的 SenseNova Loop-9B,采用”层循环”(layer looping)架构,让同一组模块重复运行以换取小模型在难样本上的额外算力,支持最高 512K 上下文,是”以计算换参数”路线的代表性落地。

华为开源面向本地推理的模型无关量化框架 MACaQ,支持文本、图像、视频、音频多模态,仅用 32.5GB 显存即可在 64 分钟内量化 1220 亿参数模型;经 W4A4 量化后,在 vLLM 中预填充提速 2.33 倍、解码提速 2.58 倍。欧洲云厂商 OVHcloud 发布其称为欧洲首个从零训练的开源小模型 Olala v1.0 mini 7A1B,采用 Mamba-3 与注意力混合的 MoE 架构,总参数 68 亿、激活约 10 亿,以 Apache 2.0 许可开源。

背景与解读

一、技术背景与演进脉络

过去两年,大模型竞赛以参数规模和通用能力为主线;当推理调用量爆发、成本压力上升,行业开始把重心转向”跑得快、跑得省、可私有部署”。层循环、量化、混合架构等技术路径,本质上都是在有限硬件条件下提升单位算力产出:层循环用时间换空间,量化用精度换吞吐,稀疏激活用结构换效率。这些进展共同指向一个趋势——模型能力不再只由参数量决定,工程优化正成为新的竞争力来源。

二、核心驱动与底层机制

端侧与开源小模型的推进,受三重因素驱动。其一是成本:推理数据量快速增长,压低单次调用成本成为商业化的关键。其二是自主可控:国产算力与本地部署需求上升,要求模型能在受限硬件与数据合规前提下运行,商汤与华为的开源动作均兼容国产生态与本地私有化。其三是主权 AI:OVHcloud 强调模型在欧盟公共超算上从零训练,体现欧洲对”数字主权”和本土模型能力的诉求。

三、市场格局与产业链影响

与端侧模型呼应,算力基础设施也在加速落地。据报道,中国首个基于昇腾 950DT 芯片的 AI 算力集群在中国电信汕头海底光缆登陆站投运,投资约 1.5 亿美元,面向海外用户提供”token 出口”服务,海外日需求已超 3 万亿词元,为国产推理芯片集群化出海提供样本。开源工具链与国产算力的协同,正在降低模型部署门槛,也重塑从芯片、框架到应用的产业分工。

影响与趋势

短期看,开源小模型与量化工具将持续降低推理成本,加速 AI 在端侧设备、私有化场景的渗透。中期看,随着端侧算力提升与工具链成熟,“云—边—端”协同的推理架构有望成为主流,模型选择更看重硬件适配、能耗与合规。开源生态的工程化程度,将成为衡量厂商影响力的重要维度。

对产业参与者的启示

应用开发者可重点关注开源小模型在特定场景的性价比,结合量化工具评估其在自有硬件上的性能与精度权衡,避免盲目追求大参数。终端与芯片厂商应加强与开源框架的适配,抢占端侧推理生态位。企业用户在隐私合规要求高的场景,可优先评估本地部署方案,把数据主权与长期成本纳入选型标准。

本栏目内容为行业信息整理与技术观点分享,不构成任何投资建议。