云领未来 · 智驭灵韵 服务热线 021-62280217 中文 | EN

中国AI推理数据量首超训练 日均词元调用超175万亿

事件概述

在2026新域新质创新大赛期间,中国电子信息产业发展研究院发布《新域新质创新发展十大趋势》指出,截至2026年6月,我国日均词元(token)调用量已超过175万亿,较2024年初增长1000多倍;同时,中国AI推理数据量首次超过训练数据量,标志着大模型应用从”训练主导”正式迈入”推理主导”阶段。报告还显示,顶尖大模型的迭代周期已从过去的几个月缩短到几周甚至几天。

这一拐点的出现,意味着算力需求结构正在发生根本性变化——推理侧的并发、延迟与成本,正在取代训练侧的峰值算力,成为产业链竞争的新主场。

背景与解读

一、技术背景与演进脉络

大模型发展大致经历”预训练 scaling—指令微调—推理规模化”三个阶段。2023至2024年,行业竞争焦点在参数规模与训练集群;进入2026年,随着开源模型下载量、衍生应用数量快速攀升,模型能力真正下沉到千行百业的应用层,推理请求呈指数级爆发,推动数据重心从训练转向推理。

二、核心驱动与底层机制

推理数据量反超训练,源于三重驱动:一是智能体(Agent)常态化运行,单任务的多步推理与工具调用大幅拉长token消耗;二是端侧与边缘侧模型能力提升,将推理从云端向设备下沉,放大调用频次;三是AI原生应用(搜索、办公、客服、编程)的用户规模扩张。底层机制上,推理对”高并发、低时延、低成本”的要求,倒逼算力架构从训练优先转向训推一体与推理专用。

三、市场格局与产业链影响

推理主导时代,算力芯片、推理引擎、模型压缩与调度平台价值凸显。阿里真武M890超节点、天数智芯彤央TY1200端侧算力终端等产品的密集亮相,反映”云边端分层算力”正成为主流范式。与此同时,出口管制向算力供应链下游传导,多云与国产芯片备份方案的必要性上升。

影响与趋势

短期看,推理算力需求将维持高景气,带动推理芯片、高速互联与液冷基础设施投资;中期看,模型迭代周期压缩到数周,将加速应用层创新与行业洗牌。关键观察变量包括:推理token成本的下降速度、端侧模型的渗透率、以及AI Agent商业化的付费意愿。

对产业参与者的启示

对算力与芯片厂商,应围绕”高并发推理、低时延、低功耗”重构产品路线,重视端侧与边缘侧布局;对应用开发者,可借推理成本下降将AI嵌入核心业务流程,而非停留在聊天入口;对企业IT决策者,宜评估”云训边推”的混合部署,以数据安全与成本约束平衡算力投入。

本栏目内容为行业信息整理与技术观点分享,不构成任何投资建议。