云领未来 · 智驭灵韵 服务热线 021-62280217 中文 | EN

AI巨头罕见达成减速共识 大模型训练进入十万卡时代

事件概述

据报道,多家前沿 AI 实验室就”放缓超大规模训练”形成罕见共识,标志着行业竞争焦点从”堆算力、冲参数”转向效率与成本博弈。与此同时,大模型训练已普遍进入”十万卡”集群时代——单次训练动辄消耗数万至十万张加速卡,算力军备竞赛的边际收益正在被重新审视。

从产业意义看,这既是对 Scaling Law(缩放定律)边际递减的务实回应,也折射出能源、成本与监管三重天花板的逼近。当”更大”不再自动等于”更强”,产业资源将更多流向算法效率、数据质量与推理优化。

背景与解读

一、技术背景与演进脉络

大模型训练依赖数据并行、张量并行、流水线并行与 FSDP 等组合策略,在十万卡规模上,集体通信(all-reduce/all-gather)、容错(掉队者缓解、高频检查点)与调度稳定性成为系统工程难题。演进主线正从”暴力缩放”转向”聪明缩放”:MoE 稀疏化、知识蒸馏、强化学习后训练(RLHF/RLVR)与更优数据配比,用更少算力追求更优能力。

二、核心驱动与底层机制

减速共识的底层机制有三:其一,单纯扩大参数与数据的回报递减,且受高质量语料枯竭制约;其二,单次训练成本高达数亿乃至更高,能源与财务天花板显现;其三,监管与安全风险推动”负责任缩放”。效率博弈的核心,是把竞争从”谁的集群大”转向”谁的单位算力产出高”——这恰恰是系统工程与数据工程的较量。

三、产业生态与竞争格局影响

格局将分化为”前沿超大模型”与”高效/开放模型”两派。前者维持能力天花板,后者以更低成本覆盖绝大多数应用,二者互补。开放权重的普及,正把”模型能力”从少数实验室垄断变为可本地部署的公共品,倒逼闭源方在性价比上证明溢价。

影响与趋势

短期看,行业会更重视训练效率与推理成本;中长期,数据质量、后训练与 Agent 能力将比参数规模更决定产品体验。关键变量:能源价格与供给、高质量数据可及性,以及各国对前沿训练的监管尺度。

对产业参与者的启示

  • 技术层面:把投入从”买更多卡”转向”让每张卡更高效”——投资并行策略、通信压缩与数据清洗管线。
  • 商业层面:企业落地不必追逐最大模型,选”够用且可负担”的模型,关注 TCO 与推理延迟。
  • 风险层面:警惕在 Scaling 上过度下注导致的 capex 沉没;同时关注跨境算力治理带来的合规不确定性。

本栏目内容为行业信息整理与技术观点分享,不构成任何投资建议。