微软2.8万亿参数模型:训练效率12倍于DeepSeek

导语

微软正在把”摆脱对 OpenAI 的依赖”从口号变成参数。10 月 15 日,微软 AI 发布实验室笔记《Frontier Pre-training at Microsoft AI》,宣布完成新一代基础大模型 MAI-Base-2 的预训练:总参数 2.8 万亿,采用混合专家(MoE)架构,实际激活参数 800 亿。微软宣称,其预训练算力效率是开源基座模型中表现最强的 DeepSeek-V4-Pro-Base 的 4 到 12 倍。更引人注目的是,微软 AI 首席执行官穆斯塔法·苏莱曼在同日举行的员工大会上放话:MAI-Base-2 的表现超过了驱动 GPT-5.6 的 OpenAI 模型,而只用了后者约四分之一的算力。

MAI-Base-2:微软迄今最大的自研模型

根据微软公布的训练细节,MAI-Base-2 的预训练在今年 8 月至 9 月完成,历时 38 天,动用了1.6万块英伟达 GB200 GPU,训练数据的独立 token 总量达到约 50 万亿,比今年 6 月发布的上一代 MAI-Base-1 增长了约 36%。

效率数字是这次发布的核心卖点。微软表示,在自家保留测试集上,MAI-Base-2 的表现超过了所有接受测试的开源权重模型;与最强的开源基座模型 DeepSeek-V4-Pro-Base 相比,其预训练 FLOPs 效率高出 4 到 12 倍。苏莱曼在员工大会上给出了更直白的说法:要达到相当的效果,微软用的计算量只有 DeepSeek 的约十二分之一。

在工程层面,微软透露了三个技术点。一是平均模型 FLOPs 利用率(MFU)达到 21%,集群整体 goodput 为 89%,1.6 万卡规模的训练系统维持了高稳定性。二是团队引入名为”source scaling”的方法,能从小规模实验准确预测放大到 2.8 万亿参数后的表现。三是训练向原生视觉领域扩展,图像相关数据占到总训练数据的 18%。

一个微妙的信号:数据血缘

微软在博客中强调数据血缘(data provenance):MAI-Base-2 的预训练建立在”有机数据”之上,没有从其他 AI 系统中蒸馏知识。潜台词很清楚——微软拥有完整、可追溯的训练数据链条,因此可以将模型权重授权给信任的企业伙伴,通过 Azure 的 Foundry 平台对外提供。”拥有端到端的模型管线”,让微软得以把模型与基础设施协同调优,先在自家产品里做到最低成本的最好性能,再服务 Foundry 的企业客户。

MAI-Base-2 正在进行后训练阶段,

苏莱曼的”叫板”:瞄准的其实是 OpenAI

如果说官方博客的措辞还算克制,苏莱曼在内部员工大会上的表态更直接。据多家媒体报道,他告诉员工,微软的这个新模型”比当前驱动 GPT-5.6 的模型更强”,而训练只用了 OpenAI 约四分之一的算力。微软还私下把 MAI-Base-2 与 OpenAI 的多个模型做了对比测试,在理解信息、预测模式等能力评估上,微软的模型占了上风。

这番话的背景值得玩味。微软至今仍是 OpenAI 最大的财务支持者,累计投资超过 100 亿美元,所持股份价值预计超过 1000 亿美元;Azure 的企业客户和自家 Copilot 产品线也仍在使用 OpenAI 的模型。但过去一年,两家公司的关系发生了明显变化:微软一面自研模型,一面与 Anthropic 展开合作,被外界解读为在降低对 OpenAI 的运营依赖。

不过需要指出的是,这些对比都基于微软自己的保留测试集和内部私有测试,第三方尚无独立验证。12 倍、4 倍、四分之一——这些数字更像是微软效率路线的宣传弹药,而非盖棺定论。

效率竞赛正在取代”堆卡竞赛”

MAI-Base-2 的看点不在于 2.8 万亿这个数字本身,而在于微软选择的主战场:预训练效率。苏莱曼近几个月反复向外界灌输一个观点——自 2010 年以来,前沿训练算力增长了约一万亿倍,而过去两年推理成本下降了 300 倍。

这条路线与 DeepSeek 去年初掀起的效率风暴一脉相承:模型的竞争正从”谁的卡多”转向”谁的数据、架构和基础设施调优得更好”。而 DeepSeek 再次成为被对标的”效率标杆”——

展望:微软的”去 OpenAI 化”进入深水区

短期看,MAI-Base-2 还处在预训练完成、后训练进行中的阶段,距离真正进入产品还有距离。但路线图已经很清晰:今年 6 月发布的 MAI-Thinking-1 验证了”自研基座加后训练”的打法,MAI-Base-2 把基座能力再推高一截,MAI-Base-3 已经在路上。

更长远的悬念在于微软与 OpenAI 的关系走向。一个能提供”可追溯数据血缘”的自研模型,加上 Foundry 的授权通道,意味着除了 OpenAI 之外,多了一个可谈判、可替代的选项。

发表评论