|
微软刚完成新一代基础模型MAI-Base-2的预训练,总参数达2.8T,同时把活跃参数精准控制在80B区间,兼顾能力上限与运行响应效率。整个训练动用6000块英伟达GB200 GPU组成专属集群,仅用38天就跑完全流程,平均浮点算力利用率21%,核心环节有效吞吐量达89%,实测算力效率是DeepSeek-V4-Pro-Base的4到12倍。 这背后依托规模化流程优化、模型与基础设施协同设计、数据规模化三重核心技术支撑,微软已经同步启动下一代MAI-Base-3的前期筹备。这一步几乎锁死大模型预训练赛道的效率竞争门槛,直接把行业预训练算力利用标准拉高数个层级,为后续超大规模基础模型的低成本落地铺出了全新技术路径。 |
AI INSIGHT
微软完成2.8T参数大模型预训练 算力效率超DeepSeek数倍
AI 摘要
微软刚完成新一代基础模型MAI-Base-2的预训练,总参数达2.8T,同时把活跃参数精准控制在80B区间,兼顾能力上限与运行响应效率。整个训练动用6000块英伟达GB200 GPU组成专属集群,仅用38天就跑完全流程,平均浮点算力利用率21%,核心环节有效吞吐量达89%,实测算力效率是DeepSeek-V4-Pro-Base的4到12倍。这背后依托规模化流程优化、模型与基础设施协