|
MiniMax正式推出开源M3.1 Flash模型权重,总参数量达428B,实际激活参数量仅23B。该模型上线后72小时内,真实用户累计处理Token量突破100万亿,这一亮眼数据的背后,是团队针对模型落地全链路打造的多项针对性推理优化方案:将前三层全注意力替换为稀疏注意力,大幅降低了注意力模块的算力消耗;通过量化感知训练将路由MoE专家迁移至W4A4,在几乎不损失模型效果的前提下压缩了模型的运行资源占用;搭配功耗感知调度机制对算力资源进行精细分配,让每一份算力都能得到最大化利用,多重优化叠加之下,模型的整体推理效率得到了跨越式提升。 更重要的是,这款模型在正式发布首日就联合十余家芯片厂商、六大云推理平台完成了接入适配,覆盖了当前国内主流的算力供给渠道,同时主流推理框架与开源社区也同步启动了全维度适配工作,从底层硬件到上层应用的全链路适配布局,直接拉低了高参数量大模型的落地门槛,让更多中小开发者和行业用户无需承担过高的算力采购成本,就能便捷调用到高性能的大模型能力,为大模型技术在各垂直领域的普惠化落地扫清了核心障碍。 |
AI INSIGHT
MiniMax开源M3.1 Flash 428B总参72小时处理超百万亿Token
AI 摘要
MiniMax正式推出开源M3.1 Flash模型权重,总参数量达428B,实际激活参数量仅23B。该模型上线后72小时内,真实用户累计处理Token量突破100万亿,这一亮眼数据的背后,是团队针对模型落地全链路打造的多项针对性推理优化方案:将前三层全注意力替换为稀疏注意力,大幅降低了注意力模块的算力消耗;通过量化感知训练将路由MoE专家迁移至W4A4,在几乎不损失模型效果的前提下