|
面壁智能推出新一代端侧多模态大模型MiniCPM-V 4.7,覆盖35B-A3B与1B两种规格,前者是家族首款MoE架构模型。在iPhone 17 Pro Max上运行仅占3GB内存,解码速度突破13token/s,性能全面对标甚至超过同参数级通义千问系列模型。 这背后用到了自研LES前瞻专家调度推理加速技术,实现端侧无损运行,同时配套开源Self-Replay Fine-Tuning微调方案。模型全平台兼容,覆盖iOS、安卓、鸿蒙系统,适配Intel、AMD、Arm、瑞芯微、后摩等主流芯片,直接拉低端侧部署门槛。 |
AI INSIGHT
面壁智能新大模型发布 3GB内存跑出超13token/s
AI 摘要
面壁智能推出新一代端侧多模态大模型MiniCPM-V 4.7,覆盖35B-A3B与1B两种规格,前者是家族首款MoE架构模型。在iPhone 17 Pro Max上运行仅占3GB内存,解码速度突破13token/s,性能全面对标甚至超过同参数级通义千问系列模型。这背后用到了自研LES前瞻专家调度推理加速技术,实现端侧无损运行,同时配套开源Self-Replay Fine-Tunin