小米发布新一代 MoE 大模型 MiMo-V2-Flash，助力 AGI 发展

JQR1

在今天的2025小米人车家全生态合作伙伴大会上，小米新任 Xiaomi MiMO 大模型负责人罗福莉首次亮相，正式发布了最新的 MoE（Mixture of Experts）大模型 ——MiMo-V2-Flash。这一全新的模型被认为是小米在实现人工通用智能(AGI)目标上的第二步。

罗福莉在社交媒体上详细介绍了 MiMo-V2-Flash 的技术架构。该模型采用了 Hybrid SWA 架构，这种设计既简单又优雅，并且在长上下文推理方面，表现明显优于其他线性注意力变体。值得一提的是，窗口大小128被认为是最佳选择，过大的窗口反而会降低模型性能。同时，固定的 KV 缓存设计提高了与现有基础设施的兼容性。

此外，罗福莉还谈到了一项关键技术 —— 多标记预测（MTP）。通过采用 MTP，模型在高效的强化学习(RL)中取得了显著的提升。即使在第一层以外，MTP 也只需要少量微调，就能实现较高的接受长度。三层 MTP 在编程任务中的表现更是突出，实现了接受长度大于3，并且速度提升约2.5倍，这有效解决了小批量 On-Policy RL 中的 GPU 空转问题。

在后训练阶段，小米采用了 Thinking Machine 提出的 On-Policy Distillation，旨在融合多个 RL 模型。通过这一方法，小米成功地在传统的 SFT 和 RL 流程中，计算量仅为其1/50的情况下达到了教师模型的性能。这一过程显示出学生模型不断进化的潜力，最终形成自我强化的闭环。

罗福莉表示，团队在短短几个月内将这些理念转化为可上线的生产系统，展现了非凡的效率与创造力。

来源：AIbase