小米开源首个推理大模型Xiaomi MiMo

as22

4月30日消息，今日，小米开源首个“为推理而生”的大模型 Xiaomi MiMo。

据了解，MiMo是来自全新成立不久的“小米大模型Core团队”的初步尝试。

在数学推理（AIME 24-25）和代码竞赛（LiveCodeBench v5）公开测评集上，MiMo仅用7B的参数规模，超越了OpenAI的闭源推理模型o1-mini和阿里 Qwen更大规模的开源推理模型QwQ-32B-Preview。



据悉，MiMo推理能力的提升，由预训练和后训练阶段中数据和算法等多层面的创新联合驱动。

预训练阶段核心是让模型见过更多推理模式，着重挖掘富推理语料，并合成约200B tokens推理数据，并进行了三阶段训练，逐步提升训练难度，总训练25T tokens。

后训练阶段构建高效稳定的强化学习算法和框架。在算法方面，提出Test Difficulty Driven Reward来缓解困难算法问题中的奖励稀疏问题，并引入Easy Data Re-Sampling策略，以稳定RL训练。框架方面，设计了Seamless Rollout系统，使得RL训练加速2.29倍，验证加速1.96倍。

据悉，MiMo-7B已在HuggingFace开源4个模型。

zeus

7B的数据，感觉比小爱强不到哪里去。。难评