小米开源首个推理大模型MiMo,性能超越多款主流模型
2025-04-30 20:45:46
  • 0
  • 0
  • 0

来源: 网易科技报道

4月30日,小米开源其首个推理大模型Xiaomi MiMo。据介绍,模型支持消费级GPU部署,推理速度相比同规模模型提升约17%。

据介绍,MiMo-7B-RL模型在AIME 24-25与LiveCodeBench v5公开测评中,表现优于OpenAI闭源模型o1-mini及阿里Qwen开源模型QwQ-32B-Preview,参数量仅为前者的一小部分。

据悉,该系列模型由小米新组建的大模型Core团队开发,共包含基础模型、SFT模型及两种强化学习版本,现已全部在Hugging Face平台开源,采用Apache 2.0协议授权。

据介绍,MiMo模型的关键技术在于预训练与后训练的联动策略。预训练阶段基于200B tokens的高密度推理语料,采用三阶段渐进式训练方法,总训练量达25T tokens,增强逻辑抽象能力。

后训练阶段则引入“按题目难度动态调整”的奖励机制,并结合数据重采样策略与自研的Seamless Rollout系统,将强化学习效率提升2.29倍。 

 
最新文章
相关阅读