当前位置: 首页 » 资讯 » 新零售 » 正文

小米首个推理大模型开源 数学与代码测评超越OpenAI

IP属地 北京 编辑:任飞扬 砍柴网 时间:2025-05-16 18:06:11

4月30日,小米公司于“Xiaomi MiMo”公众号正式宣布开源其首个专注于推理能力的大模型「Xiaomi MiMo」。小米官方表示,该模型以7B(70亿)参数规模,在数学推理(AIME 24-25)和代码竞赛(LiveCodeBench v5)等公开测评中表现优异,超越OpenAI的闭源模型o1-mini及阿里Qwen2.5-32B等更大规模的开源模型。

小米技术团队表示,MiMo的核心突破在于预训练与后训练阶段的协同优化。在预训练阶段,模型通过挖掘高质量推理语料并合成约2000亿tokens专项数据,采用三阶段渐进训练策略,累计训练量达25万亿tokens。

后训练阶段则引入创新强化学习技术,包括自研的"Test Difficulty Driven Reward"算法和"Easy Data Re-Sampling"策略,有效提升模型在复杂任务中的稳定性。技术团队还开发了"Seamless Rollout"系统,使训练效率提升2.29倍,验证速度加快1.96倍。

值得注意的是,小米官方表示,MiMo-7B在相同强化学习训练数据下,数学与代码领域的表现显著优于当前业界广泛使用的DeepSeek-R1-Distill-7B和Qwen2.5-32B模型。

目前,小米已在HuggingFace平台开源MiMo-7B全系列4个模型,并发布详细技术报告。

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。

全站最新