当前位置: 首页 » 资讯 » 新零售 » 正文

小红书开源首个大模型,11万亿非合成训练数据

IP属地 北京 编辑:江紫萱 金融界 时间:2025-06-09 07:40:20

国内著名社交平台小红书,开源了首个大模型——dots.llm1。dots.llm1是一个1420亿参数的专家混合模型,在推理过程中仅激活140亿参数,能保持高性能的同时大幅度降低训练和推理成本。dots.llm1最大特色是使用了11.2万亿token的非合成高质量训练数据,这在现阶段的开源大模型中非常罕见。所以,在中文测试中dots.llm1的性能非常强,以91.3的平均分超过了DeepSeek开源的V2、V3和阿里开源的Qwen2.5 32B和72B。

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。

全站最新