6月27日,腾讯公开发布混元大模型家族迎来新成员——混元-A13B模型,并宣布全面开源。
据官方消息称,混元-A13B模型极端条件下仅需1张中低端GPU卡即可部署。
在数学推理的实验中,模型准确完成小数比较,并展现分步解析能力,深度思考用时3秒。
混元-A13B模型在技术上也做出了创新。在预训练中,模型用了20万亿高质量网络词元语料库,并完善了MoE 架构的 Scaling Law (即规模定律)理论体系,为 MoE 架构设计提供了可量化的工程化指导。
混元还开源了两个新数据集,以填补行业内相关评估标准的空白。其中,ArtifactsBench主要用于代码评估,构建了一个包含 1825个任务的新基准;C3-Bench针对Agent场景模型评估,设计了1024条测试数据,以发现模型能力的不足。
目前模型API已在腾讯云官网上线。