《deepseek大模型生态报告》由赛迪研究院电子信息研究所发布,深入剖析了DeepSeek大模型的发展状况、技术特点、产业生态及影响等多方面内容。
1. 模型概况:DeepSeek由幻方量化于2023年7月创立,专注开发大语言模型。其团队年轻,成员多来自国内顶尖高校。2024年1月发布首个大模型,之后相继推出多个版本,如DeepSeek-R1性能逼近OpenAI o1正式版,但推理成本仅为其几十分之一。
2. 技术特点:在技术创新上,通过MLA架构和FP8混合精度训练框架进行压缩,减少计算量和内存占用;运用DualPipe跨节点通信、无辅助损失的负载均衡策略和底层通信优化实现并行,极限利用硬件。这些技术使训练效率大幅提升,训练成本显著降低,如DeepSeek-V3仅用557.6万美元预算,在2048个H800 GPU集群上花费3.7天/万亿tokens的训练时间,就达到与其他高价模型比肩的性能。
3. 产业生态:企业层面,DeepSeek系列模型上线昇腾社区,华为小艺、三大运营商、多家车企、券商及微软、英伟达、亚马逊等众多企业均接入。生态方面,其应用登顶苹果中国和美国地区应用商店免费APP下载排行榜,在GitHub上Star数超越OpenAI,还上线国家超算互联网,且有望适配中国国产GPU。应用领域,在文学创作和编程等方面表现出色,如在编程场景中,DeepSeek R1成功率高、格式正确率高且成本低。
4. 产业影响:对人工智能技术,挑战了“扩大算力是AI进步唯一途径”的观点,推动蒸馏技术发展。对产业生态,开源模式冲击闭源大模型,影响智算中心建设规划和技术架构。对国际竞争,冲击全球科技供应链核心玩家,颠覆大模型API商业模式,引发全球资本市场震荡。
5. 相关表态:国内从国家到地方对DeepSeek表示支持,强调其技术实力和发展意义。国外,美国部分企业和政府采取禁止或限制措施,欧洲、韩国等国家和地区也有不同程度的反应,或测试分析,或发布禁令。
6. 经验启示:技术上,对比中科院与DeepSeek,为科研体制改革提供思路;探讨DeepSeek对具身智能发展的启示及政策建议。企业层面,分析其创新模式和成功因素。地方层面,剖析DeepSeek未在张江出现的原因,为区域创新发展提供参考。