当前位置: 首页 » 资讯 » 新科技 » 正文

百度沈抖:百舸4.0升级发布,模型训练有效时长达99.5%

IP属地 中国·北京 编辑:钟景轩 和讯网 时间:2024-09-25 15:53:55

9月25日上午消息,今日举办的2024百度智能云大会上,百度集团执行副总裁、百度智能云事业群总裁沈抖宣布百度百舸AI异构计算平台4.0升级发布,支持多芯混训、多芯适配,在万卡集群上实现了超过99.5%的有效训练时长。

在算力紧缺的当下,效率的提升将能够帮助企业有效提升算力使用率,进而降低成本。据介绍,为解决算力资源短缺的问题,百舸4.0对“多芯混训”能力进行了重点升级,实现了在万卡规模集群上95%的多芯混合训练效能,达到业务最领先水平。

在集群部署环节,升级后的百舸能够实现工具层面的秒级部署,将万卡集群运行准备时间从数周最快缩减至1小时,极大地提升部署效率,缩短业务上线周期。

针对大模型训练过程中故障频发的问题,百舸4.0全面升级了故障检测手段和自动容错机制,可以有效降低故障发生频次,大幅减少集群故障处置时间,在万卡集群上实现了超过99.5%的有效训练时长。

在模型推理上,最重要的是速度和成本。现在长文本推理逐渐成为主流,百舸4.0整体上做到了推理速度和成本优化,长文本推理效率提升了1倍以上。(文猛)

责任编辑:江钰涵

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。