8月14日,字节跳动Seed团队发布并开源了全模态PyTorch原生训练框架——VeOmni。
据悉,VeOmni采用以模型为中心的分布式训练方案,可将复杂的分布式并行逻辑与模型计算解耦,为全模态模型组合设置高效的并行训练方案。
这一方式可大幅降低工程开销,提升训练效率和扩展性,将数周的工程开发时间缩短至几天。
8月14日,字节跳动Seed团队发布并开源了全模态PyTorch原生训练框架——VeOmni。
据悉,VeOmni采用以模型为中心的分布式训练方案,可将复杂的分布式并行逻辑与模型计算解耦,为全模态模型组合设置高效的并行训练方案。
这一方式可大幅降低工程开销,提升训练效率和扩展性,将数周的工程开发时间缩短至几天。
免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。
热门推荐