12月16日,字节跳动发布新一代音视频生成模型Seedance 1.5 pro。该模型支持从文本或图像生成带有同步音频的视频,实现了音视频的联合生成。

据介绍,Seedance 1.5 pro在音画同步方面进行了优化,旨在提升生成内容中口型、语调与表演节奏的一致性。模型支持包括中文、英文、日文在内的多语种,并可模拟四川话、粤语等方言的语音特征。在视频层面,该模型声称具备一定的自主运镜调度能力,可生成如长镜头跟随、希区柯克式变焦等效果,以增强画面的动态张力与叙事感。
技术层面,该模型采用了基于MMDiT架构的音视频联合生成框架,并通过多阶段数据链路与强化学习方式进行优化。团队表示,其已在影视创作、广告制作、短剧及游戏内容等场景中进行测试,生成内容在指令遵循、音质表现等方面有所提升,但在复杂运动的物理稳定性、多角色对话等方面仍有改进空间。






京公网安备 11011402013531号