智东西AI前瞻(公众号:zhidxcomAI)
作者 江宇
编辑 漠影
智东西8月19日报道,商汤最近推出了一款名为Seko的AI视频创作工具,支持用户输入一句话想法,自动生成包含剧本、角色、画面、镜头、配音在内的完整视频。整个创作过程中,不需要编剧、音效师、摄影师、打光师、剪辑师,只要有一个想法,Seko就能帮你把这部片子拍出来。
为了测试这款工具的完整能力,智东西也进行了实际体验。
一、一句话创意,Seko拆解成“成片策划”
与传统的“文字转视频”工具不同,Seko能将一句话的创意直接拆解为一套可执行的完整方案。
用户只需输入大致的剧情设定,无需补充参数或说明细节,系统便会自动生成涵盖六大环节的策划文档:包括策划摘要、美术风格、角色主体、场景概念、音乐风格和分镜剧本,从叙事节奏到镜头语言一应俱全。
用户还可以在策划文档右侧的对话栏中提出问题,进一步微调内容细节。
这套流程背后,是Seko以多AI Agent协作为核心的系统,每个模块围绕用户的想法展开工作:有人负责建模,有人调镜头,有人生成配音与对白,搭建起一支无需协调的“AI剧组”。整条创作链条,从人物出场顺序、镜头节奏、配乐情绪到转场方式,都由系统自动衔接完成。
用户也不需要理解技术细节或指定模型调用逻辑,系统会根据内容自动完成分工与调度。
在角色生成方面,Seko支持上传图像来自定义角色。用户也可选择根据剧情设定自动生成角色形象。
二、体验:拍一部比格逆袭的AI爽剧
为了体验Seko在复杂故事关系和多角色场景下的适配能力,智东西尝试拍一部宠物版AI短剧。
在“剧本创作”模式下,输入自然语言指令:拟人形象,写实卡通。一只贫穷比格犬带着一个小车模型,想要送给白猫女朋友,却被白猫女朋友和另一只富裕泰迪狗一起嘲笑他。比格犬非常伤心,然后每日努力工作,最后靠自己的努力赚钱买上了豪华轿车,白猫女朋友和富裕泰迪狗后悔不已。
全员宠物阵容,走的是经典逆袭剧路线。
系统在几分钟内自动生成了策划文档。生成结果的亮点之一是自动生成的角色形象与设定高度贴合:我们并未上传图片,而是让系统根据设定自动生成三个角色(包括比格犬逆袭前后),最终呈现出的外观、语气、配音与剧情设定一致性较高,也丰富了很多道具细节。
另一个体验亮点在于“先确认分镜静帧,再生成视频”的机制。Seko会先给出每个镜头的静态画面,用户可在此阶段提出修改。这个阶段Seko也出现了一些小Bug。例如,“富裕泰迪犬”设定下系统默认生成了一位穿西装的人类男主,而非狗狗角色。我们尝试再次修改设定,但系统未及时响应。
此外,也有不少的镜头中角色动作或外观会出现不一致。
所有分镜确认后,用户可点击“一键转视频”,分镜即可转为动画。
智东西最终生成的视频共3个场景,25个镜头,时长约90秒。节奏流畅,剧情连贯,配音、对白与分镜脚本一一对应。用户还可以逐帧修改台词、配音和镜头结构,编辑过程直观可控。
不过整体来看,成片的节奏与内容完成度相对可观,也可以通过编辑功能进一步调优。
结语:创意说出口,Seko能接住也能剪出来
从角色生成到镜头设计,从配音对白到成片导出,Seko几乎把视频创作能自动的环节全包了下来。
这次体验中,不用写分镜、不用配音、不用剪辑,我们就拍出了完整的宠物短剧。
虽然细节上还有优化空间,但整体流程顺畅、内容完整,确实让人看到AI剧组的潜力。对于想快速把想法变成视频的创作者来说,Seko已经是一个值得一试的拍档。