新智元报道
编辑:犀牛
谷歌最新发布的Genie 3世界模型,正以惊人AI能力颠覆想象:从文本生成交互式空间,到进入经典名画如《苏格拉底之死》和《夜游者》自由探索,甚至训练3D模型实现沉浸式体验!
谷歌摊牌了,彻底不装了!
他们前几天刚刚发布的Genie 3世界模型,正在疯狂展示AI的超能力。
它不只是能从文本中生成交互式的AI空间世界,还能操控图像和视频。
比如,你现在可以进入到世界名画中去,随意的在其中移动、观察。
这种身临其境的现场感,对于喜欢艺术的同学不要太爽。
有网友就用Genie 3进入到了Jacques Louis David的名画《苏格拉底之死》。
这幅1787年的油画是新古典主义的代表作,现藏于纽约大都会艺术博物馆。
画的是苏格拉底被判喝毒芹的那一刻:他还在讲道理、伸手接杯子,学生们有人哭成一片,柏拉图则安静坐旁边。
画面干净利落、光影强烈,把「为理性而死」的硬核形象画得很震撼。
以前,我们只能在二维平面前安静地欣赏大师的杰作。
现在,有了Genie 3的帮助,我们有机会1秒钟回到两千四百多年前,目睹苏格拉底饮下毒芹。
轻轻按下按键,就能穿行其中,更加沉浸地去体会艺术、历史与哲学。
这不仅是AI的超能力,更是其存在的意义——更好地成就、提升人们!
前谷歌XR、地图团队成员Bilawal Sidhu甚至还利用Genie 3的生成,成功训练出了3D高斯溅射(Gaussian Splat)模型。
具体的过程大概是:
Genie 3从图像(如油画)生成可互动的动态3D世界,支持实时导航和多视角渲染。
然后,进行内绘(移除UI元素)和放大处理(使用Topaz AI提升4倍超分辨率)。
最后,利用这些处理后的图像训练3D高斯溅射(Gaussian Splat)模型,实现高效的辐射场渲染和沉浸式探索。
除了高斯溅射模型,Bilawal Sidhu还尝试了通过经典的摄影测量流程处理,以提取一个带纹理的3D网格,可以将其导入到任何3D工具中。
效果虽然不如高斯溅射来的优雅,不过依然可用。
最后,Bilawal Sidhu还贴心地将两个模型的链接分享了出来,让大家都可以进去体验。
相当nice