文: Web3天空之城 | 未经许可不得转载
[城主说]这次最新的超长篇访谈深入探讨了人工智能的前沿领域。谷歌DeepMind的领导者德米斯·哈萨比斯与Lex·弗里德曼讨论了他关于自然模式可学习性的猜想、AI在模拟物理世界(如流体动力学)和创造交互式游戏世界中的巨大潜力。对话还涵盖了通往通用人工智能(AGI)的路径、其定义与测试方法,以及AI对科学、能源、经济和人类未来的深远影响。
核心观点
• 任何在自然界中可以进化或生成的模式,原则上都可以被经典的机器学习算法有效发现和建模。
• AI在模拟物理现象(如视频生成模型VEO)和创造动态、个性化的开放世界游戏方面展现出惊人潜力。
• 实现AGI不仅需要计算规模的扩展,还可能需要类似AlphaGo的“第37步”那样的研究突破,并需解决“研究品味”等难题。
• AI将成为解决能源、气候、疾病等重大挑战的终极工具,可能带领人类进入一个资源极大丰富的后稀缺时代。
• AGI的开发必须以谨慎的乐观态度进行,合作与安全是确保这项强大技术造福全人类的关键。
引言:可学习的宇宙
Lex: 我们人类很难对高度非线性的动力系统做出任何清晰的预测。但再次回到你的观点,我们可能会对经典学习系统在流体方面所能做的事情感到非常惊讶。
德米斯: 是的,没错。我的意思是,流体动力学、纳维-斯托克斯方程,这些传统上被认为是经典系统上非常、非常困难、棘手的问题。它们需要大量的计算,例如天气预测系统,你知道的,这些都涉及流体动力学计算。但同样,如果你看看像VEO这样的东西,我们的视频生成模型,它可以很好地模拟液体,出奇地好,以及材料、镜面反射光照。我喜欢那些有人生成视频,其中有透明液体通过液压机,然后被挤出来的视频。我早期在游戏领域编写过物理引擎和图形引擎,我知道构建能够做到这一点的程序是多么费力。然而,不知何故,这些系统正在通过观看YouTube视频进行逆向工程。因此,推测发生的情况是,它正在提取这些材料行为方式的一些底层结构。因此,如果我们真正完全理解了内部发生的事情,也许存在某种可以学习的低维流形。也许,你知道,这可能对大多数现实都是如此。
Lex: 以下是与德米斯·哈萨比斯(Demis Hassabis)的对话,这是他第二次参加播客节目。他是谷歌DeepMind的领导者,现在是诺贝尔奖获得者。德米斯是当今世界上最聪明、最迷人的人才之一,致力于理解和构建智能,并探索我们宇宙的重大谜团。能够邀请他参加节目,我感到非常荣幸。
在您的诺贝尔奖演讲中,您提出了我认为非常有趣的猜想,即“自然界中可以生成或发现的任何模式都可以通过经典的机器学习算法有效地发现和建模”。其中可能包含哪些类型的模式或系统?生物学、化学、物理学,或许是宇宙学、神经科学,我们在谈论什么?
德米斯: 当然。嗯,你看,我觉得诺贝尔奖的演讲有点像是传统,我认为,你应该有点挑衅意味,我想遵循这个传统。我在那里谈论的是,如果你退一步,看看我们所做的所有工作,特别是 Alpha X 项目,所以我想到的是 Alpha Go,当然还有 Alpha Fold,它们真正的意义在于,我们正在构建非常组合性高维空间的模型,如果你试图强行找到解决方案,比如在围棋中找到最佳着法,或者找到蛋白质的精确形状,如果你列举所有可能性,宇宙的时间都不够用。所以你必须做一些更聪明的事情。在这两种情况下,我们所做的都是构建这些环境的模型,从而以一种聪明的方式引导搜索,使其变得易于处理。
所以如果你考虑蛋白质折叠,这显然是一个自然系统,为什么这会成为可能?物理学是如何做到这一点的?蛋白质在我们体内以毫秒级的速度折叠,所以物理学以某种方式解决了这个问题,而我们现在也通过计算解决了这个问题。我认为之所以成为可能,是因为在自然界中,自然系统具有结构,因为它们受到塑造它们的进化过程的影响。如果这是真的,那么你也许可以了解这种结构是什么。
Lex: 所以我认为,这个视角确实非常有趣。你已经暗示过了,粗略地说,任何可以进化的事物都可以被高效地建模。认为这有道理吗?
德米斯: 是的,我有时称它为“最稳定者的生存”或类似的东西,因为当然存在生命、生物的进化,但是,如果你考虑到地质时间,比如山脉的形状,那是经过数千年的风化过程塑造的,然后你甚至可以将其推广到宇宙学,行星的轨道,小行星的形状,这些都经历了某种生存过程,这些过程在它们身上发生了无数次。所以如果这是真的,那么应该存在某种模式,你可以逆向学习,并且实际上存在一种流形,可以帮助你搜索到正确的解决方案,正确的形状,并且实际上允许你以有效的方式预测有关它的信息,因为它不是随机模式,对吗?
所以对于人造事物或抽象事物(例如分解大数)来说,这可能是不可能的,因为除非数字空间中存在模式,这可能存在,但如果没有并且它是均匀的,那么就没有要学习的模式。没有可以学习的模型来帮助你搜索。你必须使用蛮力。所以在这种情况下,你可能需要一台量子计算机,或者类似的东西。但是我们感兴趣的大多数自然事物并非如此。它们拥有因某种原因而进化并在时间中幸存下来的结构。如果这是真的,我认为这可能可以通过神经网络学习。
Lex: 就像大自然在进行一个搜索过程,令人着迷的是,在这个搜索过程中,它创造了可以被有效建模的系统。
德米斯: 是的,没错。是啊。真有趣。所以它们可以被有效地重新发现或恢复,因为自然不是随机的,对吧?这些,我们周围看到的一切,包括更稳定的元素,所有这些东西,都受到某种选择过程、压力的影响。
模拟现实:从物理到计算
Lex: 你认为,因为你也是理论计算机科学和复杂性的爱好者,你认为我们可以提出一种复杂性类别,比如一种复杂性动物园类型的类别,也许是可学习系统集合,可学习的自然系统集合,L和S?这是一类新的系统,实际上可以通过这种方式被经典系统学习,是可以被有效建模的自然系统。
德米斯: 是的。我的意思是,我一直对P=NP问题着迷,以及经典系统可以建模什么,即非量子系统,你知道,实际上是图灵机。这正是我实际上在用一些空闲时间和一些同事一起研究的内容,关于是否应该存在,你知道,可能有一种新型的问题,可以通过这种类型的神经网络过程解决,并映射到这些自然系统上。所以,你知道,存在于物理学中并具有结构的事物。所以我认为这可能是一种非常有趣的新思考方式。这在某种程度上符合我思考物理学的方式,也就是说,你知道,我认为信息是首要的。信息是宇宙中最基本的一个单位,比能量和物质更基本。所以我认为它们都可以相互转化。但我认为宇宙是一种信息系统。所以当你把宇宙看作一个信息系统时,那么P=NP问题就是一个物理学问题。
Lex: 因此,当你把宇宙看作一个信息系统时,那么P=NP问题就是一个物理问题。
德米斯: 没错。
Lex: 而且这个问题实际上可以帮助我们解决目前正在发生的整个事件。
德米斯: 是的,我认为这实际上是最根本的问题之一,如果你认为物理学是信息性的。我认为这个问题的答案将会非常具有启发性。
Lex: 更具体地说是关于P与NP问题。再次声明,我们现在所说的一些东西可能有点疯狂。就像克里斯蒂安·阿特金森的诺贝尔奖获奖感言一样,他说了一些有争议的事情,听起来很疯狂。然后你和约翰· jumper一起凭借这个获得了诺贝尔奖,解决了这个问题。所以,让我回到P等于NP的问题。你认为我们正在讨论的这个问题中是否存在一些东西可以被证明,如果你能做到类似多项式时间或常数时间,提前计算,并构建这个巨大的模型,那么你就可以用一种理论计算机科学的方式来解决这些极其困难的问题吗?
德米斯: 是的,我认为实际上有很大一类问题可以用这种方式来解决,就像我们做AlphaGo和AlphaFold的方式一样,你知道,你可以建模系统的动态特性、系统的属性以及你试图理解的环境。然后,这使得寻找解决方案或预测下一步变得高效,基本上是多项式时间。所以对于经典系统来说是可以处理的,而神经网络就是一个经典系统,它在普通的计算机上运行,对吧?经典计算机,实际上就是图灵机。
我认为这是目前最有趣的问题之一,那就是这种范式能走多远?你知道,我认为我们已经证明了,整个AI社区也证明了,经典系统,图灵机,可以比我们之前认为的走得更远。你知道,它们可以做一些事情,比如模拟蛋白质的结构,以及在围棋方面比世界冠军水平更高。而且,你知道,很多人可能在10、20年前会认为,这还需要几十年,或者可能需要某种量子机器或量子系统才能做像蛋白质折叠这样的事情。所以我认为,我们甚至还没有真正触及所谓的经典系统能够做什么的皮毛。当然,建立在神经网络系统之上,建立在经典计算机之上的AGI,将是这种表达的终极体现。我认为这个限制,你知道,这种系统的界限,它能做什么,这是一个非常有趣的问题,直接关系到P等于NP问题。
Lex: 你觉得,再次假设,什么可能会超出这个范围,也许是涌现现象?比如你看看元胞自动机,一些,你拥有极其简单的系统,然后一些复杂性涌现出来。也许那会超出范围,或者你甚至会猜测,即使是那样,也可能可以通过经典机器进行高效建模?
德米斯: 是的,我认为这些系统正处于边界上,对吧?所以我认为大多数涌现系统,元胞自动机,诸如此类的东西,都可以用经典系统建模。你只需对它进行正向模拟,而且可能足够高效。当然,存在诸如混沌系统之类的问题,其中初始条件至关重要,然后你得到一些,你知道,不相关的最终状态。现在这些可能很难建模。所以我认为这些都是开放性问题,但我觉得当你退一步,看看我们用这些系统所做的事情,以及我们所解决的问题,然后你再看看像VEO3这样的视频生成,比如渲染物理和光照等,你知道,真正物理学中的核心基本要素,那就非常有趣了。我认为这在告诉我一些关于宇宙如何被构建的非常根本的东西。所以,你知道,在某种程度上,这就是我想构建通用人工智能(AGI)的原因,是为了帮助我们作为科学家回答像P=NP这样的问题。是的,我认为我们可能会对经典计算机可以建模的东西不断感到惊讶。
Lex: 我的意思是,AlphaFold 3 在交互方面令人惊讶,你可以在那个方向上取得任何进展。Alpha Genome 令人惊讶,你可以将基因代码映射到功能。有点像在玩涌现现象,你认为有如此多的组合选项,但结果却出乎意料。你可以找到可以有效建模的内核。
德米斯: 是的,因为有一些结构,有一些景观,你知道,在能量景观或其他什么中,你可以遵循,一些梯度你可以遵循。当然,神经网络非常擅长跟踪梯度。因此,如果有一个可以遵循的梯度,并且你可以正确指定目标函数,你知道,你就不必处理所有这些复杂性,我认为这也许是我们几十年来天真地思考这些问题的方式。如果你只是列举所有可能性,它看起来完全是难以处理的。那里有非常非常多的类似问题。然后你会想,嗯,就像10的300次方种可能的蛋白质结构,10的170次方种可能的围棋局面。所有这些都远远超过了宇宙中的原子数量。那么,人们怎么可能找到正确的解决方案或预测下一步呢?而且,但事实证明这是可能的。当然,自然界的现实确实做到了,对吧?蛋白质确实会折叠。所以这让你有信心,一定有,如果我们理解了物理学在某种意义上是如何做到这一点的,那么,如果我们能够模仿这个过程,模拟这个过程,那么在我们经典的系统上也是可以实现的,这基本上就是这个猜想的内容。
Lex: 当然还有非线性动力系统,高度非线性的动力系统,所有涉及流体的东西。是的,没错。你知道,我最近和陶哲轩进行了一次谈话,他在数学上研究了具有一些奇点的系统的非常困难的方面,这些奇点破坏了数学。对于我们人类来说,对高度非线性动力系统做出任何清晰的预测都很难。但再次,正如你所说,我们可能会对经典学习系统在流体方面所能做的事情感到非常惊讶。
德米斯: 是的,完全正确。我的意思是,流体动力学、纳维-斯托克斯方程,这些传统上被认为是经典系统上非常、非常困难、棘手的问题。它们需要大量的计算,你知道,天气预报系统,你知道,这些东西都涉及到流体动力学计算。而且,但是再次,如果你看看像VEO这样的东西,我们的视频生成模型,它可以很好地模拟液体,出奇地好,还有材料,镜面反射。我喜欢那些有人生成视频,里面有透明液体通过液压机,然后被挤压出来的视频。我早年在游戏行业时,曾编写过物理引擎和图形引擎。我知道构建能够做到这一点的程序是多么令人费力。然而,不知何故,这些系统正在通过观看YouTube视频进行逆向工程。因此,推测发生的情况是,它正在提取关于这些材料如何表现的一些底层结构。因此,也许存在某种低维流形,如果我们真正完全理解了内部发生的事情,就可以学习它。也许这适用于大多数现实。
Lex: 是的,我一直被VEO 3的这个方面所吸引。我认为很多人强调不同的方面,包括喜剧和刻薄以及所有类似的东西,然后是超现实的能力,以一种引人注目并感觉接近现实的方式捕捉人类。然后将其与原生音频结合起来。所有这些都是VEO 3的奇妙之处,但正是您提到的物理特性。是的。它并不完美,但已经相当不错了。然后,真正有趣的科学问题是,它理解了我们世界的什么才能做到这一点?由于对扩散模型的愤世嫉俗的看法,它不可能理解任何东西。但看起来,我的意思是,我认为不理解就无法生成那样的视频。然后我们自己对理解的哲学概念就被提到了表面。你认为VEO 3在多大程度上理解我们的世界?
德米斯: 我认为,如果它能以连贯的方式预测接下来的帧,那就是一种理解,对吧?不是拟人化的版本,不是对正在发生的事情的某种深刻的哲学理解。我认为这些系统不具备那种理解。但它们肯定已经对足够多的动态进行了建模,这么说吧,它们可以相当准确地生成任何东西,8秒钟的连贯视频,至少乍一看,很难区分问题是什么。想象一下,再过两三年,这就是我在考虑的事情,鉴于我们已经取得的进展,以及一两年前的早期版本,这将是多么不可思议。因此,进展的速度是惊人的。
我想我和你一样,很多人喜欢所有的单口喜剧演员,实际上这很好地捕捉了很多人类动态和肢体语言。但实际上,我印象最深刻、最着迷的是物理行为,光照、材质和液体。并且它能做到这一点,这非常了不起。我认为这表明它至少对直觉物理学有一些概念,对吧?事物应该如何凭直觉运作,也许像一个孩子理解物理学的方式,对吧,而不是一个博士生真正能够拆解所有的方程式。这更像是一种直觉上的物理学理解。
Lex: 好的,这种直觉上的物理学理解,那是基础层。那是人们有时称之为常识的东西。它确实理解了一些东西。我认为这真的让很多人感到惊讶。这让我震惊,我之前竟然认为不理解就无法生成那种程度的真实感。有一种观念认为,你只能通过拥有一个具身人工智能系统,一个与世界互动的机器人,来理解物理世界。这是构建对世界理解的唯一途径。但VEO3似乎直接挑战了这一点。
德米斯: 是的。这非常有趣,即使你5年或10年前问我,即使我当时沉浸在所有这些之中,我也会说,是的,你可能需要理解直觉物理学。比如,如果我把这个玻璃杯从桌子上推下去,它可能会摔碎,液体会溅出来,对吧?所以我们都知道这些事情。但我当时认为,你知道,神经科学中有很多理论,叫做行动中的感知,即你需要在世界中行动才能真正地以深刻的方式感知它。并且有很多关于你需要具身智能或机器人技术或其他东西,或者至少是模拟行动的理论,这样你才能理解诸如直觉物理学之类的事情。但看起来你可以通过被动观察来理解它,这对我来说非常令人惊讶。
而且,我认为这再次暗示了关于现实本质的某些深层东西,在我看来,不仅仅是它生成的那些酷炫视频。当然,下一个阶段可能是让这些视频具有互动性。这样人们就可以真正地进入它们并在其中移动,这将是真正令人震惊的,特别是考虑到我的游戏背景。所以你可以想象。然后我认为,你知道,我们开始接近我所说的世界模型,一个关于世界如何运作、世界的机制、世界的物理学以及世界中事物运作的模型。当然,这对于真正的通用人工智能(AGI)系统来说是必需的。
游戏的未来:AI驱动的开放世界
Lex: 我必须和你谈谈电子游戏。所以你有点在钓鱼。我认为你在推特(现在的X)上越来越开心了,很高兴看到这一点。所以有个叫吉米·阿普尔斯的人发推文说,让我玩一个基于我的VEO3视频的电子游戏吧。谷歌做得如此出色,可玩的世界模型何时推出,拼写为H-E-N,问号。然后你转发了那条推文,还配文说,那岂不是一件很棒的事情?那么用人工智能构建游戏世界有多难?也许,你能展望一下视频游戏的未来,5年,10年后吗?
德米斯: 你觉得会是什么样的?嗯,游戏实际上是我的初恋,为游戏开发人工智能是我青少年时期第一份专业工作,也是我构建的第一个大型人工智能系统。而且我一直想,我想有一天能止痒,然后回到那个领域。所以,你知道,我会做的,我想。而且我想我会梦想着,如果我在90年代就能接触到我们今天拥有的人工智能系统,我会做些什么?而且我认为你可以构建出绝对令人震惊的游戏。
我认为下一个阶段是,我一直喜欢制作,我制作的所有游戏都是开放世界游戏。所以它们是这样一种游戏:其中有一个模拟,然后有AI角色,然后玩家与该模拟互动,而模拟会适应玩家的玩法。我一直觉得它们是最酷的游戏,比如我参与制作的《主题公园》之类的游戏,每个人的游戏体验对他们来说都是独一无二的,因为你实际上是在共同创造游戏,对吧?我们设置参数,我们设置初始条件,然后你作为玩家沉浸其中,然后你与模拟共同创造它。
但当然,编程开放世界游戏非常困难。你必须能够创造内容,无论玩家朝哪个方向前进,而且你希望无论玩家选择什么,它都引人入胜。因此,实际上很难构建像细胞自动机这样的东西,即创建某种涌现行为的经典系统。但它们总是有点脆弱,有点局限性。现在,我们可能在未来几年,5到10年内,即将拥有能够真正围绕你的想象力进行创作的AI系统,现在可以动态地改变故事,围绕叙事进行讲述,并使其无论你最终选择什么都充满戏剧性。所以这就像终极的“选择你自己的冒险”式游戏。我认为也许我们触手可及,如果你想到一种互动版本的VEO,然后将其向前推进5到10年,想象一下它会有多好。
Lex: 是的,你刚才说了很多非常有趣的东西。首先,其中内置的开放世界是一种深度个性化,正如你所描述的那样。所以不仅仅是开放世界,比如你可以打开任何一扇门,然后里面会有东西。而是以一种不受约束的方式选择你打开哪扇门,定义了你所看到的世界。
所以有些游戏试图这样做,它们给你选择,但实际上只是一种选择的幻觉,就像《史丹利的寓言》(Stanley Parable)一样,这是我本打算玩的游戏。实际上,只有几扇门,它只是把你带入一个叙事中。《史丹利的寓言》是一个很棒的电子游戏,我推荐大家玩,它以一种元方式嘲弄了选择的幻觉,并且存在关于自由意志的哲学概念等等。但我确实喜欢我最喜欢的游戏之一,《上古卷轴》(Felder Scrolls),《匕首雨》(Daggerfall),我相信,他们真的玩弄了一种,比如随机生成地牢的方式。是的。如果你能介入,他们会给你一种开放世界的感觉。而且,你提到了互动性,你不需要互动,这是第一步,因为你不需要互动那么多,只是当你打开门时,你所看到的一切都是为你随机生成的。这已经是一种难以置信的体验了,因为你可能是唯一一个看到它的人。
德米斯: 是的,完全正确。所以,但你想要的可能比仅仅是某种随机生成要好一点,对吧?所以你希望,而且比简单的A、B硬编码选择要好,对吧?那不是真正的开放世界,对吧?正如你所说,那只是给你一种选择的错觉。你想能够做到的是在这个游戏环境中潜在地做任何事情。而且我认为实现这一点的唯一方法是拥有生成系统,即能够动态生成内容的系统。当然,你不能创造无限数量的游戏资产,对吧?如今3A游戏的制作成本已经非常高昂了。
而且早在90年代,当我制作所有这些游戏时,这对我们来说是很明显的。我认为《黑与白》可能是我早期参与制作的游戏,它可能仍然拥有最好的AI,即学习型AI。这是一个早期的强化学习系统,你负责照看这个神话般的生物,并让它成长和被培养。根据你对待它的方式,它会以同样的方式对待那个世界的村民。所以如果你对它很刻薄,它也会很刻薄。如果你很友善,它就会有保护欲。所以它实际上是你玩游戏方式的一种反映。所以实际上,在我职业生涯的初期,我一直在通过游戏媒介研究模拟和AI。实际上,我今天所做的一切仍然是从早期那些更硬编码的AI方法,到现在的完全通用的学习系统的一个延续,它们都在试图实现同样的目标。
Lex: 是的,看到你和埃隆显然都渴望创造游戏真是既有趣又滑稽,而且很有意思,因为你们都是游戏玩家。而你在如此多的科学领域,比如严肃的成人事务方面取得令人难以置信的成功,其中一个令人难过的方面是你可能没有时间真正创造一款游戏。你最终可能会创造出其他人用来创造游戏的工具。你不得不看着别人创造出你一直梦想的东西。你认为你是否有可能在极其繁忙的日程中抽出时间来创造像《黑与白》这样的东西,一个真正的电子游戏,在那里你可以让童年的梦想成为现实?
德米斯: 嗯,当我想到这件事时,有两个想法,也许随着氛围编码技术的改进,有可能在你的空闲时间里做到这一点。所以我对此感到非常兴奋。如果我有时间做一些氛围编码,那将是我的项目。我实际上很想这样做。还有一件事是,也许在AGI(通用人工智能)被安全地管理并交付到世界之后,可以休个学术假。你知道,然后研究我的物理理论,正如我们在开始时谈到的那样,这将是我的两个后AGI项目。就这么称呼它吧。
Lex: 我很想看看后通用人工智能时代你会选择哪个,解决一些人类历史上最聪明的人都在争论的问题。所以P是否等于NP,或者创造一个酷炫的视频。
德米斯: 是的,好吧,但在我的世界里,它们会是相关的,因为它会是一个尽可能逼真的开放世界模拟游戏。所以,你知道,宇宙是什么?这就是在探讨同一个问题,对吧?以及P是否等于NP。我认为所有这些事情都是相关的,至少在我看来是这样。
Lex: 我的意思是,非常严肃地说,我认为电子游戏有时会受到一些贬低。那只是一个有趣的副业活动。但尤其是在人工智能完成越来越多困难、乏味的任务时,我们现代世界称之为工作的那些事,电子游戏可能是我们找到意义所在,找到如何利用时间的方式。你可以创造极其丰富、有意义的体验。就像那是人类的生活一样。然后在电子游戏中,你可以创造更复杂、更多样化的生活方式。是的,我是这么认为的。
德米斯: 我的意思是,我们这些热爱游戏的人,而且我现在仍然热爱,你知道,它几乎可以让你的想象力自由驰骋。对吧?我曾经非常热爱游戏和开发游戏,因为它是一种融合,尤其是在90年代和2000年代初,那个黄金时代,也许是游戏行业的80年代。一切都在被发现。新的游戏类型不断涌现。我们不仅仅是在制作游戏。我们觉得我们正在创造一种前所未有的全新娱乐媒介,尤其是在这些开放世界游戏和模拟游戏中,玩家可以共同创造故事。没有其他媒体,没有其他娱乐媒体能让你做到这一点,让作为观众的你实际参与共同创造故事。当然,现在有了多人游戏,这也可以成为一种非常具有社交性的活动,并可以在其中探索各种有趣的世界。
但另一方面,你知道,享受和体验现实世界也非常重要。但问题是,你知道,我认为我们将不得不再次面对关于现实的本质是什么的问题?这些日益逼真的模拟、多人游戏以及涌现的(emergent)事物与我们在现实世界中所做的事情之间,区别将是什么?
Lex: 是的,体验真实世界的自然风光显然具有巨大的价值。亲身体验他人,就像我们今天坐在这里一样,也具有巨大的价值。但是我们需要真正科学地、严格地回答这个问题,为什么?以及其中哪些方面可以映射到虚拟世界中?没错。而且仅仅说,是啊,你应该去接触草地,在自然中闲逛,这还不够。这就像,那样做究竟为什么有价值?
德米斯: 是的,我想这也许就是从我职业生涯一开始就一直困扰我、让我着迷的事情。如果你考虑我所做的所有不同的事情,它们都以那种方式相关联。模拟,现实的本质,以及可以被建模的范围的界限是什么?
进化与创造:AI的自我超越
Lex: 抱歉问一个荒谬的问题,但到目前为止,有史以来最伟大的电子游戏是什么?
德米斯: 那里有什么?嗯,我一直以来最喜欢的游戏是《文明》,我不得不说。那是《文明I》和《文明II》,我一直以来最喜欢的游戏。
Lex: 我只能认为你避开了最新的一部,因为它可能会,那会是你的学术休假。这样你就会消失。
德米斯: 是的,完全正确。这些《文明》游戏会占用大量时间。所以我必须小心对待它们。
Lex: 有趣的问题。你和埃隆似乎都是资深玩家。擅长游戏和成为人工智能公司的伟大领导者之间是否存在某种联系?
德米斯: 我不知道。这是个有趣的问题。我的意思是,我们都热爱游戏,而且有趣的是,他最初也是通过编写游戏起家的。这很可能,尤其是在我成长的年代,80年代末和90年代家用电脑刚刚兴起的时候,尤其是在英国。我有一台Spectrum,然后是Commodore Amiga 500,这是我最喜欢的电脑。这就是我学习所有编程的原因。当然,编程是一件非常有趣的事情,尤其是游戏编程。所以我认为这是一种学习编程的好方法,可能现在仍然是。然后,当然,我立即将它引向了人工智能和模拟的方向,所以我能够同时表达我对游戏和我更广泛的科学兴趣。
我认为游戏的最后一个伟大之处在于,它将艺术设计、美术与最前沿的编程融合在一起。所以同样,在90年代,所有最有趣的技术进步都发生在游戏领域,无论是人工智能、图形、物理引擎、硬件,甚至是GPU,当然,最初都是为游戏设计的。因此,90年代推动计算机技术进步的一切都归功于游戏。所以有趣的是,那是研究的前沿领域。而它是艺术、图形以及音乐的不可思议的融合,以及全新的叙事媒体。我喜欢那样。对我来说,这种多学科的努力又是我一生都在享受的事情。
Lex: 我得问你,我几乎忘记了最近发生的众多事情中的一件,我认为也是最不可思议的事情之一,不知何故,这件事还没有得到足够的关注,那就是Alpha Evolve。我们稍微谈到了进化,但它是谷歌DeepMind的系统,可以进化算法。像这种类似进化的技术,作为未来超级智能系统的组成部分,有希望吗?所以对于那些不了解的人来说,可以这么说,我不知道这么说是否公平,它是LLM引导的进化搜索。所以进化算法在进行搜索,而LLM告诉你搜索的方向。
德米斯: 是的,完全正确。所以LLM有点像提出一些可能的解决方案,然后你在此基础上使用进化计算来找到搜索空间中的一些新颖部分。所以实际上,我认为这是一个非常有希望的方向的例子,你可以将LLM或基础模型与其他计算技术相结合。进化方法是一种,但你也可以想象蒙特卡洛树搜索,基本上许多类型的搜索算法或推理算法都建立在或使用基础模型作为基础。所以我实际上认为,通过这些混合系统(我们这样称呼它们),可能会发现很多有趣的东西。
Lex: 但不要把进化浪漫化。是的。我只是个普通人,但你认为无论那种机制是什么,都有其价值吗?因为我们已经谈论过自然系统了。你是否认为,在理解、建模和模拟进化方面,有很多唾手可得的成果,然后利用我们所理解的关于自然启发机制的一切,从而使搜索做得越来越好?
德米斯: 因此,如果你再次考虑将我们构建的系统分解为真正基本的核心,你会得到系统底层动态的模型。然后,如果你想发现一些新的、以前从未见过的东西,那么你需要某种搜索过程来把你带到搜索空间的一个新的区域。你可以通过多种方式做到这一点。进化计算就是其中之一。有了AlphaGo,我们只是使用了蒙特卡洛树搜索,对吧?这就是找到第37步的原因,围棋中前所未见的全新策略。这就是你如何超越可能已知的范围。所以这个模型可以模拟你目前所知道的一切,对吧?所有你目前拥有的数据,但是你如何超越它呢?这就开始谈到创造力的概念。这些系统如何创造新的事物,发现新的事物?显然,这与科学发现或推动科学和医学进步超级相关,而这正是我们想用这些系统做的事情。实际上,你可以在这些模型之上附加一些相当简单的搜索系统,并将你带入一个全新的空间区域。当然,你还必须确保你没有完全随机地搜索那个空间。那样会太大了。所以你必须有一个你试图优化的目标函数,并且朝着它进行爬山算法,从而指导搜索。
Lex: 但是有一些有趣的进化机制,可能在程序的空间中,而程序的空间是一个极其重要的空间,因为你可能可以将其推广到所有事物。但例如,突变。所以它不仅仅是蒙特卡洛树搜索,而像是一种搜索。你可以偶尔——组合事物,是的。组合事物,比如事物的组成部分。所以进化真正擅长的不仅仅是自然选择,还在于组合事物并构建日益复杂的层级系统。所以那个组成部分非常有趣,特别是像Alpha Evolve在程序空间中的应用。
德米斯: 是的,没错。因此,你可以从进化系统中获得一些额外的属性,即可能会出现一些新的涌现能力。当然,就像生命发生的那样。有趣的是,使用不含大型语言模型和现代人工智能的朴素的传统进化计算方法,它们的问题在于,在90年代和2000年代初得到了很好的研究,并取得了一些有希望的结果。但问题是,他们始终无法弄清楚如何进化出新的属性,新的涌现属性。你总是拥有你放入系统中的属性的某种子集。但也许如果我们把它们和这些基础模型结合起来,也许我们可以克服这个限制。
显然,自然进化确实做到了,因为它确实进化出了新的能力,对吧?从细菌进化到我们现在这样。因此,很明显,进化系统必须能够生成新的模式,回到我们谈到的第一件事,以及新的能力和涌现属性。也许我们正处于发现如何做到这一点的风口浪尖。
Lex: 是的,听着,“阿尔法进化”是我见过的最酷的东西之一。我在家里的办公桌上,大部分时间都花在那台电脑上,只是编程。在三个屏幕旁边是一个提塔利克鱼的头骨,它是早期从水中爬到陆地上的生物之一。我只是看着那个小家伙。这就像,无论进化的计算机制是什么,它都非常不可思议。真是,真是不可思议。现在,这是否正是我们需要用来进行搜索的方法,但永远不要忽视自然的力量及其在此所做的事情。
德米斯: 是的。令人惊叹的是,这实际上是一个相对简单的算法,对吧。它可以产生所有这些巨大的复杂性。显然,它是在超过40亿年的时间里运行而产生的。但是,你可以再次将其视为一个搜索过程,该过程在宇宙的物理基质上运行了很长的计算时间。但随后它产生了所有这些令人难以置信的、丰富的多样性。
科学的品味:AI能提出伟大的猜想吗
Lex: 所以,我有很多问题想问你。所以首先,你确实有一个梦想。你想尝试建模的自然系统之一是细胞。这是一个美丽的梦想。我可以问你关于那个的问题。还有,就为此目的而言,在人工智能科学家方面,只是泛泛地说。所以丹尼尔·科卡塔格里奥、斯科特·亚历山大和其他人写了一篇文章,概述了通往人工智能超智能的步骤。它有很多有趣的观点,其中之一是包括一个超人类程序员和一个超人类人工智能研究员。在那篇文章中,有一个“研究品味”的术语非常有趣。所以在你所看到的一切中,你认为人工智能系统有可能拥有研究品味吗?能够像人工智能合作科学家那样帮助你,帮助引导人类,人类杰出的科学家,然后可能靠自己弄清楚你想在哪些方向上产生真正新颖的想法?因为这似乎是做好伟大科学的一个非常重要的组成部分。
德米斯: 是的,我认为品味或判断力这个概念将是最难模仿或建模的事情之一。我认为这就是伟大科学家和优秀科学家的区别所在。像所有专业的科学家在技术上都很好,否则他们不会在学术界等方面取得如此大的成就。但是你是否有品味去嗅出正确的方向是什么,正确的实验是什么,正确的问题是什么。所以选择正确的问题是科学中最难的部分,以及提出正确的假设。这也是今天的系统绝对无法做到的。
所以我经常说,提出一个猜想,一个真正好的猜想,比解决它更难。所以我们可能很快就会有能够解决相当困难的猜想的系统。你知道,我参与了数学奥林匹克竞赛的问题,我们,你知道,去年的 Alpha Proof,我们的系统在那次竞赛中获得了银牌,题目非常难。也许最终我们能够解决一个千禧难题。但是一个系统能否提出一个值得研究的猜想,让像陶哲轩这样的人会说,你知道吗,这是一个关于数学本质、数字本质或物理本质的非常深刻的问题。那是一种更难的创造力。我们现在真的不知道,今天的系统显然做不到这一点。而且我们不太确定那种机制会是什么,这种想象力的飞跃,就像爱因斯坦在提出狭义相对论,然后根据他当时的知识提出广义相对论时所拥有的。
Lex: 对于猜想,你想要提出一个有趣的东西,它易于证明。是的。所以,很容易提出一个极其困难的东西。很容易提出一个极其容易的东西,但就在那个边缘。那个最佳点,对吧?
德米斯: 基本上是推进科学发展,并将假设空间理想地分成两部分,对吗?无论它是真是假,你都学到了一些非常有用的东西。那很难。并且制造出一些可证伪的东西,并在你目前可用的技术范围内。所以这实际上是一个非常有创造性的过程,一个高度创造性的过程,我认为仅仅在模型之上进行一种幼稚的搜索是不够的。
Lex: 好的,将假设空间分成两部分的想法非常有趣。所以我听你说过,基本上不存在失败,或者如果问题构建得当,实验构建得当,设计得当,那么失败就非常有价值,也就是说,失败或成功都是有用的。所以也许因为它将假设空间分成两部分,就像一个二分搜索。
德米斯: 没错。所以当你做真正的蓝天研究时,实际上并不存在失败,只要你选择的实验和假设能够有意义地分割假设空间。所以,你知道,如果你学到了一些东西,你可以从一个不成功的实验中学到同样有价值的东西。这应该能告诉你实验设计是否合理,以及你的假设是否有趣,它应该能告诉你接下来该往哪个方向走。然后你实际上是在做一个搜索过程,并以非常有用的方式利用这些信息。
蓝图:模拟细胞与生命起源
Lex: 所以要实现你建模细胞的梦想,我们未来会面临哪些重大挑战?我们或许应该强调一下AlphaFold,我的意思是,这里面有很多飞跃。所以,如果说AlphaFold解决了蛋白质折叠问题,这是很公平的,而且有很多令人难以置信的事情可以讨论,包括开源、你发布的一切。AlphaFold 3正在进行蛋白质、RNA、DNA的相互作用,这非常复杂且引人入胜。它适合建模。AlphaGenome预测了微小的基因变化,比如如果我们考虑单点突变,它们如何与实际功能联系起来。所以,这看起来进展缓慢。从复杂到像细胞这样更复杂的东西,但是细胞有很多非常复杂的组成部分。
德米斯: 是的,所以我整个职业生涯都在尝试做的事情就是,我有一些非常宏伟的梦想。然后我尝试,正如你注意到的,然后我尝试分解,但我尝试分解它们。任何,你知道,拥有一个疯狂的雄心勃勃的梦想很容易,但诀窍在于如何将其分解为可管理的、可实现的、有意义且有用的中间步骤。因此,虚拟细胞,我这样称呼模拟细胞的项目,你知道,我一直想做这件事,可能已经超过25年了。
我过去经常和保罗·纳斯交谈,他是我在生物学方面的一位导师。他负责,你知道,创立了克里克研究所,并在2001年获得了诺贝尔奖。我们一直在谈论这件事,你知道,在90年代之前。我过去每五年回来一次,就像,你需要什么来模拟细胞的完整内部结构,以便你可以在虚拟细胞上做实验,以及那些实验,你知道,在计算机上,并且这些预测对你来说是有用的,可以为你节省大量的湿实验室时间,对吧?那将是梦想。也许你可以通过在计算机上完成大部分工作,在计算机上进行搜索,然后你在湿实验室中进行验证步骤,从而将实验速度提高100倍。那会是,那是梦想。
所以,但也许现在终于,所以我试图构建这些组件,AlphaFold只是其中之一,它最终能让你模拟完整的互动,一个细胞的完整模拟。我可能会从酵母细胞开始,部分原因是保罗·纳斯研究过酵母细胞,因为酵母细胞就像一个完整的单细胞生物,对吧?所以它是最简单的单细胞生物。所以它不仅仅是一个细胞,它是一个完整的生物体。而且人们对酵母的了解非常透彻。所以这将是进行完整模拟模型的一个好选择。
现在,AlphaFold是解决蛋白质静态图像的方案,即3D结构蛋白看起来是什么样子的,它是静态图像。但是我们知道生物学中,所有有趣的事情都发生在动态、互动中。而AlphaFold3是朝着模拟这些互动迈出的第一步。所以首先,成对地,你知道,蛋白质与蛋白质,蛋白质与RNA和DNA。但在那之后的下一步可能是建模整个通路,可能像参与癌症的TOR通路或类似的东西。然后最终你也许能够建模,你知道,整个细胞。
Lex: 此外,这里还有另一个复杂性,细胞中的物质发生在不同的时间尺度上。那很棘手吗?这就像,你知道,蛋白质折叠是,你知道,超级快。我不了解所有的生物机制,但其中一些需要很长时间。是的。所以这是一个层次。因此,交互的层次具有不同的时间尺度,你必须能够对其进行建模。
德米斯: 所以那会很难。所以你可能需要几个模拟系统,它们可以在这些不同的时间动态中相互作用,或者至少可能像一个分层系统。所以你可以上下跳跃于不同的时间阶段。
Lex: 所以你能否避免,我的意思是,这里的一个挑战是不避免模拟,例如,任何这些的量子力学方面,对吧?你想要避免过度建模。你可以跳过,直接建模真正高层次的东西,从而让你对即将发生的事情有一个非常好的估计。
德米斯: 是的,所以你在建模任何自然系统时必须做出决定,你要建模的粒度截止水平是什么,然后它捕获你感兴趣的动态。所以可能对于一个细胞来说,我希望那会是蛋白质水平,而且不必下降到原子水平。所以,你知道,当然,这就是AlphaFold大显身手的地方。所以这将是基础,然后你将构建这些更高层次的模拟,将这些作为构建块,然后你得到涌现行为。
Lex: 提前为接下来可能很傻的问题道歉,但你认为我们能够模拟一个关于生命起源的模型吗?所以能够模拟第一个,从非生物有机体到生物有机体的诞生。
德米斯: 我认为这是其中一个,当然,是最深刻和最引人入胜的问题之一。我喜欢生物学的那个领域。你知道,有些人像,尼克·莱恩写了一本很棒的书,他是这个领域的顶级专家之一,书名叫《进化的10大伟大发明》。我觉得这本书太棒了,它也说明了伟大的过滤器可能是什么,但是,你知道,它们是在我们之前还是在我们之后?如果你读过那本书,我认为它们很可能存在于过去,书中讲述了生命出现的可能性有多小,然后从单细胞到多细胞似乎是一个难以置信的巨大飞跃,我认为这在地球上花费了大约10亿年的时间才完成,对吧?所以它告诉你这有多么困难,对吧?
Lex: 细菌在很长一段时间里都非常快乐。
德米斯: 在它们以某种方式捕获线粒体之前,经历了非常长的一段时间,对吧?我看不出为什么不,为什么人工智能不能在这方面提供帮助,某种模拟。再次强调,这又是一个在组合空间中进行搜索的过程。这是所有的,你知道的,化学汤,你开始的地方,原始汤,你知道的,也许它在地球上,在这些热喷口附近。这是是一些初始条件。你能产生一些看起来像细胞的东西吗?所以或许虚拟细胞项目之后的下一个阶段是,好吧,你实际上如何能让类似的东西从化学汤中涌现出来?
Lex: 嗯,如果生命起源有第37步就好了。我认为这是那种伟大的谜团之一。我认为最终我们会弄清楚它们是连续的,不存在非生命和生命之间的界限。但如果我们能使之严谨。是的。从大爆炸到今天,整个过程都是一样的。如果我们能够打破我们头脑中构建的从非生命到生命的实际起源的壁垒,并且它不是一条线,而是一个连接物理、化学和生物学的连续体。是的,没有界限。
德米斯: 我的意思是,这就是我一生致力于人工智能和通用人工智能的全部原因,因为我认为它可以成为帮助我们回答这类问题的终极工具。我不太明白为什么普通人不会更担心这些事情。例如,我们怎么能没有对生命、非生命和无生命、时间的本质,更不用说意识、引力以及所有这些事物有一个好的定义呢。还有,量子力学的怪异之处。对我来说,我一直有这种在我面前尖叫的感觉。整个,我需要那个,它变得越来越响。你知道,就像,怎么回事,这里发生了什么?我指的是最深刻的意义,比如现实的本质,这必须是能够回答所有这些问题的终极问题。如果你仔细想想,这有点疯狂。我们可以互相凝视,也可以一直观察所有这些生物,我们可以在显微镜下检查它们,几乎可以将它们分解到原子层面。然而,我们仍然无法用一种简单的方式清楚地回答这个问题:你如何定义生命?这有点令人惊奇。
Lex: 对于生命,你可以通过某种方式避免思考它,但就像意识一样,我们显然有这种主观的意识体验。就像我们处于自己世界的中心,并且感觉像是某种东西。然后,你怎能不对这一切的神秘感到惊呼呢?我的意思是,但实际上,人类一直在与周围世界的神秘作斗争,已经很久很久了,存在着许多谜团。比如太阳和雨是怎么回事?这是怎么回事?比如去年我们有很多雨,而今年我们没有雨。我们究竟做错了什么?人类已经问这个问题很久了。
德米斯: 所以我们相当,我想我们已经发展出许多机制来应对这些,这些我们无法完全理解的深刻奥秘,我们能看到,但我们无法完全理解。我们必须继续日常生活。我们让自己保持忙碌,对吧?在某种程度上,我们是否让自己分心了?
Lex: 我的意思是,天气是人类历史上最重要的问题之一。我们仍然,天气是首选的闲聊话题。是的,尤其是在英国。然后就是,众所周知,这是一个极其难以建模的系统。即使是那个系统,谷歌DeepMind也取得了进展。
德米斯: 是的,我们有。我们已经创造了世界上最好的天气预测系统,它们比通常在大型超级计算机上计算的传统流体动力学系统更好,后者需要几天时间来计算。我们已经设法用神经网络系统,用我们的WeatherNet系统,模拟了许多天气动态。而且,有趣的是,即使这些动态非常复杂,在某些情况下几乎接近混沌系统,但它们仍然可以被建模。很多有趣的方面都可以通过这些神经网络系统来建模,包括最近我们做的,关于飓风部分可能走向的飓风预测,当然,这对世界来说非常有用,非常重要。而且非常及时、非常快速以及非常准确地做到这一点至关重要。我认为这是一个非常有前景的方向,可以用来模拟,这样你就可以对非常复杂的现实世界系统进行前瞻性预测和模拟。
Lex: 我应该提一下,我在德克萨斯州有机会遇到一个被称为“追风者”的群体。是的。关于他们真正令人难以置信的是,我需要和他们多聊聊,他们对技术非常精通,因为他们必须使用模型来预测风暴的位置。所以这是一种奇妙的结合,既要足够疯狂去进入风暴眼,又要为了保护你的生命并预测极端事件将发生在哪里,他们必须拥有越来越精密的 weather 模型。是的,这是一种美妙的平衡,既要像生物体一样身处其中,又要掌握最前沿的科学。所以他们实际上可能会使用 DeepMind 系统。所以那是...
德米斯: 是的,希望他们正在使用。而且我很想加入他们的追逐行动。它们看起来很棒,对吧?真正体验一次。
Lex: 没错。而且还能体验到正确的预测,知道某事将发生在哪里以及它将如何演变。这太不可思议了。是的。
通往AGI之路:定义、测试与挑战
Lex: 你估计我们将在2030年实现通用人工智能(AGI)。所以围绕这一点存在着有趣的问题。我们如何才能真正知道我们已经达到了目标?通用人工智能的第37步棋可能是什么?
德米斯: 我的估计是在未来五年内有大约50%的几率。所以,你知道,比如说,到2030年。所以我认为很有可能发生这种情况。其中一部分取决于你对通用人工智能的定义是什么?当然,人们现在正在争论这个问题。而我的标准一直很高,比如,我们能否匹配大脑所拥有的认知功能?所以我们知道我们的大脑几乎是通用的图灵机,近似的。当然,我们用我们的头脑创造了令人难以置信的现代文明。这也说明了大脑的普遍性。
为了知道我们是否拥有真正的人工通用智能(AGI),我们必须确保它拥有所有这些能力。它不是一种参差不齐的智能,在某些方面,比如今天的系统,它非常擅长,但在其他方面,它又存在缺陷。这就是我们目前通过今天的系统所拥有的。它们不一致。所以你会希望在各个方面都保持这种智能的一致性。然后我们还有一些缺失的能力,我认为,比如我们之前谈到的真正的发明能力和创造力。所以你会希望看到这些。
如何测试呢?我认为你只需要测试它。一种方法是对数以万计的人类可以做的认知任务进行某种程度的暴力测试,并且可能让世界顶尖的数百位专家,即各个学科领域的泰伦斯·陶,使用这个系统,看看他们是否能找到明显的缺陷,比如给他们一两个月的时间看看他们能不能找到。如果他们找不到,那么我认为你就可以相当自信地说我们拥有一个完全通用的系统。
Lex: 也许稍微反驳一下,似乎人类在所有领域都随着智力的提高而变得非常不可思议,以至于认为这是理所当然的。就像你提到的泰伦斯·陶,这些杰出的专家,他们可能会在短短几周内迅速将它能做的所有不可思议的事情视为理所当然,然后专注于“啊哈,就在那里”。你知道,首先,我认为自己是人类。我把自己定义为人类。你知道,有些人听我说话,他们会觉得,那家伙不擅长说话,结结巴巴的,你知道的。所以即使是人类,即使在数学和物理学等等领域之外,也有明显的跨领域局限性。我想知道是否需要像第37步这样的举动,从积极的方面来说,而不是像10000个认知任务的狂轰滥炸,在这10000个任务中,可能有一两个任务让人觉得,我的天,这太特别了。
德米斯: 没错,所以我认为既要进行全面测试,以确保一致性,也要关注像围棋37手那样的灯塔时刻。其中一个就是像爱因斯坦那样,提出关于物理学的新猜想或新假设。所以也许你可以非常严格地对它进行回溯测试,比如设置1900年的知识截止点,然后给系统提供1900年之前的所有文献,看看它是否能提出狭义相对论和广义相对论,对吧?就像爱因斯坦做的那样。那将会是一个有趣的测试。另一个是,它能否发明一种像围棋一样的游戏? 不仅仅是提出围棋37手,一种新的策略,而是能否发明一种像围棋一样深刻、具有美感和优雅的游戏?这些是我会关注的事情,而且可能需要一个系统能够完成其中几件事,对吧,才能使其非常通用,而不仅仅局限于一个领域。所以我认为这些迹象,至少是我会寻找的迹象,表明我们拥有一个达到通用人工智能(AGI)水平的系统。然后也许为了完善它,你还会检查一致性,确保系统中也没有漏洞。
Lex: 是的,类似新的猜想或科学发现。那会是一种很酷的感觉。
德米斯: 是的,那会非常棒。所以它不仅仅是帮助我们做到这一点,而且实际上是在提出全新的东西。
Lex: 而你也会参与其中。这样的话,可能要在宣布之前两到三个月。而你只会坐在那里,努力不发推特。
德米斯: 诸如此类,没错。这就像,这个惊人的新物理学想法是什么?然后我们可能会与该领域的全球专家核实,对吧?并验证它,并仔细检查它的运作方式。我想这也包括解释它的运作方式。是的,那将是一个了不起的时刻。
Lex: 您是否担心我们人类,甚至是像您这样的专家,可能会错过它?
德米斯: 嗯,它可能非常复杂。所以可能是,我给出的类比是,我认为对于最优秀的人类科学家来说,它不会完全神秘,但可能有点像,例如,在国际象棋中,如果我和加里·卡斯帕罗夫或马格努斯·卡尔森交谈并和他们下棋,他们走了一步妙棋,我可能想不出那一步棋,但之后他们可以解释为什么那一步棋有意义。我们可以在某种程度上理解它。达不到他们的水平,但如果他们善于解释,这实际上也是智力的一部分,即能够用简单的方式解释你在想什么。我认为对于最优秀的人类科学家来说,这非常有可能。
Lex: 但我在想,也许您可以在围棋方面给我一些指导。我想知道,马格努斯或加里是否有某些棋步,他们起初会认为这是臭棋。
德米斯: 是啊,当然。有可能。但之后他们会凭直觉弄明白为什么这样有效。然后从经验上来说,游戏的好处之一是,游戏最棒的地方之一是你可以把它当作一种科学测试。你能赢得游戏吗?还是不能?然后它会告诉你,好吧,最终这一步走得很好。这个策略是好的。然后你可以回过头来分析它,甚至向自己更多地解释为什么,并围绕它进行探索。象棋分析和类似的事情就是这样运作的。所以也许这就是为什么我的大脑会这样运作,因为我从四岁起就开始这样做了。而且你接受过训练,从某种程度上来说,那是种硬核训练。
Lex: 但即使是现在,比如当我生成代码时,也会出现这种细微的、引人入胜的争论,我一开始可能会认为一组生成的代码在某些有趣的细微之处是不正确的。但我总是不得不问这个问题,这里面是否隐藏着更深层的见解,而实际上是我自己错了?随着系统变得越来越智能,你将不得不面对这个问题。这就像,什么,什么,你,这是你提出的一个漏洞还是一个特性?
德米斯: 是的,而且它们将会非常复杂,但当然,你可以想象也会有AI系统生成那些代码或其他什么。然后人类程序员会查看它,但也会借助AI工具的帮助。所以这将会是一种有趣的,你知道,也许不同的AI工具,和那些监控工具比起来,它们更像是生成工具。
Lex: 所以如果我们看一个AGI系统,抱歉又提起来了,但Alpha Evolve,超级酷。因此,Alpha Evolve 在编程方面实现了递归式自我改进之类的可能性。如果我们能想象那个通用人工智能系统,也许不是第一个版本,而是之后的几个版本,它实际上会是什么样子?你认为它会很简单吗?你认为它会像是简单的自我改进程序吗?
德米斯: 我的意思是,这有可能是可行的,我会这么说。我不确定这是否是人们所期望的,因为这有点像是硬起飞 (情景),但是像Alpha Evolve这样的当前系统,你知道,它们有人工参与来决定各种事情。它们是独立的混合系统,彼此交互。人们可以想象最终实现端到端。我不明白为什么这不可能,但现在,你知道,我认为这些系统还不够好,无法在提出代码架构方面做到这一点。
并且,它与提出新的推测性假设的想法有些重新连接。就像,如果你给他们关于你试图做什么的非常具体的指示,他们就做得很好,但是如果你给他们非常模糊的高级指示,目前这是行不通的。比如,我认为这与发明一款像围棋一样好的游戏有关,对吧?想象一下,这就是提示。这就太不明确了。所以我认为,目前的系统不知道该如何处理,如何将其缩小到可处理的范围。而且我认为也有类似的,比如,只是做一个更好的自己。这太不受约束了。
但是我们已经做到了,你知道,正如你所知,通过Alpha Evolve,比如更快的矩阵乘法。所以当你把它磨练成你想要的非常具体的东西时,它非常擅长逐步改进它。但目前,这些更像是渐进式的改进,有点像小的迭代。然而,你知道,如果你想要在理解上取得巨大的飞跃,你需要一个更大的进步。
Lex: 是的,但它也可能是为了反击硬着陆情景。它可能只是一系列渐进式的改进,比如矩阵乘法。就像它必须在那里坐几天,思考如何逐步改进一件事。并且它是以递归的方式进行的。并且随着你做越来越多的改进,你的速度会减慢。对。就像,就像通往通用人工智能的道路不会是,它会是随着时间的推移而逐渐改进。
德米斯: 是的。如果只是渐进式的改进,那它看起来就会是那样。所以问题是,它能否提出一个新的飞跃,就像Transformer架构?是的。就像,它能否在2017年做到这一点,你知道,当我们和Brain做到这一点时?并且这些系统,像Alpha Evolve这样的东西,是否能够做出如此大的飞跃,这一点尚不清楚。所以可以肯定的是,这些系统很好。我认为,我们拥有可以进行增量爬坡的系统。这就引出了一个更大的问题,那就是从现在开始,是否只需要这些就够了?或者我们是否真的需要一两个更大的突破?
Lex: 同样的系统也能提供突破吗?所以把它做成一堆S型曲线。比如渐进式改进,但也时不时地有飞跃。
德米斯: 是的。我认为没有人拥有可以明确展示这些巨大飞跃的系统。对吧?我们有很多系统可以进行你当前所处的S型曲线的爬坡。
Lex: 是的。那应该是第37步,是吗?
德米斯: 是的。我认为会是一个跳跃,类似那样的。
计算、能源与文明的未来
Lex: 你认为缩放定律在预训练、后训练、测试时间和计算方面都保持强劲吗?反过来说,你是否预计人工智能的进展会遇到瓶颈?
德米斯: 我们当然觉得在扩展方面还有很大的空间。所以实际上是所有步骤,预训练、后训练和推理时间。所以有三种扩展同时发生。我们再次强调,这取决于你有多大的创新能力。我们为自己拥有最广泛和最深入的研究团队而感到自豪。我们拥有杰出、令人难以置信的研究人员,比如诺姆·沙泽尔,他提出了Transformer模型,还有戴维·席尔瓦,他领导了AlphaGo项目等等。这种研究基础意味着,如果需要像AlphaGo或Transformer这样的新突破,我会支持我们成为实现突破的地方。
所以实际上我非常喜欢地形变得更加困难,对吧?因为这样它就更多地从单纯的工程转向真正的研究,或者研究加上工程。那是我们的优势所在。而且我认为这更难。发明东西比快速跟进更难。因此,我们不知道,我想说这有点像五五开,是否需要新的东西,或者扩展现有东西是否就足够了。所以以一种真正的经验主义的方式,我们正在尽可能地推动这两方面。全新的蓝天创意,也许我们大约一半的资源都投入在其中。然后扩展到最大限度,即当前的能力。
Lex: 我们仍然看到 Gemini 的每个不同版本都取得了令人惊叹的进展。你用深度储备来描述它的方式很有意思,如果通往 AGI(通用人工智能)的进展不仅仅是扩展计算能力,还包括问题的工程方面,并且更多地是科学方面,需要突破,那么你是否认为 DeepMind,或者说 Google DeepMind,也同样有能力在该领域大展拳脚。
德米斯: 嗯,我的意思是,如果你回顾过去十年或十五年的历史,也许,我不知道,支撑当今现代人工智能领域的 80%、90% 的突破最初都来自 Google Brain、Google Research 和 DeepMind。所以,是的,我希望并支持这种情况继续下去。
Lex: 那么在数据方面,您是否担心高质量数据,尤其是高质量的人类数据会耗尽?
德米斯: 我不太担心,部分原因是我认为有足够的数据,而且已经证明这些数据足以让系统变得相当好。这又回到了模拟。如果你有足够的数据来进行模拟,这样你就可以创建更多来自正确分布的合成数据。显然,这是关键。因此,你需要足够的真实世界数据,才能创建那些类型的数据生成器。我认为我们目前正处于那个阶段。
Lex: 是的,你在科学和生物学方面做了很多了不起的事情,用不多的数据做了很多。是的。我是说,数据仍然很多,但我猜足以起飞。
德米斯: 让它运转起来,没错。的确如此。
Lex: 计算规模的扩大对于构建AGI有多么关键? 这是一个工程问题。这几乎是一个地缘政治问题,因为它也融入了供应链和能源,这是你非常关心的问题,即潜在的核聚变。也在能源方面进行创新。你认为我们会继续扩大计算规模吗?
德米斯: 我也这么认为。有几个原因。我认为计算方面,存在用于训练的计算量的问题。通常需要将它们放置在同一地点。所以实际上,即使是数据中心之间的带宽限制也会影响这一点。所以即使在那方面也有额外的限制。这对训练来说很重要,显然可以训练出最大的模型。而且,由于现在人工智能系统已应用于产品中,并被全球数十亿人使用,因此现在需要大量的推理计算。除此之外,还有思考系统,这是去年出现的新范式,即在测试时给予它们越长的推理时间,它们就会变得越聪明。
所以所有这些都需要大量的计算。我真的没看到这种趋势会放缓。随着人工智能系统变得更好,它们将变得更有用,对它们的需求也会更大。因此,无论是从训练方面来说,训练方面实际上只是其中的一部分,甚至可能成为总体计算需求中较小的一部分。
Lex: 是的,这有点像一个迷因梗,就像VEO3的成功和令人难以置信之处。人们会拿这个开玩笑,比如,它越成功,服务器就越辛苦。是的,完全正确。为了进行推理。
德米斯: 是的,是的,完全正确。我们做了一个小视频,关于服务器煎鸡蛋之类的,没错。我们必须想办法解决这个问题。我们有很多有趣的硬件创新要做。正如你所知,我们有自己的TPU产品线,并且正在研究诸如仅推理事物、仅推理芯片以及如何提高效率的问题。我们也非常有兴趣构建人工智能系统,并且已经在能源使用方面提供了帮助。例如,帮助数据中心节能,像冷却系统那样提高效率,优化电网,最终还有帮助等离子体约束聚变反应堆之类的事情。我们与联邦聚变公司在这方面做了很多工作,而且人们可以想象反应堆设计,我认为材料设计是最令人兴奋的。新型太阳能材料、太阳能电池板材料、超棒的室温超导体一直是我梦想突破和优化电池的清单上的项目。而且我认为,任何一个问题的解决方案都将对气候和能源使用产生绝对性的革命。而且我们可能已经接近了,并且在未来5年内将拥有能够切实帮助解决这些问题的人工智能系统。
Lex: 如果你要下注,很抱歉这个问题很荒谬,但在20、30、40年后,主要的能源来源会是什么?你认为会是核聚变吗?
德米斯: 我认为聚变和太阳能是我会押注的两种能源。太阳,我的意思是,当然,它是天空中的聚变反应堆。而且我认为真正的问题在于电池和传输。因此,除了更高效、越来越高效的太阳能材料之外,或许最终会在太空,类似于戴森球类型的想法。而聚变,我认为绝对是可行的,看起来,如果我们有正确设计的反应堆,并且能够足够快地控制等离子体等等。而且我认为这两件事实际上都会得到解决。所以我们可能至少会拥有,那些可能是可再生、清洁、几乎免费,或者可能免费能源的两个主要来源。
Lex: 真是个美好的时代。如果我与你一起穿越到100年后的未来,如果我们已经超越了1型卡尔达肖夫文明,你会感到多么惊讶?
德米斯: 如果从现在开始有大约100年的时间尺度,我不会感到那么惊讶。我的意思是,我认为很明显,如果我们以我们刚才讨论的其中一种方式解决了能源问题,即聚变或非常高效的太阳能,那么如果能源是某种程度上免费、可再生且清洁的,那么这将解决一大堆其他问题。举例来说,用水问题就消失了,因为你可以直接使用海水淡化。我们有这项技术,只是太贵了。所以只有像新加坡和以色列等相当富裕的国家才会实际使用它。但如果它很便宜,那么所有有海岸线的国家都可以使用。而且你还会拥有无限的火箭燃料。你可以用能量将海水分离成氢和氧,那就是火箭燃料。再加上埃隆令人惊叹的自着陆火箭,那就可能像太空巴士服务一样。这就开启了令人难以置信的新资源和领域。我认为小行星采矿将会成为现实,并将人类的繁荣推向星辰。这也是我梦想的,就像卡尔·萨根的那种将意识带到宇宙,唤醒宇宙的想法。而且我认为如果我们正确地使用人工智能并解决它带来的一些问题,人类文明将在完整的时间意义上做到这一点。
Lex: 是的,我想知道,如果你只是一个在太空中飞行的游客,那会是什么样子,你可能会注意到地球,因为如果你解决了能源问题,你可能会看到很多太空火箭。所以这就像伦敦的交通一样,只是在太空中,有很多火箭。然后你可能会看到漂浮在太空中的某种能源,比如太阳能。所以地球表面看起来会更加科技化。然后你将利用这种能量的力量来保护自然,比如热带雨林和所有类似的东西。
德米斯: 因为在人类历史上,我们第一次不会受到资源限制。而且我认为那可能是人类一个了不起的新时代,不再是零和博弈,对吧?我拥有这片土地,而你没有。或者如果老虎拥有它们的森林,那么当地村民就不能,他们该怎么办?我认为这会有很大帮助。不,它不会解决所有问题,因为仍然存在其他人类弱点,但至少会消除一个,我认为是其中一个主要因素,即资源的稀缺,包括土地和更多的材料和能源。我们应该像一些人所说的那样,进入另一种关于这种彻底富足时代的学派,在这个时代里有充足的资源可以分配。当然,下一个大问题是确保公平分配,并且社会中的每个人都能从中受益。
人性的游戏:冲突、意义与合作
Lex: 所以关于人性,我总觉得,就像《波拉特》里一样,像我的邻居,就像你挑起事端,我们确实会引发冲突。这就是为什么游戏一直以来,正如我实际上越来越多地了解到的那样,即使在古代历史上,也起到了使人们远离战争,实际上是热战的目的。所以也许我们可以设计出越来越复杂的电子游戏,来满足我们的那种冲动,那种类似于冲突的渴望,无论那是什么关于我们,关于人性的东西,然后避免实际的热战,因为随着日益精密的技术,我们早已过了我们所能创造的武器实际上可以摧毁所有人类文明的阶段。所以,再也不能用与邻居开战的方式来挑起事端了。最好是下盘棋。
德米斯: 或者踢足球。或者足球,是的。我认为这就是我的现代运动。我喜欢足球,喜欢观看。我只是觉得,而且我过去也经常踢足球。它非常发自内心,而且具有部落性。我认为它确实将很多能量导入到一个,我认为这是一种人类需要归属于某个群体的需求。但是进入一个有趣的方式,一个健康的方式,和一个非破坏性的方式,一种建设性的事物。
而且我认为再次回到游戏,我认为最初它们之所以如此伟大,比如让孩子们玩象棋,是因为它们是很好的小规模世界模拟。它们也是世界的模拟。它们是某些现实世界情况的简化版本,无论是扑克、围棋还是象棋,现实世界的不同方面或者外交的不同方面。它也允许你练习这些。而且,你知道,你一生中有多少次机会练习一个重大的决策时刻?你知道,该选择什么工作?该去哪所大学?你知道,你也许会,我不知道,一个人大概需要做出十几个左右的关键决定。而且你必须尽可能地把这些决定做好。游戏是一种安全的环境,可重复的环境,在那里你可以提高你的决策过程。并且它可能还有这个额外的好处,可以将一些精力引导到更具创造性和建设性的追求中。
Lex: 嗯,我认为练习失败和获胜也非常重要。对。比如失败真的是,你知道,这就是为什么我喜欢游戏。这就是为什么我喜欢巴西柔术之类的东西,在那里你可以在安全的环境中一次又一次地被打败。它提醒你关于方式、关于物理学、关于世界运作的方式,关于有时你输,有时你赢。你仍然可以和每个人成为朋友。是的。那种失败的感觉。我的意思是,对于我们人类来说,真正理解它是一件很奇怪的事情。就像那是生活的一部分。失败是生活的一个基本组成部分。
德米斯: 是的。而且我认为在武术中,正如我所理解的那样,但在像轻量级国际象棋这样的事情中,至少我所理解的方式是,它与自我提升、自我认知有很多关系,你知道,好吧。所以我做了这件事。这与真正超越另一个人无关。这是关于最大化你自己的潜力。如果你以一种健康的方式去做,你就会学会如何利用胜利和失败。不要被胜利冲昏头脑,认为你就是世界上最棒的。失败让你保持谦逊,并且始终明白总有更多东西需要学习。总有更资深的专家可以指导你。你知道,我想你会学到这些。我很确定在武术中是这样。我认为这也是至少我接受国际象棋训练的方式。因此,以同样的方式,它可以非常硬核,非常重要。当然,你想要赢,但你也需要学习如何以一种健康的方式处理挫折,并将你失去某些东西时的那种感觉转化为建设性的东西,例如下次我要改进这一点,对吧?或者在这方面做得更好。
Lex: 有些东西是幸福的源泉,是意义的源泉,它改进了这种状况。这与输赢无关。
德米斯: 是的,精通。在某种程度上,没有什么比“哇,这件我以前做不到的事情”更令人满足的了。现在我可以了。再次,游戏、体育运动和脑力运动都是衡量的方式。它们很棒,因为你可以衡量这种进步。
Lex: 是的。我的意思是,有些东西,我想这就是我喜欢角色扮演游戏的原因,比如技能树上的数字在增长。就像字面意义上那样,那是我们人类意义的来源。
德米斯: 无论我们如何——是的,我们非常沉迷于这种,是的,这些数字不断增长,也许这就是我们制作此类游戏的原因,因为很明显,这是我们自己也在进行爬山算法的系统,对吧?
Lex: 是的,如果我们没有任何机制,那将是非常可悲的。彩色腰带,我们到处都这么做,对吧?在那里我们只是拥有这样一件很棒的事情。而且我不想否定这一点。那是我们人类深刻意义的来源。
领导力与创新:重塑谷歌AI
Lex: 所以在商业和领导力方面,最令人难以置信的故事之一是谷歌过去一年所做的事情。所以我认为可以公平地说,一年前,谷歌在LLM产品方面因Gemini 1.5而失利,而现在凭借Gemini 2.5而获胜,你掌舵并领导了这项工作。在一年之内,从所谓的“失败”到所谓的“获胜”,需要付出什么?
德米斯: 是的,首先,我们的团队绝对是令人难以置信的,你知道,由科里、杰夫·迪恩和奥里尔以及我们在 Gemini 上的出色团队领导。绝对是世界一流的。所以,没有最优秀的人才,你做不到。当然,你知道,我们也有大量的强大计算能力,但更重要的是我们创造的研究文化,对吧?基本上是将谷歌的不同团队聚集在一起,你知道,有世界一流的谷歌大脑团队,然后是之前的 DeepMind,汇集所有最优秀的人才和最佳的想法,齐心协力打造我们所能做到的最伟大的系统。
这很困难,但我们都非常有竞争力,而且,你知道,我们热爱研究。做这件事太有趣了。而且,你知道,很高兴看到我们的发展轨迹。这并非理所当然,但我们对我们目前所处的位置以及进步的速度感到非常满意,这是最重要的事情。所以,如果你看看我们从两年前到现在,再到一年前到现在的发展历程,你知道,我认为我们的,我们称之为“沿着持续不断的进步方向持续交付”的做法非常成功。而且,你知道,整个领域,整个 AI 领域,竞争异常激烈,世界上一些最伟大的企业家、领导者和公司都在参与竞争,因为每个人都意识到 AI 有多么重要。而且看到这种进步,我们感到非常高兴。
Lex: 你知道,谷歌是一家庞大的公司。你能谈谈在这种情况下自然发生的事情吗,比如出现的官僚主义。比如,你想要小心,你知道,就像那种自然的,会有会议,会有经理,像这样,从领导力的角度来看,突破这些挑战是什么,以便像你说的,交付,就像过去一年交付的与Gemini相关的产品数量简直是疯了。
德米斯: 对,确实是。是的,没错。这就是坚持不懈的样子。我认为这是一个问题,就像任何大公司一样,最终都会有很多管理层级之类的事情,这在某种程度上是其运作方式的本质。但我仍然以创业公司的状态运营,我一直以老DeepMind作为一家创业公司来运营。规模很大,但仍然是一家创业公司。这也是我们今天仍然像对待谷歌DeepMind那样行事的方式,以果断的决心和从最佳小型组织中获得的活力行事。
我们试图兼得两全,既拥有数十亿用户、界面和令人难以置信的产品,我们可以用人工智能和我们的研究来增强它们。这太棒了。而且你知道,世界上很少有地方能让你一方面进行令人难以置信的世界级研究,另一方面又能将其应用并改善数十亿人的生活。这真是一个了不起的结合。我们不断地奋斗并削减官僚主义,以允许研究文化和坚持不懈的交付文化蓬勃发展。我认为我们已经取得了相当好的平衡,同时对此负责,你知道,作为一个大公司,你必须这样做,而且拥有大量的、你知道的、巨大的产品界面。
Lex: 所以你说的关于十亿级用户界面的事情很有趣,我和一位名叫欧文·芬克尔的家伙聊过,他是大英博物馆一位杰出的家伙。他是楔形文字的世界级专家,楔形文字是古代写在泥板上的文字。他不了解ChatGPT或Gemini。他甚至不认识任何人工智能,但他第一次接触到人工智能是在谷歌上的AI模式。是的。他说,这就是你所说的这种人工智能模式吗?然后,你知道,这只是提醒我们,世界上还有很大一部分人并不了解人工智能这件事。
德米斯: 是的,我知道这很滑稽。因为如果你生活在X和Twitter上,我的意思是,至少在我的订阅源里,全部都是人工智能。而且在某些地方,你知道,在硅谷和某些区域,每个人都在思考人工智能。但是很多普通人还没有接触过它。
Lex: 但是他们的第一次互动肩负着重大的责任。是的。广阔的印度农村或世界任何地方的规模。对,对。
德米斯: 我们希望它尽可能好。在很多情况下,它只是在后台驱动,使地图或搜索等功能运行得更好。理想情况下,对很多人来说,这应该是无缝衔接的。这只是一种新技术,它让他们的生活更有成效,并帮助他们。
Lex: Gemini产品和工程团队中的很多人都对你的另一个维度评价很高,这几乎出乎我的意料。因为我有点把你当作深奥的科学家,关心这些重大的研究科学问题。但他们也说你是个很棒的产品人,比如如何创造一款很多人会使用并乐于使用的产品。那么你能谈谈创造一款很多人会乐于使用的基于人工智能的产品需要什么吗?
德米斯: 是的,嗯,我的意思是,这又回到了我游戏设计的日子,那时我过去为数百万游戏玩家设计游戏。人们会忘记这一点。我在产品中使用尖端技术方面有经验。这就是九十年代游戏的样子。所以我真的很喜欢尖端研究与产品应用以及为全新体验提供支持的结合。因此,我认为这实际上是同一种技能,即设身处地地想象使用它的感受,并且如先前所说,拥有良好的品味。我认为,在科学中有用的东西,在产品设计中也同样有用。
我一直是一个跨领域的人。所以我真的看不到艺术和科学、产品和研究之间的界限。对我来说,这是一个连续统一体。我的意思是,我只从事尖端产品的研发,我喜欢这样做。我需要引擎盖下的尖端技术。如果它们只是普通的常规产品,我就不会对它们感到兴奋。因此,这需要发明创造能力。
人机交互的未来:从聊天框到心灵感应
Lex: 当您在LLM方面与Gemini互动时,您具体学到了一些什么?比如,您觉得布局、界面、或者延迟之间的权衡,例如如何呈现给用户,等待多久,以及如何展示这种等待,或者推理能力。这里有一些有趣的东西,因为就像你说的,它非常前沿。我们不知道如何正确地呈现它。那么你学到了一些具体的东西吗?
德米斯: 我的意思是,这是一个快速发展的领域。我们一直在评估这些,但我们目前的观点是,你想要不断地简化事物,无论是界面还是你在模型之上构建的东西。你想摆脱模型的束缚。模型列车正沿着轨道驶来,而且正在以令人难以置信的速度改进。我们之前谈到的这种 relentless 进步,你看看 2.5 版本与 1.5 版本,这简直是一个巨大的改进。而且我们期望未来版本也能如此。因此,这些模型正变得更加强大。
所以,在当今世界,关于AI优先产品的设计空间,有趣之处在于,你所设计的不是针对该事物今天能做什么,或者今天的技术能做什么,而是针对一年后。所以你实际上必须是一个非常懂技术的产品人员,因为你必须对以下情况有很好的直觉和感觉:好的,我现在梦想的东西今天无法实现,但研究路线图是否按计划在六个月或一年内基本实现这一目标?因此,你必须掌握这项高度变化的技术的发展方向,以及不断涌现的新功能,你以前没有意识到这些新功能,但它们可以使深度研究发挥作用,或者现在我们有了视频生成,我们该如何利用它?
这个多模态的东西,我有一个问题是,它真的会是我们今天拥有的当前用户界面吗?一旦你考虑到这些超级多模态系统,这些文本框聊天似乎不太可能,它不应该更像是《少数派报告》中的东西,你在某种协作方式中与之产生共鸣,对吗?今天看来非常受限制。我认为我们回顾今天的界面、产品和系统,可能会觉得它们在短短几年内就相当过时了。所以我认为在产品方面以及研究方面实际上都有很大的创新空间。
Lex: 然后我们在私下讨论这个键盘的问题,未决的问题是,我们会在何时、以何种程度转向以音频作为与周围机器交互的主要方式,而不是打字?
德米斯: 是的,我的意思是,即使你打字速度很快,打字也是一种带宽非常低的交互方式。我认为我们将不得不开始利用其他设备,无论是智能眼镜、音频、耳塞,最终可能是一些神经设备,以便我们可以将输入和输出带宽提高到现在的100倍。
Lex: 我认为被低估的艺术形式是界面设计。但我认为,如果没有合适的界面,你就无法释放一个系统的智能力量。界面实际上是你释放其力量的方式。如何做到这一点是一个非常有趣的问题。你会认为不碍事才是真正的艺术形式。
德米斯: 是的,这有点像我想史蒂夫·乔布斯总是谈论的那样,对吧?我们想要的是简洁、美观和优雅,对吧?而且我们还没到那一步,依我之见,还没人达到那一步。这就是我希望我们达到的目标。再次,这有点像再次出发,对吧?作为一款游戏,最优雅、最精美的游戏。你能做出一个像那样的精美界面吗?实际上,我认为我们将进入一个由人工智能生成的界面时代,这些界面可能是为你量身定制的。因此,它符合你的方式、你的审美、你的感觉以及你的大脑运作方式。人工智能会根据任务来生成这些,你知道,感觉这可能就是我们将要发展的方向。
Lex: 是的,因为有些人是高级用户,他们希望屏幕上显示每一个参数,一切都基于此,比如我,使用基于键盘的导航。我希望一切都有快捷方式。而且有些人喜欢极简主义。只是隐藏所有这些复杂性,是的,没错。嗯,我很高兴你也有史蒂夫·乔布斯模式,这太棒了。爱因斯坦模式,史蒂夫·乔布斯模式。
AGI竞赛与全球合作
Lex: 好了,让我试着引诱你回答一个问题。Gemini 3 什么时候发布?它是在 DTS 6 之前还是之后?世界都在等待这两者。从 2.5 到 3.0 需要什么?因为似乎已经发布了很多 2.5 的版本,它们在性能上已经有了飞跃。那么,升级到新版本到底意味着什么呢?是关于性能吗?还是关于一种完全不同的体验?
德米斯: 是的,嗯,所以我们不同的版本号运作方式是,我们,你知道,我们尝试收集,所以可能需要,你知道,大约6个月或类似的时间来完成一次新的完整运行和新版本的完整产品化。在此期间,会出现许多新的有趣的研究迭代和想法。我们将它们收集在一起,你知道,你可以想象过去6个月在架构方面产生的所有有趣的想法。也许是在数据方面,就像许多不同的可能性。我们收集这些,将其打包在一起,测试哪些可能对下一次迭代有用,然后将所有这些捆绑在一起。然后我们开始新的,你知道,巨大的英雄训练运行,对吧?然后当然会对其进行监控。
然后在预训练结束时,还有所有的后训练,有很多不同的方法可以做到这一点,不同的修补方法。所以那里有一个完整的实验阶段,你也可以从中获得很多收益。这就是你通常看到的版本号指的是基础模型,预训练模型的地方。然后是2.5的中间版本,你知道,以及不同的尺寸和不同的小补充,它们通常是补丁或后训练的想法,可以在相同的基本架构上之后完成。当然,最重要的是,我们还有不同的尺寸,Pro和Flash以及Flashlight,它们通常是从最大的那些中提炼出来的,你知道,Flash模型来自Pro模型。这意味着如果我们是开发者,我们有一系列不同的选择,你想优先考虑性能还是速度,对吧?还有成本。我们喜欢把这看作是帕累托前沿,你知道,一方面,Y轴是,你知道,像性能一样,然后X轴是,你知道,成本或延迟和速度,基本上。我们有完全定义前沿的模型。所以无论你作为个人用户或开发者想要什么样的权衡,你都应该找到一个我们的模型来满足这个约束。
Lex: 所以在转移性改变的背后,有一场大型的英雄行动。是的。然后就是产品化过程中疯狂的复杂性。然后是对沿着帕累托前沿不同规模的提炼。然后随着你采取的每一步,你意识到可能会有一个很棒的产品。还有支线任务。
德米斯: 是的,完全正确。
Lex: 但是,而且你也不想接受太多的支线任务,因为那样你就会有一百万个版本的一百万个产品。是的, .这非常不清楚,但你也会超级兴奋,因为它超级酷。比如怎么会,你看VEO,非常酷。它如何融入更大的事物中?
德米斯: 没错,没错。然后你不断地进行这个向上游收敛的过程,我们称之为,你知道,来自产品表面的想法,或者来自训练后,甚至更下游的想法,你将这些向上游输送到核心模型训练中,用于下一次运行,对吧?这样,主模型,主要的 Gemini 轨道变得越来越通用。
Lex: 最终,你知道,通用人工智能。一次一次的英雄运行。
德米斯: 是的,没错。几次英雄运行之后。
Lex: 是的。所以有时当你发布这些新版本,或者实际上是每个版本时,基准测试对于展示模型的性能是有益的还是适得其反的?
德米斯: 你需要它们。我敢打赌,重要的是你不要过度拟合它们。对吧?所以不应该有一个一劳永逸的结局。于是就有了LM竞技场,或者过去被称为Alemsis。那是其中之一,它以一种有机的方式成为了人们测试这些系统(至少是聊天机器人)的主要方式之一。显然,有大量的学术基准,用于测试数学和编码能力、通用语言能力、科学能力等等。然后我们有我们自己关心的内部基准。这是一种多目标,你知道的,优化问题,对吧?你不想只擅长一件事。我们正试图构建在各个方面都表现良好的通用系统。
而且你试图做出不会后悔的改进。比如你在编码方面有所提高,但它不会降低你在其他领域的表现。对吧?这就是困难的部分,因为你当然可以投入更多的编码数据,或者你可以投入更多的,我不知道,游戏数据,但这样做会不会让你的语言系统或翻译系统以及你关心的其他方面变得更糟?所以你必须不断地监控这套越来越庞大的基准测试。而且,当你把这些模型应用到产品中时,你也会关心直接的使用情况、直接的统计数据以及你从最终用户那里获得的信号,无论是程序员还是使用聊天界面的普通人。
Lex: 是的,因为最终你想衡量其有用性,但很难将其转化为一个数字。对。这实际上是基于大量用户的氛围型基准测试,很难知道。对我来说,拥有一个更聪明的模型,但它只是某种基于氛围的东西,这将是令人恐惧的。它不太管用。这太可怕了,而且你刚才说的一切,它必须在如此多的领域都既聪明又有用。所以你会非常兴奋,因为它突然解决了你以前从未解决过的编程问题,但现在它却写出糟糕的诗歌之类的东西。我不知道,这是一种压力,这种平衡太难把握了。而且因为你不能真正信任基准测试,所以你真的必须信任最终用户。
德米斯: 然后,其他更深奥的东西也会发挥作用,比如,你知道的,系统的角色风格,你知道的,它是冗长的吗?它是简洁的吗?它是幽默的吗?你知道,不同的人喜欢...