你有没有想过，教会一个机器人做一件事，和教会它做一个完整的家务，中间隔着多远的距离？

拿起杯子不难，难的是知道杯子在哪、手该怎么弯、力气该用多大、水会不会洒出来。更难的是，这一切还得在三维空间里实时发生，而不是在一张平面照片上。过去几年机器人学习领域一直在跟这个问题较劲，而最近一篇名叫PointWAM的论文，给出了一个挺巧妙的答案。

**核心问题：机器人要么看不懂世界，要么做不了精细活**

先说说现在主流的机器人控制方法大概分两派。

一派叫VLA

视觉语言动作模型（Vision-Language-Action model）：输入一张图片和一句指令，直接输出机器人该怎么动。

这类模型简单粗暴，看图说话，但有个问题：它们不会去想象"如果我这么做，世界会变成什么样子"。就像你让一个从没炒过菜的人直接颠勺，他可能手忙脚乱，因为他脑子里没有油温升高、食材翻滚这个过程的预演。

另一派叫世界动作模型（World Action Model，简称WAM），这派的想法更聪明一点：既然预判未来有助于做出正确动作，那就让模型同时学两件事，一是预测世界会怎么变化，二是预测该采取什么动作。这个思路挺合理，问题出在"世界"这两个字具体怎么表示。

现有的WAM大多把世界表示成一帧帧的RGB图像，或者这些图像压缩后的隐藏特征。这就好比你想描述一个立体的苹果，却只给出它在某个角度拍的照片。照片能告诉你苹果是红的、大概多大，但告诉不了你苹果背面有没有磕碰，更别说你伸手去摸的时候，手指该怎么弯才能贴合果皮的曲面。对于那些需要精细接触、要考虑三维几何形状的灵巧操作任务，比如用两根手指捏住一根细管子插进孔里，这种二维的表示方式天生就有点先天不足。

有人试过另一条路：直接追踪三维空间里的点轨迹来指导动作，这类叫做"基于点的策略"（point-based policy）。但这类方法有个明显短板，它们只关心手部关键点怎么运动，完全不管周围的场景（也就是被操作的物体和环境）会怎么跟着变化。还有一类工作反过来，专门预测场景的三维运动，但它们把机器人的动作当成已知输入，而不是需要预测的东西，相当于世界模型做得挺好，但没法直接拿来控制机器人。

换句话说，之前的方法要么世界建模做得不错但不出动作，要么动作预测做得不错但世界建模很弱，很少有人把这两件事用同一套三维表示方式捏合在一起。PointWAM这篇论文要解决的，正是这个缝隙。

**PointWAM的设计思路：把场景和手都变成三维点云的轨迹**

PointWAM的核心想法说起来并不复杂：既然三维空间信息这么重要，那就把整个世界，包括背景环境（论文里叫"场景"）和机器人的手，统统用三维点云来表示，并且让模型同时预测这些点未来会怎么移动。

具体来说，给模型一段彩色点云

点云（point cloud）：由很多个带坐标和颜色的三维点组成的数据，常用来表示扫描或拍摄到的真实三维场景。

和一句语言指令，比如"拿起浇水壶给植物浇水"，模型会输出两样东西：场景里每一个点未来会往哪移动，以及手部关键点未来会往哪移动。这两个预测被放在同一个时空坐标系里，意味着场景怎么变、手怎么动，是被放在一起理解的，而不是两条互不相干的线。预测完手部轨迹之后，再通过一个叫"动作重定向器"的模块，把这些手的运动转换成机器人真正能执行的关节角度和末端位置指令。

这里有个细节很值得琢磨：场景点的预测不需要人工挑选"哪个物体是重要的"。

如果不这样设计会怎样？之前提到的点策略方法（Point Policy、Dexterous Point Policy）都得靠人或者外部的识别模型先把目标物体框出来，告诉模型"你要盯着这个杯子看"。这就好比你请了个保姆，但每次做饭之前你都得先帮她把菜洗好切好分类摆盘，她才能开始炒。PointWAM不需要这道预处理工序，它对观察到的每一个点都一视同仁地预测轨迹，这意味着模型能从海量没有标注"重点物体"的人类演示视频里学东西，而不用等人工标注员一个个去圈出任务相关的物体。这对于"大规模预训练"这件事来说至关重要，因为人工标注是贵的，而且会限制住能用的数据规模。

**为什么要同时预测场景和手，而不是只预测手？**

这是整篇论文最关键的设计决策之一，也是实验里验证得最扎实的一点。

论文做了个对照实验：拿掉场景轨迹的监督信号，只让模型预测手的运动，其他条件都不变。结果平均成功率从64.4%掉到了53.5%，掉了近11个百分点。这说明单纯让模型"看见"三维场景是不够的，必须让它去预测场景会怎么变化，才能学到更有用的东西。

这背后的道理其实挺直觉的。

想象你在教一个孩子倒水。如果你只让他盯着自己的手该怎么拿杯子，他学会的只是一套固定的手部动作，换个杯子换个角度他就懵了。但如果你同时让他观察水流出来的时候水面怎么上升、杯子会不会因为变重而需要调整抓握力度，他学到的是手和被操作对象之间的因果关系，这种理解能迁移到各种杯子各种场景。PointWAM里的场景轨迹预测，起的就是这个"同时观察水面变化"的作用，它逼着模型的共享骨干网络去学习手和环境之间是怎么相互影响的，而不只是死记硬背一套动作序列。

论文里还对比了另一种更轻量的世界建模方式：不用三维点轨迹，改成预测未来某一帧图像在特征空间里的样子（类似已有工作FLARE的做法）。这个方案比完全不做世界建模要好一些，达到60.1%，但还是比三维点轨迹的64.4%低了4.3个百分点。这说明预测三维空间里真实的点怎么移动，比预测一张图像的隐藏特征怎么变化，信息量更丰富也更贴近物理现实。

**怎么让场景识别本身也更懂三维结构**

除了"要不要预测场景"，论文还研究了"怎么理解场景"这个问题。

PointWAM用了一个叫Mosaic3D的编码器

编码器（encoder）：把原始输入（比如点云、图像）转换成一组数字特征向量的神经网络模块，这些特征向量浓缩了输入里对任务有用的信息。

这个编码器是专门在三维点云上训练的，预训练目标是让三维点的特征和文字描述对齐，所以它天生就擅长捕捉物体的三维几何结构。

论文还测试了另一种更常见的做法：用一个在二维图像上训练的编码器（DINOv3）提取特征，再把这些特征"贴"到对应的三维点坐标上，这种做法叫"特征提升"（lifted features），PointWorld这类工作就是这么干的。结果这种二维特征提升的方式只拿到59.0%的成功率，比直接用三维编码器低了5.4个百分点。

这个差距说明了什么？

提升特征这件事，相当于给一堆三维点贴上了二维照片里学到的标签，点的位置是三维的没错，但描述这个点"是什么、周围形状如何"的信息，根子上来自一张平面照片。就像你给一个盲人摸到的物体贴上写有文字描述的标签，标签的位置没错，但标签上写的内容是别人用眼睛看出来的，而不是靠手摸出来的。真正直接在三维点云上训练出来的特征，能更准确地捕捉到物体表面的凹凸、朝向这些只有"摸"过才知道的信息，这对需要精细接触的灵巧操作来说，差距就体现在那5.4个百分点上。

**从人类视频里学会操作：预训练带来的巨大提升**

PointWAM最打动人的一个结果，是它证明了人类演示视频居然可以被有效利用来训练机器人策略，而且效果惊人。

论文用了两个人类演示数据集：EgoDex

EgoDex：一个大规模第一人称视角的人类手部操作视频数据集，记录了手部关节的三维姿态。

和VITRA，总共115万段演示片段。这些视频里没有机器人的动作指令，只有人的手在三维空间里怎么运动、周围物体怎么跟着变化。论文的做法是，把这些视频处理成和机器人演示数据格式完全一致的"场景轨迹+手部关键点轨迹"，这样同一个模型骨干就能同时吃人类视频和机器人数据这两种"食物"。

效果有多夸张？在DexJoCo基准测试上，没有经过人类视频预训练的PointWAM平均成功率只有12.1%，而经过预训练之后，成功率跳到了60.1%，接近五倍的提升。

相比之下，论文测试的另外三个基线方法（GR00T N1.6、Fast-WAM、PointACT）本身已经用了大规模的机器人数据或者视频文本对预训练过，加上EgoDex预训练之后，成功率变化幅度都在1.4个百分点以内，基本没什么反应。这说明预训练的收益不是来自"看过更多数据"这么简单，而是来自PointWAM这套共享三维点轨迹表示方式本身,人类的手和机器人的手虽然长得不一样，但在"手部关键点怎么在三维空间里移动"这个抽象层面上，是可以直接复用经验的。

这就好比你学过用自己的手去拧瓶盖，虽然你没有机械手指，但这个"手腕旋转、手指施力"的动作模式本身是可以迁移给一个戴着厚手套的人的，因为核心的运动逻辑是相通的。如果不做这种统一的表示，人类视频和机器人数据就是两种语言，模型学了人类视频也用不上，这也正是为什么其他基线方法从人类视频里几乎学不到东西，它们的表示方式压根没给这种迁移留出接口。

论文还做了数据规模和模型规模的扩展实验。数据量从32.4万段（只用EgoDex）增加到114.8万段（加上VITRA的全部数据），成功率从60.1%一路涨到69.0%。模型参数量从3900万增加到6.55亿，成功率从52.3%涨到69.0%，中间还经历了一个有意思的现象：参数量从3900万涨到1.06亿时，成功率反而从52.3%掉到了50.1%，直到模型足够大（3.26亿参数以上）才开始显著受益。这提示我们，小规模的三维骨干网络可能还没有足够的容量去消化这么丰富的轨迹监督信号。

**实战检验：在模拟和真实机器人上到底表现如何**

说了这么多设计理念，终究要看实际效果。

论文主要在三个场景下做了测试。第一个是DexJoCo，一个模拟环境里的灵巧操作基准，包含十个任务，比如用锤子钉钉子、玩河内塔、组装零件，有单手任务也有双手协作任务，机械臂末端装的是16自由度的灵巧手（Allegro Hand）。PointWAM用一个策略同时应对十个任务，平均成功率达到69.0%，比最强的对比方法GR00T N1.6（一个大规模预训练的视觉语言动作模型）高出11.7个百分点，比π0.5高出19.0个百分点。在十个任务里，PointWAM有八个拿到了最高分。

第二个测试场景是RoboDojo-Precision，专门考验高精度放置能力的任务集，机械臂换成了平行夹爪而不是灵巧手。这个很有意思，因为PointWAM本来是为多指灵巧手设计的，论文想看看它的点轨迹表示方式能不能迁移到完全不同构型的夹爪上。结果PointWAM平均得分8.8分（满分制的部分进度分），成功率4.8%，虽然绝对数字不高（这套任务本身就很难，连基准排行榜上的方法都很少能完成），但已经超过了用大规模机器人数据预训练过的GR00T N1.6（6.2分、2.3%）。这说明PointWAM学到的那套"手部关键点在三维空间里怎么移动"的知识，确实具有一定的跨构型迁移能力。

第三个是真实机器人实验，用的是一台叫OpenArm的人形机器人平台，配两只7自由度机械臂和两只6自由度的灵巧手（Inspire RH56F1），搭配一台立体相机采集深度信息。测了两个任务：拿香蕉放篮子，以及双手协作把一个方形插销插进孔里。

拿香蕉这个任务里有个很说明问题的细节：当香蕉换成一个颜色和桌面很接近的未见过的盒子时，依赖RGB图像的GR00T N1.6和π0.5成功率分别只有16.7%和25.0%，而PointWAM达到58.3%。原因不难理解，基于颜色信息的模型在颜色对比度低的情况下很容易"找不到"目标物体，但PointWAM靠的是三维形状信息，盒子长什么样、边缘在哪里，这些信息不会因为颜色相近而消失。

这就像在雾天开车，如果你完全依赖看路牌的颜色来判断方向，雾一大你就抓瞎了；但如果你的车装了激光雷达去感知周围物体的实际轮廓，雾天对你的影响就小得多。插销插孔任务上PointWAM达到50.0%成功率，远高于另外两个方法的16.7%和25.0%，论文分析发现问题主要出在"插入"这一步，需要精确的双手协同对位，而三维点轨迹预测恰好能提供这种精细的空间对齐信息。

**几个容易被忽略但很关键的工程细节**

论文里还藏着几个挺值得一提的细节决策。

手部表示方式的选择。论文对比了用"解剖学关键点"（比如手掌上固定的几个点加指尖，总共十个点）去表示手，和直接用"深度采样的手部表面点"去表示手，哪种效果更好。结果关键点方式达到64.4%，而表面点方式只有43.6%到44.6%左右。原因是关键点在人类手和机器人手之间有语义上的对应关系，比如"食指指尖"这个概念在两种手上都存在，表面点就没有这种天然的对应性，模型很难建立起跨形态的联系。

体素大小的选择。把三维空间切成多大的网格单元（体素）会影响效果，论文试了0.5厘米、1厘米、2厘米三种，结果1厘米是最优的，达到64.4%，比0.5厘米的59.9%和2厘米的52.2%都好。太粗的网格会把接触的细节都模糊掉，太细的网格又没能给输入的深度图像带来额外有用的细节，属于"不多不少刚刚好"的那种设计。

另外论文还发现，把Mosaic3D这个视觉编码器在微调阶段也跟着一起训练，反而会让成功率从64.4%掉到54.9%。这是个挺有启发性的结果，说明这个预训练好的三维编码器已经学到了足够通用和稳健的几何特征，如果在小规模的机器人数据上继续微调它，反而容易把这些通用特征"带偏"，学到一些只对当前任务管用但缺乏泛化性的细节。这跟很多视觉大模型微调时的经验是一致的：预训练特征越是经过大规模、多样化数据锤炼过，越应该谨慎对待继续微调它的冲动。

Q&A

Q1：PointWAM是什么？

A：PointWAM是一种三维世界动作模型，它把机器人需要理解的世界拆分成场景和手两部分，用三维点轨迹的方式同时预测两者未来的运动，再把手部轨迹转换成机器人实际可执行的动作。

Q2：PointWAM靠什么实现了人类视频预训练的大幅效果提升？

A：因为它把人类手部和机器人手部都表示成同一套三维关键点轨迹格式，这样同一个模型骨干既能学人类演示视频，也能学机器人数据，预训练后DexJoCo平均成功率从12.1%提升到了60.1%。

Q3：PointWAM和GR00T N1.6等主流VLA模型相比优势在哪？

A：在DexJoCo模拟基准上平均成功率超出GR00T N1.6约11.7个百分点，在真实机器人实验中面对颜色和背景接近的未见过物体时，PointWAM依靠三维形状识别，成功率明显高于依赖RGB图像的基线方法。