这项由清华大学司舒正、赵浩哲等研究者联合北京大学、DeepLang AI及伊利诺伊大学香槟分校的团队共同完成的研究，发表于2025年10月7日的arXiv预印本平台，论文编号为arXiv:2510.05608v1。研究团队针对大语言模型在长期任务中缺乏全局规划能力的核心问题，提出了名为EAGLET的创新训练框架，让AI智能体告别"无脑试错"，学会像人类一样进行深思熟虑的规划。

当前的AI智能体虽然在短期对话和简单任务中表现出色，但在需要多步骤操作的复杂任务中却经常表现得像无头苍蝇一样盲目试错。就像一个人要完成"准备一顿丰盛晚餐"这样的任务，如果没有提前规划，可能会先烧水、再买菜、然后发现忘记预热烤箱，最后手忙脚乱地在各个步骤间跳来跳去，既浪费时间又可能失败。传统的AI智能体正是面临这样的困境。

研究团队观察到，现有的训练方法要么让AI通过大量专家标注数据进行有监督学习，要么通过强化学习让AI在环境中反复试错。前者就像让学生只靠死记硬背标准答案来学习，缺乏灵活应对新情况的能力；后者则像让学生在考试中盲目猜答案，虽然最终可能找到正确答案，但过程效率极低且成本高昂。更关键的是，这两种方法都只关注"局部规划"，即在每一步执行时才考虑下一步该做什么，缺乏对整个任务的全局把握。

EAGLET框架的核心创新在于将规划和执行完全分离，就像优秀的厨师会先制定完整的烹饪计划，再按计划执行每个步骤。该框架包含两个主要阶段：首先是"冷启动"的有监督微调阶段，然后是基于规则的强化学习阶段。

一、打造智能规划师：从顶级大模型中"萃取"规划智慧

研究团队首先面临一个实际问题：如何获得高质量的全局规划样本来训练规划器？传统方法通常依赖人工标注，这既昂贵又难以保证质量一致性。团队巧妙地选择了"站在巨人肩膀上"的策略，利用GPT-5和DeepSeek-V3.1-Think等最先进的大语言模型来生成初始规划样本。

这个过程就像邀请顶级大厨来制定菜谱。研究团队向这些先进模型提供任务描述和成功完成任务的详细过程，要求它们总结出可以重复使用的抽象规划步骤。例如，对于"在科学实验中测量物质密度"这个任务，规划器学会了"步骤1：寻找并收集所需的测量工具；步骤2：准备待测样本；步骤3：进行质量测量；步骤4：进行体积测量；步骤5：计算密度并记录结果"这样的通用规划模式。

但是，即使是最先进的大模型生成的规划也可能存在质量问题。有些规划可能过于复杂，有些可能遗漏关键步骤，还有些可能包含错误的逻辑顺序。为了解决这个问题，团队提出了"同源共识过滤"策略。

二、同源共识过滤：让多个"评委"共同把关规划质量

同源共识过滤的基本思想是让多个能力不同但架构相似的执行器来评估每个规划的有效性。研究团队选择了两个"同源"的执行器：一个是基础的Llama-3.1-8B模型（可以视为"新手执行器"），另一个是经过专门训练的GiGPO-Llama-3.1-8B模型（可以视为"专家执行器"）。之所以选择"同源"模型，是为了确保它们的差异主要体现在任务执行能力上，而不是在语言理解、上下文处理等基础能力上存在根本性差异。

过滤过程就像让两位水平不同的厨师按照同一份菜谱做菜。如果菜谱写得清楚合理，那么无论是新手还是专家都应该能按照菜谱做出像样的菜；但如果菜谱有问题（比如步骤顺序错误、缺少关键材料等），那么至少其中一位厨师会遇到困难，做出来的菜会明显不如他们不看菜谱时的水平。

具体来说，团队让每个执行器分别在有规划指导和无规划指导的情况下执行相同的任务，然后比较两种情况下的表现。如果某个规划确实有帮助，那么两个执行器在使用该规划时的表现都应该比不使用规划时更好。如果规划质量有问题，可能会导致其中一个或两个执行器的表现下降。只有通过这种"双重验证"的规划才会被保留用于训练。

通过这种方法，团队成功筛选出了真正有效的高质量规划样本，为后续的训练奠定了坚实基础。这些经过筛选的规划样本随后被用于对基础模型进行有监督微调，让规划器获得生成合理规划的初步能力。

三、执行器能力增益奖励：让规划器学会"因材施教"

仅仅通过有监督微调获得的规划器虽然能生成合理的规划，但往往只能处理与训练样本类似的简单任务。当面对更复杂或稍有变化的任务时，规划器可能会生成过于简单或不够精确的规划。为了让规划器能够处理各种难度的任务，研究团队设计了一个创新的强化学习阶段。

传统的强化学习方法通常直接使用任务完成率作为奖励信号，但这种方法存在明显缺陷。就像评价一份菜谱的好坏不应该只看最终做出的菜是否好吃，还要看这份菜谱是否真正起到了指导作用。如果一位厨艺精湛的大厨即使拿到一份糟糕的菜谱也能凭借自己的经验做出美味的菜，那么我们不能因此认为这份菜谱是好的。

为了解决这个问题，团队提出了"执行器能力增益奖励"（ECGR）机制。这个机制的核心思想是评估一个规划对不同能力水平的执行器带来的帮助程度。具体来说，团队让同样的两个同源执行器（新手和专家）分别在有规划和无规划的情况下执行任务，然后计算规划带来的性能提升。

更进一步，团队还在奖励函数中加入了"效率激励"因子。这意味着不仅要看规划是否能帮助执行器完成任务，还要看是否能帮助执行器更快、更高效地完成任务。就像好的菜谱不仅要保证菜的质量，还要尽可能减少不必要的步骤和等待时间。

通过这种方式，规划器逐渐学会了根据任务的复杂程度生成相应详细程度的规划。对于简单任务，规划器会生成简洁明了的步骤；对于复杂任务，规划器会提供更详细、更具体的指导。这种"因材施教"的能力让规划器能够有效处理各种难度级别的任务。

四、三大实验场景验证：从科学实验到网购都游刃有余

为了全面验证EAGLET框架的效果，研究团队在三个截然不同的长期任务场景中进行了大规模实验。

第一个测试场景是ScienceWorld，这是一个模拟科学实验室的虚拟环境。在这里，AI智能体需要完成各种科学实验，比如测量物质的熔点、观察化学反应、种植植物等。这些任务不仅需要多个步骤，还要求智能体理解科学原理和实验流程。就像一个真实的科学家需要先了解实验目标，然后准备实验器材，按照正确顺序进行操作，最后分析结果。

第二个测试场景是ALFWorld，这是一个家庭环境模拟器。智能体需要完成各种家务任务，比如"把加热过的杯子放到橱柜里"或"清洁土豆并把它放到冰箱里"。这些任务看似简单，但实际上需要智能体理解物理世界的常识，知道如何操作各种家用设备，并能够在复杂的家庭环境中导航。

第三个测试场景是WebShop，这是一个在线购物模拟环境。智能体需要根据用户需求在电商网站上搜索、比较和购买商品。这类任务需要智能体理解自然语言描述的购买需求，在庞大的商品数据库中找到合适的产品，并能够处理各种购买流程中的细节问题。

实验结果令人印象深刻。在所有三个测试场景中，配备了EAGLET规划器的执行器都显著超越了没有规划指导的基线方法。具体来说，在ScienceWorld的已见场景中，性能提升了约20个百分点；在未见场景中，提升幅度甚至达到了25个百分点。在ALFWorld中，已见和未见场景的平均提升都在15个百分点以上。在WebShop中，性能提升也达到了10个百分点左右。

更重要的是，这些提升不仅体现在任务完成率上，还体现在执行效率上。使用EAGLET规划器的智能体平均只需要更少的步骤就能完成同样的任务，这意味着规划器确实帮助智能体避免了无效的试错过程。

五、效率革命：训练成本降低8倍的技术突破

除了性能提升，EAGLET框架在训练效率方面也实现了显著突破。传统的强化学习方法需要智能体在环境中进行大量试错，通常需要数百个训练迭代才能收敛。而EAGLET框架由于采用了更精准的奖励设计和高质量的初始数据，只需要大约50个训练迭代就能达到优异性能，相比传统方法减少了8倍的训练时间。

这种效率提升的意义不仅在于节省计算资源和时间成本，更重要的是让更多研究团队和应用开发者能够负担得起训练高质量智能体的成本。就像从手工制作汽车发展到流水线生产，EAGLET框架让训练智能规划器从奢侈品变成了普通人也能使用的工具。

此外，EAGLET框架具有很强的"即插即用"特性。一旦训练完成，规划器可以轻松地与不同的执行器配合使用，而无需重新训练。这就像制定了一套通用的工作流程手册，不同能力水平的员工都可以参考这套手册来提高工作效率。

六、深度分析：为什么EAGLET能够脱颖而出

研究团队还进行了详细的消融实验，分析了EAGLET框架中每个组件的贡献。实验发现，如果移除同源共识过滤步骤，性能会下降约3个百分点，这证明了高质量训练数据的重要性。如果移除执行器能力增益奖励机制，性能下降幅度更大，达到了约5个百分点，这说明了创新奖励设计的关键作用。

团队还探索了规划插入位置对性能的影响。他们发现，将规划信息直接插入任务指令中效果最好，这比插入到智能体的思考过程中或环境观察中都要更有效。这个发现揭示了规划信息应该在智能体处理任务的最早阶段就发挥作用，而不是在执行过程中才起到指导作用。

另一个有趣的发现是，EAGLET生成的规划在多个维度上都优于直接使用GPT-4.1生成的规划。在正确性、可操作性和标准化程度方面，经过专门训练的规划器都表现得更好。这说明了专门的规划训练确实能够产生比通用大模型更适合特定任务的规划能力。

七、真实案例展示：AI智能体的规划能力对比

为了更直观地展示EAGLET的效果，研究团队提供了一个具体的案例分析。任务是"把一个热杯子放到橱柜里"，这看似简单但实际上需要多个精确步骤的协调。

没有规划指导的智能体表现就像一个慌乱的新手。它首先找到了一个马克杯而不是杯子，加热后放入橱柜，然后开始重复说"任务完成"但实际上任务并未正确完成。智能体陷入了无限循环，直到达到最大步数限制仍未成功。

使用传统MPO方法的智能体稍好一些，它有一个固定的行动序列，但这个序列基于错误假设（认为杯子在冰箱里），当发现冰箱里只有马克杯时，智能体虽然能够适应性地使用马克杯，但同样陷入了重复"任务完成"的循环。

相比之下，使用EAGLET规划器的智能体表现得像一个有经验的专家。它首先系统性地搜索杯子，找到马克杯后意识到任务要求的是"杯子"而不是"马克杯"，于是继续搜索直到找到真正的杯子。然后它高效地完成了加热和放置步骤，整个过程只用了16步就成功完成任务，展现出了清晰的目标导向和适应性。

八、技术创新的深层意义：从反应式到预见性AI

EAGLET框架的成功不仅仅是一个技术改进，它代表了AI智能体发展的一个重要转折点。传统的智能体本质上是"反应式"的，它们根据当前状态做出决策，缺乏对未来的预见和规划。而EAGLET让智能体具备了"预见性"，能够在执行任务之前就制定全局策略。

这种转变的意义可以通过一个简单的比喻来理解。传统智能体就像在迷宫中盲目摸索的人，每到一个路口就随机选择方向，虽然最终可能找到出口，但过程充满了回头路和无效探索。而配备了EAGLET规划器的智能体则像拿到了迷宫地图的人，能够事先规划最优路径，避免大部分不必要的探索。

这种预见性能力对于AI在现实世界中的应用具有重要意义。无论是工业机器人执行复杂装配任务，还是服务机器人帮助老年人完成日常活动，或者是自动驾驶汽车在复杂交通环境中导航，都需要这种全局规划和预见性决策的能力。

九、局限性与未来展望：技术发展的下一步

研究团队也诚实地指出了EAGLET框架的当前局限性。首先，目前的实验主要集中在基于文本的交互环境中，对于涉及图像、视频等多模态信息的复杂现实场景，框架的适用性还需要进一步验证。其次，同源共识过滤和执行器能力增益奖励机制虽然有效，但仍然依赖于多个执行器的可用性，这在某些应用场景中可能不太现实。

另外，虽然EAGLET显著提高了训练效率，但对于需要处理完全不同类型任务的跨领域应用，规划器的泛化能力仍有提升空间。目前的规划器在特定领域内表现优异，但要让同一个规划器既能处理科学实验又能处理家务活动，还需要更多的技术创新。

展望未来，研究团队认为有几个重要的发展方向。首先是扩展到多模态环境，让规划器能够处理包含视觉、听觉等多种感官信息的复杂任务。其次是开发更轻量级的评估机制，减少对多个执行器的依赖。最后是探索更强的跨领域泛化能力，让单个规划器能够处理更广泛类型的任务。

十、对未来AI发展的启示：从模仿到创造的跨越

EAGLET框架的成功为AI发展提供了重要启示。长期以来，AI研究主要关注如何让机器更好地模仿人类的行为模式，但EAGLET展示了一种不同的思路：让机器学会像人类一样思考和规划。

这种转变的深层意义在于，它让AI从简单的模式匹配和反应式行为转向了更高层次的认知能力。真正的智能不仅在于能够正确响应当前情况，更在于能够预见未来可能遇到的问题并提前制定应对策略。

从更广阔的视角来看，EAGLET框架代表了AI从"工具"向"助手"转变的重要一步。传统的AI更像是高级计算器，能够快速处理大量数据但缺乏主动性。而具备规划能力的AI更像是智能助手，能够理解用户的深层需求，主动提出解决方案，并协助用户实现复杂目标。

说到底，EAGLET框架最重要的贡献不仅在于提高了任务完成的效率和准确性，更在于为AI智能体注入了"深谋远虑"的能力。在一个越来越复杂和动态的世界中，这种规划和预见能力将成为AI系统不可或缺的核心特征。就像人类文明的进步离不开规划和前瞻思维一样，AI的下一个发展阶段也必然需要这种更高层次的认知能力。

当我们回顾这项研究时，会发现它不仅解决了一个技术问题，更重要的是为AI的未来发展指明了方向。在不久的将来，当我们与AI助手协作处理复杂项目时，当AI医生为我们制定长期治疗方案时，当AI教师为学生设计个性化学习路径时，EAGLET这样的规划框架将成为让这一切成为可能的基础技术。对于任何关心AI未来发展的人来说，这项研究都值得深入了解和持续关注。有兴趣了解更多技术细节的读者可以通过论文编号arXiv:2510.05608v1查询完整研究内容。

Q&A

Q1：EAGLET框架是什么？它解决了AI的什么问题？

A：EAGLET是清华大学团队开发的AI智能体训练框架，主要解决AI在长期复杂任务中缺乏全局规划、容易盲目试错的问题。它将规划和执行分离，让AI学会像人类一样先制定整体计划再逐步执行，避免了无头苍蝇式的随机尝试。

Q2：EAGLET的训练效率为什么比传统方法高这么多？

A：传统强化学习方法需要AI在环境中大量试错，通常要几百个训练周期。而EAGLET通过高质量的初始数据和精准的奖励设计，只需要约50个训练周期就能达到优异效果，训练成本降低了8倍。这主要得益于其同源共识过滤机制保证了训练数据质量，以及执行器能力增益奖励让学习更加高效。

Q3：EAGLET框架适用于哪些实际应用场景？

A：目前EAGLET已在科学实验、家庭任务和网购等场景中验证有效。未来可以应用到工业机器人装配、服务机器人护理、自动驾驶导航等需要多步规划的复杂任务中。不过目前主要适用于基于文本交互的环境，对多模态复杂场景的适用性还在进一步研究中。