当我们谈论人工智能时，总是会想到那些能聊天、能写作、能回答各种问题的大模型。但你知道吗？现在的AI已经不满足于只是回答问题了，它们正在变成真正的智能代理，就像是数字世界里的超级助手，能够帮我们处理复杂的任务，比如规划行程、管理文件、甚至协助科学研究。

这项由上海人工智能实验室、复旦大学、中国科学技术大学、上海交通大学、中科院自动化所、香港中文大学（深圳）、香港理工大学、武汉大学、清华大学等多家顶尖机构联合完成的研究于2025年1月20日发布，研究编号为arXiv:2601.14192v1。这个庞大的研究团队就像一支探险队，深入挖掘了一个所有人都关心但很少有人深入研究的问题：如何让这些智能代理既聪明又省钱？

要理解这个问题，我们可以把传统的大语言模型比作一个博学的图书管理员。当你问他问题时，他会翻阅脑中的知识库，然后给你一个答案。这个过程相对简单：你问一句，他答一句，任务就完成了。但智能代理就像是一个全能管家，它不仅要理解你的需求，还要制定计划、使用各种工具、记住之前的对话，有时还要和其他代理协作。这就像让图书管理员同时担任秘书、规划师、工程师和团队协调员的角色。

问题在于，这种复杂的工作方式让智能代理变得非常"烧钱"。研究团队发现，如果说普通大模型的运行成本可以用"每次对话消耗的代币数量"来衡量，那么智能代理的成本就像滚雪球一样越滚越大。每一步操作的输出都会成为下一步的输入，每次使用工具都要额外付费，每次查询记忆都要消耗资源。这就像是一个连环反应，成本呈指数级增长。

更让人头疼的是，传统的模型压缩技术在这里就不够用了。就好比你想让一辆赛车跑得更经济，光换个省油的发动机是不够的，你还得考虑轮胎、传动系统、车身重量等各个方面。对于智能代理来说，仅仅让基础模型变小是远远不够的，还需要从记忆管理、工具使用、任务规划等多个维度进行优化。

研究团队提出了一个全新的效率评估框架。他们认为，高效的智能代理应该像一个精明的企业家，既要最大化任务成功率，又要最小化资源消耗。这意味着我们需要在两种情况下评估效率：在相同预算下比较谁完成的任务更多，或者在达到相同效果时比较谁花钱更少。这就像是帕累托前沿的概念，寻找效果和成本之间的最佳平衡点。

一、记忆管理：数字大脑的精明理财术

智能代理面临的第一个挑战就是记忆问题。想象一下，如果你的大脑需要不断重新阅读所有的聊天记录才能记住之前说过什么，那将是多么低效。传统的方法就是这样做的：每次对话时，都要把完整的历史记录重新输入一遍。这就像每次见面都要重新自我介绍一样荒唐。

研究团队发现，高效的记忆管理就像一个优秀的图书馆系统，需要三个核心环节：建立记忆、管理记忆和访问记忆。这个过程就像人类大脑处理信息一样，需要将重要信息提取出来，定期整理，并在需要时快速检索。

在记忆建立方面，研究人员开发了两种主要策略。第一种是工作记忆，就像你大脑中的"便条纸"，用来临时存储正在处理的信息。这种记忆又分为文本记忆和潜在记忆两种形式。文本记忆就像是用简洁的文字记录要点，比如一个叫COMEDY的系统能够将长对话压缩成关键事件、用户特征和关系变化的摘要。而潜在记忆则更像是大脑中的"直觉"，将信息转换成计算机能够快速处理的数字形式，比如Activation Beacon技术能够将长文本的关键信息压缩成特殊的"信标"，大大减少处理时间。

第二种是外部记忆，就像是一个外接的硬盘，可以存储大量信息而不影响主处理器的速度。这种方法又细分为几个子类型。项目式记忆就像是一个井井有条的文件柜，每个记忆都是一个独立的文件。比如MemoryBank系统会根据遗忘曲线来管理记忆，重要的信息会被经常复习，不重要的会逐渐淡化。图谱式记忆则像是一张关系网络图，将不同的信息通过关联性连接起来。Zep系统就是这样工作的，它会将对话中的实体和关系构建成一个时间感知的知识图谱，这样就能快速找到相关信息。层次式记忆就像是一个多层书架，重要信息放在容易拿到的地方，详细信息放在后面。MemGPT系统采用了类似操作系统的虚拟内存管理方式，将记忆分为系统指令、工作上下文和外部存储等不同层次。

记忆管理就像是一个精明的仓库管理员，需要决定什么时候添加新物品、什么时候清理旧物品、什么时候合并相似物品。规则式管理就像是有一套固定的规章制度，比如超过一定时间的记忆会被自动删除，这种方法快速但不够灵活。大模型式管理则更加智能，就像有一个聪明的管理员能够根据具体情况做决定，比如Mem0系统能够智能地决定是添加新记忆、更新现有记忆，还是删除过时信息。混合式管理结合了两种方法的优点，既有基本的规则保证效率，又有智能判断保证质量。

记忆访问就像是图书馆的查询系统，需要能够快速准确地找到所需信息。传统的方法是通过相似性搜索，就像用关键词查找文章。但更先进的方法会考虑时间因素、重要性评分等多个维度。有些系统甚至会使用层次化检索，先从大类别开始搜索，再逐步细化到具体内容，这样既快速又准确。

在多代理系统中，记忆管理变得更加复杂，就像是管理一个大家庭的共同记忆。有些信息需要全家共享，有些则是个人专属。共享记忆就像是家庭群聊，大家都能看到重要消息。本地记忆则像是个人日记，记录专属信息。混合记忆则结合两者，既有共同话题，也保留个性化内容。

二、工具学习：数字工匠的省钱技艺

智能代理的第二个核心能力是使用工具，这就像是一个万能工匠，需要从工具箱中选择合适的工具来完成任务。但问题在于，如果工具箱里有成千上万种工具，而且每次使用都要付费，那如何做到既完成任务又控制成本呢？

工具选择就像是在巨大的五金店里挑选工具。当面对数千种工具时，不可能把所有工具说明书都塞给AI看。研究团队开发了三种主要的选择策略。第一种是外部检索器，就像是一个智能导购员，当你描述需求时，它能够从大量工具中筛选出最相关的几个。ProTIP系统就采用了对比学习的方法，能够理解查询和工具之间的语义关系，逐步缩小搜索范围。

第二种是多标签分类，适用于工具数量相对固定的场景。TinyAgent系统将工具选择看作是一个分类问题，使用轻量级的模型快速判断哪些工具可能有用，概率超过50%的工具会被选中。这种方法特别适合边缘设备，因为它只需要很小的计算资源。

第三种是词汇表式检索，这是一种特别聪明的方法。ToolkenGPT系统将每个工具都编码成一个特殊的"词汇"，这样工具选择就变成了普通的下一词预测任务。这就像是给每个工具起了一个特殊的代号，AI只需要"说出"这个代号就能调用对应的工具。

工具调用的效率优化就像是一个熟练工人的工作技巧。传统的方法是一步一步来，先选工具，再填参数，最后执行。但高效的方法会采用就地参数填充，在生成回答的过程中直接填入工具参数，这就像是边说话边动手，大大提高了效率。

并行工具调用是另一个重要的优化策略。当需要查询多个城市的天气时，不需要一个一个地查，而是可以同时发起多个查询。LLMCompiler系统就像是一个智能的工程管理器，能够分析任务依赖关系，将可以并行执行的任务同时进行，大大节省了时间。

成本感知的工具调用就像是一个精打细算的项目经理。BTP系统将工具使用问题转化为背包问题，在预算限制下选择最优的工具组合。这种方法会预先计算每个工具的使用频率和成本，制定前瞻性的执行计划。

测试时缩放是一种聪明的资源分配策略。ToolChain系统使用A*搜索算法来导航复杂的操作空间，通过任务特定的成本函数提前剪除错误分支，只探索最有希望的路径。这就像是在迷宫中找路时，能够提前判断哪些路是死胡同。

后训练优化则通过强化学习来教AI更好地使用工具。OTC-PO系统在训练目标中加入了工具使用惩罚，让AI学会在保证准确性的前提下最小化工具调用次数。ToolOrchestra系统更进一步，使用效率感知的奖励机制训练专门的协调器，能够以更低的成本达到更好的效果。

工具集成推理是将工具使用融入整个推理过程的高级技术。这就像是一个经验丰富的专家，知道什么时候该动手，什么时候该动脑。SMART系统能够智能判断是使用内部知识还是调用外部工具。TableMind系统采用规划-行动-反思的循环，在安全的沙箱环境中生成和执行代码，通过排名感知的策略优化来提高决策质量。

三、规划能力：智能大脑的高效决策术

智能代理的第三个核心能力是规划，这就像是一个优秀的项目经理，需要在有限的资源下制定最优的行动方案。传统的规划往往假设有无限的计算资源，但现实中我们必须在效果和成本之间找到平衡。

高效规划的核心理念是将深思熟虑看作一个资源受限的控制问题。就像一个聪明的CEO，必须持续权衡深入思考带来的边际收益和额外计算成本。研究团队将这个问题分为两个主要方向：单代理规划效率和多代理协作效率。

在单代理规划中，研究人员开发了多种推理时策略。自适应预算和控制就像是一个会调节工作强度的智能助手。SwiftSage系统将快速行为和缓慢规划分离开来，默认使用启发式方法处理简单任务，只有在需要结构化推理时才启动复杂的规划器。这种方法就像是人类的直觉反应和深度思考的结合，既保证了反应速度，又不失准确性。

预算感知的工具策略分配是另一种聪明的方法。系统会根据当前的资源预算动态调整工具使用策略，就像是根据钱包里的钱来决定购物清单。当预算充足时可以使用更强大但更昂贵的工具，当预算紧张时则选择更经济的替代方案。

结构化搜索是解决组合爆炸问题的有效方法。语言代理树搜索（LATS）将代理的行动轨迹重新构想为蒙特卡洛树搜索，通过自我反思来指导探索。这就像是在下棋时，不是考虑所有可能的走法，而是重点分析最有希望的几步。CATS系统更进一步，将成本感知直接集成到搜索树中，提前剪除昂贵的分支。

任务分解是另一个重要的效率优化策略。ReWOO系统将规划和执行解耦，先生成完整的行动蓝图，避免了逐步执行时的代币冗余。这就像是先画好施工图纸，再按图施工，避免了反复修改的成本。HuggingGPT系统则更进一步，将子任务分派给专门的模型处理，每个模型都在自己擅长的领域发挥最大效用。

基于学习的演进策略通过训练来内化规划逻辑。这分为两个方向：策略优化和记忆技能获取。QLASS系统使用Q值评价器来指导搜索，学会优先选择高价值的行动。ETO系统通过试错偏好学习来优化策略，让AI从错误中学习更好的决策方式。

VOYAGER系统通过构建可重用的技能库来分摊规划成本。这就像是一个经验丰富的工匠，积累了大量的解决方案模板，遇到相似问题时可以直接套用，而不需要从头开始思考。GraphReader系统和其他图增强模型利用结构化记忆来支持长上下文检索，GAP系统则识别可并行化的行动来提高效率。

多代理协作效率面临着二次通信成本的挑战。当代理数量增加时，相互通信的开销会呈平方增长，这就像是开会的人越多，达成共识越困难。

拓扑效率和稀疏化是解决这个问题的关键策略。Chain-of-Agents和MacNet等系统将通信图限制为近线性复杂度的结构化拓扑，比如链式或有向无环图。这就像是将混乱的群聊变成有序的接力传递，每个人只需要和特定的几个人交流。

选择性交互协议进一步过滤交流回合。MARS系统和S2-MAD系统只在观点分歧时触发辩论，避免了不必要的直接点对点噪声。更高级的方法如AgentPrune、AgentDropout和SafeSieve会动态学习剪除低效用的边缘，或在推理过程中逐步稀疏化图结构。

协议和上下文优化通过压缩交流内容来提高效率。CodeAgents系统使用简洁的伪代码来编码推理过程，而Smurfs系统会丢弃失败的搜索分支以防止上下文膨胀。同时，提示级控制也能加速收敛，Free-MAD和ConsensAgent系统通过工程化的提示来鼓励批判性推理，而SMAS等监督者系统会提前终止冗余的循环。

协调蒸馏到规划是最激进的优化方法，通过将集体智能内化到单个代理模型中来完全避免运行时协调成本。MAGDI和SMAGDi等系统将复杂的交互图或"苏格拉底式"分解蒸馏到单个学生模型中。D&R系统使用师生辩论生成偏好树进行直接偏好优化。这些方法保留了多样化视角的质量优势，同时回到了单代理的较低推理成本。

四、评估基准：智能代理的体检报告

为了科学地评估智能代理的效率，研究团队开发了一套完整的评估框架，就像是给智能代理做全面体检。这个框架不仅要看代理能否完成任务，更要看它们完成任务的性价比如何。

在记忆评估方面，研究人员既关注效果也关注效率。效果评估通常通过下游任务成功率来间接衡量，比如使用HotpotQA和Natural Questions等问答数据集，或者GAIA等需要多步交互和工具使用的交互式代理基准。同时，也有专门针对记忆能力的直接评估，如LoCoMo和LongMemeval等基准测试。

效率评估则更加多样化。一些记忆基准会额外报告效率相关的指标。比如Evo-Memory基准引入了步骤效率，测量达到目标所需的环境步数，步数越少说明记忆机制支持更简洁可扩展的推理。StoryBench报告运行时成本和代币消耗，作为处理长期任务时模型处理的上下文信息量的代理指标。MemBench甚至将时间效率纳入评估，报告每个记忆操作的读写时间，以突出在实际部署中可能过于缓慢的配置。

在具体的效率指标方面，代币消耗和API成本是最常用的信号。许多研究报告以代币使用量来衡量效率，有些还会将代币使用转换为货币成本。时间相关指标则关注延迟和运行时开销，包括整体运行时间、端到端延迟、推理时间等。资源相关指标量化硬件消耗，如GPU内存使用量。交互相关指标捕获代理与语言模型或推理过程的交互强度，如每次响应的平均语言模型调用次数。

工具学习的评估仍然缺乏统一的效率基准，但这对基于语言模型的代理至关重要，因为工具使用往往主导交互成本并驱动端到端成功率。评估可以分为三个基准系列：选择和参数填充、模型上下文协议下的工具学习，以及代理式工具学习。

对于工具构建和选择，SealTools使用语言模型高效生成大规模工具和用例。UltraTool从真实场景中的用户查询开始，评估模型的工具创建任务。metaTool专门关注是否使用工具以及从候选集中选择哪个工具的决策过程。

参数填充和模式遵循方面，伯克利函数调用排行榜（BFCL）是一系列用于工具学习评估的基准，包括具有多轮多步对话的真实应用工具。API-Bank提供了73个工具的手动注释基准，更适合常见对话。

多工具组合评估对于现实任务至关重要。NesTools对多工具调用问题进行分类，为嵌套工具学习提供全面分类。τ-Bench是零售和航空领域的简单工具学习基准，τ2-Bench进一步扩展到电信领域。ToolBench是一个大规模数据集，从RapidAPI收集了超过16000个API，但存在在线API稳定性和重现性问题。

基于模型上下文协议的工具学习评估中，MCP-RADAR明确通过工具选择效率、计算资源效率和执行速度等指标评估效率。MCP-Bench通过"并行性和效率"标准使用语言模型作为评判者来评估代理效率。

代理式工具学习评估主要关注复杂的搜索增强任务。SimpleQA旨在评估语言模型提供事实正确的简短答案的能力。BrowseComp让人类训练者创建具有简短可验证答案的挑战性问题。SealQA评估在事实搜索问题上的搜索增强语言模型，这些问题的网络搜索结果可能相互冲突、嘈杂且无用。

规划评估通常通过下游任务成功率间接评估效率，如SWE-Bench、WebArena和WebShop等代理基准。在代理系统中，效率不仅取决于语言模型端的计算，还取决于闭环交互成本。

一些专门的规划效率基准开始出现。基于Blocksworld领域的结构化基准从效率角度报告端到端执行时间、规划尝试次数、代币消耗和相应的货币成本。TPS-Bench不仅评估效果，还使用代币使用量、端到端时间和工具调用轮数来评估规划和工具效率。CostBench在动态变化下对成本最优的工具使用规划进行基准测试，使用成本差距和路径偏差来评估效率。

五、挑战与未来：智能代理的进化之路

尽管在智能代理效率方面已经取得了显著进展，但研究团队也坦诚地指出了当前面临的挑战和未来的发展方向。

首先是建立统一的效率评估框架的迫切需要。目前不同研究使用不同的效率指标和评估维度，这就像是用不同的尺子测量同一个物体，很难进行公平比较。有些研究只关注代币消耗，有些关注运行时间，有些关注步骤数量，评估阶段的定义也不统一。这种异质性使得很难系统性地分析不同记忆设计的成本效益权衡。

代理式潜在推理是一个充满前景的新方向。最近几个月，人们对语言模型的潜在空间推理越来越感兴趣，即在连续隐藏表示中进行中间计算，而不是完全外化为自然语言代币。与代币级的"解码和阅读"推理相比，潜在推理可以减少代币开销，并可能在多步计算过程中保留更丰富的高维信息。然而，现有工作主要关注独立的语言模型设置，而代理式潜在推理仍相对未被探索。这个差距很重要，因为代理场景引入了额外的要求，如工具使用、长期规划、记忆管理和行动验证，这些与纯文本推理不同。

部署感知的代理设计也是一个重要的发展方向。受MemAgent和Chain-of-Agents启发，这些方法通过分块上下文并顺序处理来解决长上下文推理问题，研究团队认为代理系统应该更加部署感知。在实践中，多代理设计可以实现为真正的多模型部署，也可以实现为单模型角色扮演管道，这些实现在编排开销、延迟和可靠性方面存在显著差异。未来的工作应该在匹配的资源预算下比较这些替代方案，并报告端到端的成本效益指标。

多模态大模型代理的效率挑战和方向也值得关注。已经出现了大量基于多模态大模型的代理方法，包括配备多模态记忆的代理、明确增强多模态代理规划和决策的方法，以及基于语言模型和多模态大模型骨干构建的多代理系统等。然而，多模态代理的效率相对未被探索。在现实部署中，由于需要在严格的延迟和计算预算下快速响应，效率至关重要。

与纯语言设置相比，基于多模态大模型的代理往往在不同的操作空间和任务结构中运行，如基于GUI或具身交互，而多模态感知和定位可能在长期交互中引入额外的延迟和复合错误。特别是，长期多模态任务需要维护视觉历史，重新编码每一步的视觉上下文的累积计算负担在基于多模态大模型的代理中创造了比基于语言模型的代理更严重的记忆保留和推理速度之间的权衡。

说到底，这项研究为我们描绘了智能代理发展的一个重要趋势：从单纯追求能力提升转向能力与效率的平衡优化。就像汽车工业从追求马力最大化转向追求综合性能和燃油经济性一样，AI领域也正在经历类似的转变。

这种转变对普通人意味着什么呢？首先，更高效的智能代理将使AI技术更加普及和可及。当运行成本大幅降低时，更多的个人和小企业将能够负担得起使用先进的AI助手。其次，这将推动AI应用的创新，因为开发者不再需要担心过高的运行成本限制了他们的创意。最后，这也为AI的可持续发展奠定了基础，避免了计算资源的浪费。

当然，这个领域仍有许多未解之谜等待探索。比如如何在保证质量的前提下进一步压缩成本，如何在不同应用场景下找到最优的效率策略，如何建立更加公平统一的评估标准等等。但正如研究团队所展示的，通过系统性的研究和创新，我们正在逐步接近既聪明又节俭的理想AI助手。

如果你对这个领域的技术细节感兴趣，可以通过arXiv:2601.14192v1查询完整的研究论文，其中包含了更多具体的算法实现和实验结果。这项研究不仅为学术界提供了宝贵的理论框架，也为工业界的实际应用指明了方向，相信未来我们会看到更多高效智能代理在各行各业中发挥作用。

Q&A

Q1：什么是智能代理的效率问题？

A：智能代理的效率问题是指这些AI系统在执行复杂任务时成本会像滚雪球一样越来越高。与普通大模型一问一答不同，智能代理需要记忆管理、工具使用、任务规划等多个步骤，每一步的输出都成为下一步的输入，导致资源消耗呈指数级增长，就像连环反应一样烧钱。

Q2：高效记忆管理是如何工作的？

A：高效记忆管理就像优秀的图书馆系统，包含三个环节：建立记忆（将长对话压缩成摘要或转换成数字形式）、管理记忆（通过规则或AI智能决定添加删除更新）、访问记忆（快速准确检索所需信息）。这样避免了每次都重新处理完整历史记录的低效做法。

Q3：智能代理效率优化对普通人有什么好处？

A：效率优化让AI技术更普及可及，当运行成本大幅降低时，更多个人和小企业能负担得起先进AI助手；推动AI应用创新，开发者不再被高成本限制创意；为AI可持续发展奠定基础，避免计算资源浪费，最终让大家都能享受到更便宜更好用的AI服务。