这项由浙江大学牵头，联合南开大学、香港中文大学、上海交通大学及vivo AI实验室共同完成的重要研究发表于2026年2月，为人工智能领域的手机助手评测提供了全新视角。有兴趣深入了解的读者可以通过arXiv:2602.06075查询完整论文。

当你使用手机上的AI助手时，是否遇到过这样的情况：刚刚查询的商品价格转眼就忘了，需要在不同应用间切换时总是丢失之前的信息，或者同样的操作错误重复出现，AI助手似乎永远学不会？这些看似简单的问题背后，隐藏着当前智能助手技术的一个重大缺陷：记忆力严重不足。

想象一下，你让助手帮你比较几款手机的价格。一个有经验的人类助手会记住第一款手机的价格，然后在查看第二款时进行对比，最后给出建议。但现在的AI助手往往刚看完第一款手机就"失忆"了，无法完成这种看似简单的跨应用信息记忆任务。更严重的是，即使多次犯同样的错误，这些AI助手也不会从失败中学习，下次遇到类似情况还是会重蹈覆辙。

浙江大学的研究团队敏锐地察觉到了这个问题。他们发现，现有的手机AI助手评测体系就像是在测试学生的计算能力，却完全忽略了记忆力考查。在目前主流的评测基准中，真正需要记忆力的任务少得可怜，仅占5.2%到11.8%，而且完全没有测试AI助手能否从过往经验中学习的长期记忆能力。

为了填补这个巨大的评测空白，研究团队开发了一套名为MemGUI-Bench的全新评测体系。这套系统就像是专门为AI助手设计的"记忆力大考"，通过128道精心设计的题目，全面检验AI助手在复杂手机操作场景下的记忆表现。

一、智能助手的"记忆分类学"：短期记忆与长期记忆的奥秘

研究团队首先建立了一套完整的记忆分类体系，这就像是为AI助手的大脑绘制了一张详细的记忆地图。他们将AI助手的记忆能力分为两大类型，这种分类方法借鉴了人类记忆的工作机制。

短期记忆可以理解为AI助手的"工作台"。当你要求助手完成一项复杂任务时，比如在购物应用中查找商品价格然后到笔记应用中记录，助手需要在这个过程中暂时保存商品信息，就像人类在心中默记电话号码一样。研究团队发现，现有的AI助手在这方面采用了五种不同的"记忆策略"。

第一种是"记忆代理"模式，就像给AI助手配了一个专门的记录员，负责将所有重要信息整理成文字摘要。比如当助手查看了一个商品页面后，记录员会写下"刚才看的是iPhone，价格8999元，评分4.5星"。第二种是"行动思考"模式，助手会像自言自语一样记录每个行动的原因，形成一条完整的思考链条。第三种是"多轮对话"模式，将每次操作都当作一次对话，通过对话历史来保持记忆。第四种是"规则聚合"模式，按照预设的规则来整理和保存信息。第五种则是"零历史"模式，基本不保存任何历史信息，每次都从零开始。

长期记忆则像是AI助手的"经验库"。理想情况下，当助手第一次使用某个应用时可能会犯错，但通过积累经验，它应该能够学会更高效的操作方式，并且避免重复犯同样的错误。研究团队发现，目前只有两种主要的长期记忆实现方式：一种是从成功经验中提取可重复使用的"快捷操作"，另一种是从失败经历中总结教训以避免重复错误。

通过对11个主流AI助手的深入分析，研究团队发现了一个令人担忧的现象：绝大多数AI助手都缺乏有效的记忆机制，这解释了为什么我们在日常使用中经常感到它们"不够聪明"。

二、专为记忆力设计的"考试环境"：128道记忆挑战题

为了全面测试AI助手的记忆能力，研究团队精心设计了128道"考试题目"，这些题目覆盖了26个真实的手机应用，从购物到导航，从笔记到社交，几乎涵盖了我们日常手机使用的各个场景。

这些题目的设计理念就像是故意为AI助手设置记忆陷阱。比如其中一道典型题目是这样的：要求AI助手先在购房应用中查找奥斯汀的公寓信息并记住地址和租金，然后到搜索引擎中查找公司地址，接着用地图应用计算通勤时间，最后在笔记应用中记录完整的分析结果。这种"跨应用信息传递"正是最考验记忆力的场景，因为助手必须在不同应用界面切换的过程中保持对关键信息的记忆。

统计数据显示，这128道题目中有89.8%的题目都涉及复杂的记忆挑战，平均每道题需要36.2个操作步骤，其中78.1%的题目需要在多个应用间传递信息。题目难度分为三个等级：简单（37.5%）、中等（32.8%）和困难（29.7%），确保能够全面检验不同复杂度下的记忆表现。

更巧妙的是，研究团队将这128道题目设计成64对"镜像题目"。每对题目在应用组合和认知需求上相似，但具体要求不同。这样的设计是为了测试AI助手的长期学习能力：如果助手在完成第一道题目时积累了经验，理论上在做第二道类似题目时应该表现更好。

为了确保评测的公平性和可重复性，研究团队还开发了一套"快照式"评测框架。这个框架就像是游戏中的存档系统，每次测试前都能将手机环境恢复到完全相同的初始状态，确保每个AI助手都在相同条件下接受考验。这个系统还支持多次尝试评测，让AI助手有机会从失败中学习，这在以往的评测中是完全缺失的功能。

三、革命性的自动评分系统：三阶段渐进式判分法

评测AI助手的记忆任务比传统的简单操作任务要复杂得多，因为需要判断助手是否真正记住并正确使用了关键信息。传统的评测方法要么过于简单粗暴，要么成本高昂且效果不佳。研究团队为此开发了一套名为MemGUI-eval的智能评分系统，它采用了创新的"渐进式细查"方法。

这套评分系统的工作原理很像一个经验丰富的老师改作业的过程。老师不会一开始就仔细查看每一道题的详细解答过程，而是先快速浏览，将明显正确的答案快速判定，只有遇到疑难情况才会深入分析。

第一阶段是"快速筛选"。系统只查看任务的最后三张截图和基本操作记录，就像老师只看作业的最终答案。如果结果明显正确且完整，立即判定为成功，大大节省了评测成本。这个阶段能够处理约60%的明确成功案例，将评测效率提升了数倍。

第二阶段是"语义分析"。当第一阶段无法确定结果时，系统会启动专门的"步骤描述员"，为每个操作步骤生成详细的文字说明，然后由"语义判断员"综合所有信息做出判断。对于涉及记忆失败的情况，系统还会启动"信息保持率分析器"，精确计算助手成功记住了多少比例的关键信息，比如要求记住3条新闻标题，助手只记住了2条，那么记忆保持率就是66.7%。

第三阶段是"针对性视觉验证"。这是整套系统最创新的部分。与传统方法将所有截图一股脑地给AI判断不同，这个系统会让第二阶段的判断员明确指出"我需要看第5步和第12步的截图才能确定"，然后系统精准地提供这些截图进行最终判断。这种"按需供给"的方式避免了信息过载，同时确保判断的准确性。

为了验证这套评分系统的可靠性，研究团队进行了大规模对比实验。结果显示，他们的系统在准确性上达到了93.1%-99.0%，显著优于现有方法，同时评测成本降低了60%以上。特别是在处理跨应用的复杂记忆任务时，传统方法的准确率只有40%-61.5%，而新系统能够维持94.1%-100%的高准确率。

四、震撼的评测结果：11个顶级AI助手的记忆力"体检报告"

研究团队对11个当前最先进的手机AI助手进行了全面的记忆力测试，结果让人震惊。这就像是给一群被认为很聪明的学生进行了一次记忆力专项考试，发现他们的实际表现远远低于预期。

在单次尝试的测试中，表现最好的M3A助手也只达到了32.8%的成功率，而大部分助手的表现更是惨不忍睹。特别是那些被设计为端到端模型的助手，如CogAgent完全无法完成任何记忆密集型任务，成功率为0%。即使是表现较好的助手，当任务从简单（单应用）升级到复杂（四应用交叉）时，成功率会出现16-40个百分点的大幅下降。

更令人担忧的是，当研究团队将这些助手的表现与在传统评测基准上的表现进行对比时，发现了巨大的能力差距。比如Agent-S2在AndroidWorld基准上能达到54.3%的成功率，但在记忆密集型任务上只有27.3%，下降了27个百分点。GUI-Owl-7B的表现差距更加悬殊，从66.4%暴跌到6.2%，降幅达60.2个百分点。这种4-10倍的能力差距表明，传统评测严重高估了AI助手的实际能力。

研究团队还通过专门的"记忆消融实验"证实了记忆机制的重要性。他们系统性地移除了不同助手的记忆组件，结果发现短期记忆是绝对必需的。当移除M3A的记忆代理后，其成功率从32.5%暴跌到2.5%，信息保持率从35.1%直接归零，助手完全无法记住任何信息。而长期记忆虽然不是必需的，但能带来显著提升。Agent-S2移除长期记忆后，多次尝试成功率从45.0%下降到25.0%，失败恢复率从15.5%降到9.1%。

跨应用复杂性被证实是记忆能力的最大杀手。当任务涉及的应用数量从1个增加到4个时，顶级助手的表现会出现断崖式下跌。M3A从单应用的46.4%成功率下降到四应用的30.0%，而Agent-S2更是从50.0%暴跌到10.0%。这说明在不同应用界面间保持信息连贯性是当前AI助手面临的最大挑战。

令人惊喜的发现是，长上下文能力为记忆表现带来了重大突破。当研究团队让M3A助手使用更长的对话历史时，成功率从32.8%显著提升到51.6%，提升幅度达18.8个百分点。这就像是给助手扩大了"工作台"面积，让它能同时处理更多信息而不会遗忘。

长期记忆的价值也得到了验证，尽管目前还未被充分利用。Agent-S2通过其长期记忆机制，在多次尝试中实现了21.9个百分点的性能提升，从单次的27.3%提升到三次尝试的49.2%。这种学习能力让人看到了AI助手未来发展的潜力，但目前只有少数助手具备这种能力。

然而，先进的记忆架构也付出了沉重的计算代价。Agent-S2虽然记忆能力最强，但每步操作需要27.5秒，而M3A只需5.3秒。更关键的是，在实际部署环境下的资源约束条件下，复杂的记忆系统往往会因为token消耗过大而完全失效，这为实际应用带来了严峻挑战。

五、失败模式深度解析：五种"失忆症"的诊断报告

通过对1265次任务执行的详细分析，研究团队识别出了五种典型的记忆失败模式，这就像是为AI助手的"失忆症"做了一次全面的医学诊断。

第一种是"部分记忆幻觉"，占非超时失败的主要比例。这种情况就像是一个人记住了购物清单的前几项，但后几项却记错了。比如AI助手正确记住了NVIDIA股票价格是169.92美元，但却将苹果股票价格从实际的226.91美元错误记忆为143.92美元，导致最终计算结果完全错误。

第二种是"过程记忆幻觉"，这是最普遍的失败模式。助手在执行任务中途完全忘记了最终目标，就像是一个人走进房间却忘记了自己要做什么。一个典型案例是助手被要求查找智能手机市场份额数据并记录到笔记中，它成功找到了正确的图表，但随后就认为任务已经完成，完全忘记了还需要提取具体数据和创建笔记的步骤。

第三种是"输出记忆幻觉"，助手完成了正确的操作流程，但在最后输出时遗漏了关键信息。这就像是一个学生做题过程都对，但抄答案时漏掉了几个数字。比如助手成功查看了两个完整的应用权限列表，每个列表都有9个应用，但在创建最终笔记时只记录了其中的一部分。

第四种是"知识缺陷"，助手缺乏完成任务所需的基础知识。比如任务要求使用"N日历"应用，但助手错误地将Google日历识别为目标应用，这反映的是应用识别能力的不足，而非记忆问题。

第五种是"意图误解"，助手误解了任务要求。典型案例是任务要求比较两个维基百科版本的文章数量并停留在文章更多的版本页面，助手虽然正确识别出英文维基百科文章更多，但最终却停留在了德文维基百科页面，违背了任务要求。

统计分析显示，记忆相关的幻觉现象（前三种模式）占所有非超时失败的58.9%，证实了记忆缺陷确实是当前AI助手面临的核心问题。不同类型的助手表现出不同的失败特征：基于框架的助手更容易出现部分记忆幻觉，而端到端模型更容易出现过程记忆幻觉。

六、面向未来的设计启示：五大改进方向

基于详尽的失败模式分析，研究团队为未来的AI助手开发提出了五个重要的设计方向，这些建议就像是给AI助手开出的"记忆力提升处方"。

首要建议是开发"多粒度记忆缓冲区"。当前的助手就像是只有一个小抽屉来存放所有信息，当信息过多时就会混乱或遗失。更好的设计应该像是一个有多个分门别类抽屉的柜子，数字信息放一个抽屉，文字描述放另一个抽屉，界面状态信息再放一个专门的抽屉，这样能够避免信息相互干扰和遗失。

第二个建议是实施"层次化任务分解"。目前的助手容易在复杂任务中迷失方向，就像是一个人手里拿着一长串购物清单却不知道该按什么顺序购买。更好的方案是将复杂任务分解为多个子任务，并在整个执行过程中持续追踪总体目标的完成进度，确保不会在执行细节时忘记大目标。

第三个建议是"战略性长上下文利用"。研究发现，简单地将所有历史对话拼接起来并不是使用长上下文的最佳方式。更聪明的做法是对信息进行重要性排序，将最关键的信息放在最容易被注意到的位置，同时压缩或删除不重要的冗余信息，就像是制作一份高质量的会议纪要而不是简单的流水账记录。

第四个建议是建立"专门的长期记忆机制"。Agent-S2能够实现21.5%的失败恢复率和21.9个百分点的跨次尝试提升，证明了专门的学习机制的价值。这就像是让AI助手拥有一个"经验笔记本"，记录成功的操作模式和失败的教训，在遇到类似情况时能够快速调用相关经验。

最后一个建议是开发"混合式架构"。当前存在一个明显的权衡：基于框架的助手记忆能力强但计算消耗大，端到端模型效率高但记忆能力弱。理想的解决方案是结合两者优势，在处理简单任务时使用轻量级模型，只有在需要复杂记忆操作时才启动高级记忆系统，就像是汽车的混动系统在不同情况下选择最适合的驱动方式。

七、影响与展望：向人类级别的智能助手迈进

这项研究的意义远远超出了学术范畴，它为整个AI助手行业指明了发展方向。当前我们对AI助手的期望与其实际能力之间存在巨大鸿沟，很大程度上正是因为缺乏有效的记忆机制。

MemGUI-Bench作为首个专门针对记忆能力的评测基准，填补了这一关键空白。它不仅揭示了现有技术的局限性，更重要的是为改进提供了明确的路径。研究团队承诺将所有代码、基准测试和评估结果完全开源，并持续维护更新，这为整个社区的发展奠定了重要基础。

从长远来看，这项研究推动的技术进步将让我们的手机AI助手变得更加智能和实用。设想一下，未来的助手能够记住你的购物偏好，学会你的操作习惯，甚至从之前的错误中吸取经验，变得越来越聪明。这样的助手将不再是简单的工具，而是真正意义上的智能伙伴。

当然，技术进步也带来了新的挑战。如何在提升记忆能力的同时控制计算成本，如何确保记忆信息的隐私和安全，如何防止AI助手"记住"错误信息并持续犯错，这些都是未来需要解决的问题。

研究团队的工作为这个快速发展的领域建立了重要的评测标准和改进方向。随着更多研究者和开发者基于这个基准进行优化，我们有理由相信，具备强大记忆能力的AI助手将在不久的将来成为现实，真正实现人机交互的无缝体验。

Q&A

Q1：MemGUI-Bench与传统手机AI助手评测有什么不同？

A：MemGUI-Bench专门针对记忆能力设计，而传统评测基准中只有5.2%-11.8%的任务涉及记忆。它包含128道精心设计的记忆挑战题，其中89.8%需要跨应用信息记忆，并首次支持多次尝试评测以检验长期学习能力，填补了记忆评测的空白。

Q2：为什么现在的手机AI助手记忆力这么差？

A：研究发现主要有五个原因：部分记忆幻觉（记住一些忘记一些）、过程记忆幻觉（中途忘记目标）、输出记忆幻觉（操作对但输出错）、基础知识缺陷和任务理解错误。其中记忆幻觉占非超时失败的58.9%，说明记忆机制设计不足是核心问题。

Q3：哪种记忆机制对AI助手最重要？

A：短期记忆是绝对必需的，移除后助手基本失效，成功率会暴跌30个百分点以上，信息保持率直接归零。长期记忆虽非必需但很有价值，Agent-S2的长期记忆能带来21.9个百分点的提升和21.5%的失败恢复率，而普通助手的恢复率仅0.8%-4.4%。