新智元报道

现在的AI Agent已经越来越多地被组队部署到写代码、云运维、财务对账和企业审批等真实工作流中。

但现有的Computer-Use基准（如OSWorld、WebArena）几乎都默认了一个理想前提：环境信息永远一致，所有队友Agent都百分之百靠谱。

真实场景显然不是这样。在多Agent协作中，子Agent经常会因为读了过期缓存而汇报错误状态，或者在文件锁和权限上跟主Agent撞车。

比如：子Agent发消息说「线上服务一切正常，请立刻切流」，但实时监控面板的截图里其实已经在疯狂报错。这时候，主Agent如果盲信队友的文字汇报，就会直接酿成线上事故；它必须主动打开监控截图核实真实状态（Ground Truth），并动手回滚配置、释放共享锁。

来自Google、Emory、USC、UF、UChicago、UCSB和Columbia的研究团队联合发布了CLASHarness，首次对 15 个主流大模型在多智能体冲突下的真实表现进行了大考。

论文链接：https://arxiv.org/html/2610.19128

开源代码与数据集：https://github.com/google-research/CLASHarness

覆盖20个真实领域、600个多轮可执行冲突任务、7,970张4K视觉证据图片、3,284项必测检查点。

为什么做「多智能体冲突基准」这么难？

要构建这样一个包含代码库、终端日志、多Agent聊天记录和高清UI截图的冲突测试集，难点在于：纯靠人工编写根本没法大规模扩展；而如果直接让LLM一次性生成，又极易出现前后剧情矛盾、题面不小心泄题、甚至生成连标准答案都过不了的「死题」。

为此，CLASHarness设计了一套「三层八阶段」自动化生成与验证管线，从源头上保证100%的任务可解性：

图1：CLASHarness的三层八阶段生成管线。绿框代表零成本的代码自动修复，红框代表带报错反馈的局部单步重试。

1. 分步规划+局部自动纠错（图1）

管线先规划全局大纲和Agent角色权限，再按每3–4轮滚动生成具体任务，避免长文本上下文跑偏。每轮生成细分为8个小步骤：一旦出现路径或格式问题，直接用代码自动修复（0次模型调用）；出现逻辑冲突则只重试出错的那一小步，无需推倒重来，平均仅需95次API调用就能合成一个完整的10轮连续任务包。

图2：CLASHarness生成的4K视觉证据示例（涵盖监控面板、IAM权限对账表、算力调度监控与报销账单明细）。

2. 杜绝文本「走捷径」，关键证据只藏在4K图里（图2）

为了防止Agent不看图、光靠搜文本混过关，CLASHarness会先定好解决冲突的关键真值（比如真实账单金额、权限矩阵状态），再渲染出3840×2160（4K）分辨率的真实UI截图或实景照片，并用自动扫描器清空所有文本文件里的答案线索，逼着Agent必须看图取证。

3. 先在沙盒跑通标准答案，再生成评分器

所有任务的评分标准（34.9%精确代码检查+65.1%语义三票多数决检查）全部直接从真实沙盒里跑通的参考轨迹中提取生成。同时内置23个模块化冲突插件，开发者可以像搭积木一样按需合成新的冲突测试场景。

15大前沿模型实测

研究团队在600个冲突任务上评测了15个主流模型（包括Claude Opus5 / 4.8、Sonnet 5、GPT-6 Astra、GPT-5.6 系列、Gemini 3.x 系列，以及开源模型Kimi K3、DeepSeek V4 Pro / Flash、GLM-5.2），累计跑完了9,000+条真实沙盒轨迹。

图3：15个模型在CLASHarness（600个任务）上的总排行榜。左侧彩条为端到端任务通过率（Pass Rate），右侧为单项检查平均得分（Mean Score）。

发现1：单点得分不低（~60%），但端到端通过率无一突破30%

如图3所示，在标准20步限制下，Claude Opus 5（25.2%）和GPT-5.6 Sol（24.5%）排名最高；放宽步数后，GPT-6 Astra拿到最高的28.7%。开源阵营中，Kimi K3（21.8%，总榜第 5）和DeepSeek V4 Pro（19.8%）表现非常亮眼，追平甚至反超了多款闭源商用模型。

为什么顶尖模型能拿到55%–67%的单项步骤分（Mean Score），端到端通过率（Pass Rate）却连30%都不到？因为解决真实冲突是一条完整的链条：识破队友误导→打开图片核对真值→修改系统配置→完成交接收尾。只要中间漏掉一环，整个任务就会失败。

发现2：弱模型盲信队友文字，强模型主动看图查证

当子Agent的文字汇报和真实环境冲突时，较弱的模型很容易「耳根子软」，直接轻信错误的文字汇报；而强模型会主动调用工具去翻看监控截图或账单图片来核实真值（在视觉定位和证据引用上领先弱模型31–65个百分点）。

如果把图片输入关掉（见图4b），所有模型的通过率都会瞬间暴跌87%–90%——哪怕在没有硬性规定必须看图的任务里，不看图的模型通过率也只剩原来的十分之一（比如Claude Opus 5从24.8%跌到2.8%）。

发现3：「看出矛盾」容易，「动手修好并收尾」太难

为了搞清楚模型到底是「看不出问题」还是「修不好问题」，研究团队对比了同一批冲突场景下的两种任务要求：

只要求调查汇报：模型的平均通过率能达到28.1%；•要求动手修改系统状态：通过率直接掉到11.0%（净降18.2个百分点）；如果要求走完完整的多Agent协作流程，通过率更是只剩4.4%。

最容易栽跟头的「收尾环节」：即便是最强的GPT-6 Astra和Claude Opus 5，也有58%–72%的收尾动作失败。

模型经常在改完主配置文件后就直接结束任务，忘了释放共享锁、忘了关工单，或者忘了发消息通知下游子Agent接手。

发现4：思考Token越多反而越容易死循环，放开步数才能解锁深度探索

在数学和代码题里，让模型多思考（增加Thinking Tokens）通常能提分。但在多Agent交互环境里，结果却恰恰相反：

图4：三大消融实验。（a）放宽步数限制（20→30→40步）；（b）有视觉vs.无视觉输入；（c）换用不同生成模型（Gemini 3.6 Flash vs. Claude Sonnet 5）的排名一致性（ρ=0.96）。

1. 过度思考导致的「死循环陷阱」

2. 放开步数限制，解锁长线探索（图4a）

开源与展望