这项由腾讯AI实验室的屈天元、柯磊、詹晓航等研究团队，联合香港中文大学和香港科技大学共同完成的研究，发表于2025年12月18日，论文编号为arXiv:2512.16864v1。对于想要深入了解技术细节的读者，可以通过该论文编号查询完整的学术论文。

当我们打开修图软件想要编辑一张复杂的照片时，经常会遇到这样的困扰：告诉AI"把那个穿蓝色背包的女士的鞋子改成红色"，但AI要么找错了人，要么把整个场景都搞得面目全非。这就是当前图像编辑AI面临的核心挑战——它们很难准确理解复杂场景中的具体指令，更难精准地只在需要的地方进行修改。

腾讯AI实验室的研究团队发现了这个问题的根源，并提出了一个叫做RePlan的创新解决方案。他们把这类挑战称为"指令-视觉复杂度"，就像是给一个刚学会识字的孩子一本复杂的地图，然后要求他找到特定的小巷并只在那里做改动一样困难。

这项研究的突破性在于，它首次将视觉理解和图像编辑在区域级别进行了深度结合。传统方法就像是用大刷子粗糙地涂色，而RePlan则像是拿着精细的画笔，能够准确地在每个需要的位置进行精确编辑。更令人惊叹的是，这个系统仅仅用了大约1000个训练样本就达到了超越那些用海量数据训练的大型模型的效果，这就好比一个学生只看了几道例题就能在考试中击败那些刷了成千上万道题的同学。

一、理解问题：当AI遇到复杂场景时为什么会"迷路"

在日常生活中，我们经常需要编辑包含多个相似物体的复杂照片。比如一张办公桌的照片上有多个杯子，我们想要"把那个用过的杯子换成小盆栽"。对于人类来说，我们能够通过观察杯子里是否有咖啡残留、杯子的摆放位置等线索来判断哪个是"用过的"杯子。但对于现有的AI系统来说，这种理解和推理能力还远远不够。

研究团队将这种挑战精确地定义为"指令-视觉复杂度"。这个概念包含三个相互交织的维度：首先是视觉复杂度，指的是图像本身包含多个相似物体、杂乱的布局或者模糊的边界；其次是指令复杂度，比如需要引用多个物体、包含隐含语义或需要外部知识的指令；最后是这两种复杂度之间的相互作用，使得编辑任务变得更加困难。

以"把桌上用过的杯子换成小盆栽"这个指令为例，AI需要首先理解什么叫"用过"的杯子，然后在可能有多个杯子的桌面上准确定位目标，最后还要确保替换过程不会影响周围的其他物体。这就像要求一个机器人在一个混乱的仓库里找到一个特定的、可能有细微磨损痕迹的工具，然后小心翼翼地只替换那一个工具，而不碰动周围任何其他东西。

现有的图像编辑方法主要分为两类：一类是端到端的方法，直接从指令生成编辑结果，但往往缺乏精确的空间推理能力；另一类是基于区域涂抹的方法，先定位区域再进行编辑，但依赖的定位模块往往不够准确，而且难以处理需要推理的复杂指令。更重要的是，这些方法都没有充分利用大型视觉语言模型在理解和推理方面的强大能力。

研究团队意识到，问题的关键在于如何让AI系统能够像人类专家一样，先仔细分析场景和指令，制定详细的编辑计划，然后精确地执行这个计划。这就好比一个经验丰富的照片修复师，他会先仔细观察整张照片，理解客户的需求，在脑海中规划好要在哪些具体区域进行什么样的修改，然后才开始动手操作。

二、创新方案：让AI学会"先思考再行动"

RePlan的核心创新就像是给AI配了一个智能助手和一个精密工具。这个智能助手负责理解复杂的指令并制定详细的行动计划，而精密工具则负责按照计划精确地执行编辑操作。

整个系统采用了"计划-执行"的两阶段架构。在计划阶段，一个基于大型视觉语言模型的规划器扮演着"智能助手"的角色。当接收到一个编辑指令时，这个规划器不会急于行动，而是先进行详细的思考过程。它会像一个经验丰富的编辑师一样，仔细分析图像中的每个元素，理解指令的真正含义，然后制定一个包含具体区域坐标和编辑提示的详细计划。

以前面提到的"替换用过的杯子"为例，规划器会这样思考：首先识别图像中所有的杯状物体，然后分析哪个杯子显示出"被使用过"的特征（比如里面有液体残留、位置表明刚被使用等），接着确定这个杯子的精确位置，最后生成具体的编辑指导，比如"在坐标[224, 372, 263, 431]的红色杯子替换为小盆栽"，同时还会生成保护性指令，如"在坐标[175, 329, 220, 388]的玻璃杯保持不变"。

在执行阶段，系统使用了一个创新的"训练-免费注意力区域注入"机制。这就像是给编辑工具装上了精密的导航系统，能够确保编辑效果精确地作用在指定区域，而不会"溢出"到不该修改的地方。传统的方法就像是用喷漆罐作业，很容易波及周围区域，而这个新机制就像是用精密的激光切割，只在需要的地方产生效果。

这个注意力机制的工作原理类似于一个智能的信息分发系统。在处理图像时，系统会根据区域规划将图像分割成不同的区域组，每个组只能接收到与其对应的编辑指令。这样确保了编辑指令不会相互干扰，同时保持了全局的一致性。就好比在一个大型orchestra中，每个乐器组只听自己的指挥，但整体仍然保持协调一致的演奏。

更令人印象深刻的是，这个系统支持并行多区域编辑。传统方法需要一个接一个地处理不同区域，就像装修房子时只能一个房间一个房间地刷漆。而RePlan可以同时在多个区域进行精确编辑，就像有多个专业工匠同时在不同房间工作，但彼此之间完美协调，不会产生冲突。

三、强化学习让AI变得更聪明

为了进一步提升规划器的能力，研究团队还采用了一种叫做GRPO的强化学习方法。这就像是给AI安排了一个严格而有效的训练课程，让它在反复练习中不断改进自己的规划能力。

这个训练过程分为两个阶段，就像学习写作一样先学会正确的格式，再学会精彩的内容。第一阶段专注于格式和推理质量的学习。系统学会如何用正确的格式输出规划结果，如何进行有条理的思考推理。这个阶段的奖励机制很简单但很重要：如果输出格式正确就给予积极奖励，如果推理过程详细就给予更高奖励。

第二阶段则引入了图像级别的评估。系统会根据最终的编辑结果获得反馈，学习如何制定更好的编辑计划。评估标准包括三个方面：编辑是否作用在了正确的目标上，视觉效果是否符合指令要求，以及其他区域是否保持了一致性。这就像一个学生不仅要学会解题的步骤，还要确保最终答案是正确的。

令人惊讶的是，这个强化学习过程只使用了大约1000个复杂的编辑指令样本。这相当于一个学生只做了1000道练习题就达到了超越那些刷了数万题的同学的水平。这种高效的学习能力得益于系统巧妙的架构设计和训练策略。

为了防止系统在优化过程中走偏（比如为了获得高一致性分数而干脆什么都不改），研究团队设计了巧妙的奖励权重机制。一致性分数会根据编辑效果进行加权，这样系统既不能偷懒不做编辑，也不能为了编辑而破坏其他区域，必须在两者之间找到完美的平衡。

四、全新基准：真正考验AI能力的"期末考试"

为了全面评估复杂图像编辑的能力，研究团队还创建了一个名为IV-Edit的新基准数据集。如果说现有的图像编辑测试就像是小学的数学作业，那么IV-Edit就像是为博士生设计的综合考试。

这个基准的设计理念是故意选择那些具有挑战性的场景。与现有数据集偏向选择主体突出、背景简单的图像不同，IV-Edit专门收集了那些包含多个相似物体、布局复杂、需要细致推理的图像。就像考试时故意出一些需要综合运用多种知识的综合题，而不是简单的基础题。

编辑指令的设计也更加贴近真实使用场景。研究团队定义了7种不同的引用类型，从简单的特征描述到需要外部知识的复杂推理。比如"特征引用"可能是"那个红色的杯子"，而"理解引用"可能是"那个负责场上指挥的运动员"，这需要AI理解运动员的角色和行为。

任务类型涵盖了16种不同的编辑需求，从简单的颜色修改到复杂的物理推理。比如有一类叫"预测编辑"的任务，要求AI根据物理规律或逻辑推理来预测和显示某种变化的结果。例如"展示这个蔬菜造型如果是匹诺曹刚说谎后会发生什么"，这需要AI理解匹诺曹的故事背景，并将这个知识应用到图像编辑中。

整个基准包含约800对指令-图像组合，平均每个指令包含21个单词，其中182个样本涉及多区域编辑。这些数字看似不大，但每个样本都经过精心设计和人工验证，确保它们真正能够测试AI在复杂场景下的理解和编辑能力。

评估方法也摒弃了传统的简单相似度比较，而是采用了更智能的多维度评估。系统会从目标准确性、一致性、质量和效果四个维度对编辑结果进行评分，每个维度都有具体的评判标准。这就像是请专业的摄影师和编辑从多个角度来评判作品质量，而不是简单地比较像素差异。

五、实验结果：令人印象深刻的性能表现

在IV-Edit基准上的测试结果显示，RePlan在多个关键指标上都表现出色，特别是在一致性方面取得了显著优势。一致性是指编辑后的图像中，非目标区域是否保持了原有的状态，这对于实际应用来说至关重要。没有人希望修改一个物体的颜色后，发现照片中其他物体也莫名其妙地发生了变化。

与现有的开源模型相比，RePlan在几乎所有评估维度上都显示出了明显的改进。更重要的是，即使与一些闭源的商业系统相比，RePlan也表现得相当出色。这特别令人印象深刻，因为那些商业系统通常使用了数量级更多的训练数据和计算资源。

研究团队还进行了详细的消融实验来验证系统各个组件的重要性。当移除链式思考推理能力时，系统性能明显下降，这证明了让AI"先思考再行动"策略的重要性。当使用其他视觉语言模型作为规划器时，虽然它们在推理能力上很强，但由于格式控制和边界框精度问题，最终效果不如经过强化学习优化的版本。

特别有趣的是关于边界框扰动的鲁棒性测试。研究团队故意在AI生成的区域坐标上添加随机噪声，模拟实际使用中可能出现的定位误差。结果显示，即使坐标精度下降了50%，系统仍然能够保持相对稳定的编辑效果。这就像一个熟练的画家，即使手稍微抖动也不会影响整体作品质量。

在处理重叠区域的测试中，RePlan也展现了出色的处理能力。当两个编辑区域有重叠时，系统能够智能地协调不同的编辑指令，确保重叠区域得到合理的处理。这就像两个装修工人需要在同一面墙上工作，他们必须协调好各自的任务，确保最终效果协调统一。

六、实际应用价值和未来展望

RePlan的技术突破为图像编辑领域带来了许多实际应用价值。在内容创作领域，设计师和创作者可以使用更自然的语言来描述复杂的编辑需求，而不必担心AI误解或执行错误。比如在制作广告图片时，创作者可以说"把那个看起来最新鲜的水果的颜色调得更鲜艳一些"，系统就能准确理解并执行。

在电商领域，商家可以更方便地批量处理产品图片。想要把所有产品图片中的背景替换为白色，同时保持产品本身不变，这在以前需要大量的手工操作，现在可以通过简单的指令自动完成。更进一步，商家甚至可以根据不同的营销需求，动态调整产品展示效果，比如"让这个手表看起来更适合商务场合"。

在教育和培训领域，这项技术可以帮助制作更生动的教学材料。历史老师可以说"给这张古代战争图片添加一些体现当时武器特色的细节"，系统就能根据历史知识进行合理的图像修改。

从技术发展的角度来看，RePlan代表了一个重要的趋势：将大型语言模型的推理能力与专门的生成模型相结合。这种"专业分工"的方法可能会在更多AI领域得到应用，每个组件都专注于自己最擅长的任务，然后通过精心设计的接口进行协作。

当然，这项技术也面临一些挑战和限制。首先是对计算资源的需求，虽然比端到端的大模型要效率更高，但仍然需要相当的计算能力。其次是在处理某些艺术性或高度主观的编辑需求时，可能还需要更多的人工指导。

研究团队也指出了一些未来的改进方向。比如如何进一步提高系统对艺术风格变化的理解能力，如何处理更复杂的三维空间推理，以及如何在保持编辑质量的同时进一步提高处理速度。

说到底，RePlan最重要的价值在于它让AI图像编辑变得更加智能和人性化。用户不再需要学习复杂的操作技巧或者反复尝试不同的参数设置，而是可以用最自然的语言表达自己的需求，然后让AI来理解和执行。这就像是有了一个真正理解你意图的专业助手，不仅能完成你交代的任务，还能避免那些你没有想到的潜在问题。

这项研究的成功也证明了一个重要观点：在AI发展的过程中，有时候最好的解决方案不是构建一个无所不能的巨大模型，而是让不同的专业模型各司其职，通过巧妙的协作来解决复杂问题。这种思路可能会为未来的AI系统设计提供重要启发。对于那些希望深入了解技术细节的读者，建议查阅原论文arXiv:2512.16864v1，其中包含了更多实验数据和技术实现的具体细节。

Q&A

Q1：RePlan和普通的图像编辑AI有什么不同？

A：RePlan最大的不同是采用了"先思考再行动"的方式。普通AI直接根据指令进行编辑，容易出错或影响其他区域。RePlan先用智能规划器分析图像和指令，制定详细的编辑计划，然后精确执行，就像专业编辑师会先规划再操作一样。

Q2：为什么RePlan只用1000个样本就能超越大型模型？

A：关键在于训练策略的巧妙设计。RePlan使用强化学习分两阶段训练：先学习正确的格式和推理方式，再根据实际编辑效果进行优化。这种方法比简单的大量数据堆叠更有效，就像有针对性的精英训练比盲目刷题效果更好。

Q3：RePlan能处理哪些传统图像编辑AI处理不好的场景？

A：RePlan特别擅长处理复杂场景中的精确编辑，比如在多个相似物体中准确定位目标、需要推理的编辑任务（如"把用过的杯子换成盆栽"）、多区域同时编辑等。它还能很好地保护非编辑区域不被意外修改，这是传统方法的常见问题。