新智元报道

编辑：LRST

Canvas-to-Image 是一种新型图像生成框架，将多种控制方式（如身份、姿态、空间布局）整合到一个统一画布中，用户可通过直观操作生成高保真、多控制的图像。它简化了创作流程，让用户在单一界面完成复杂创作，为AI创作工具提供了新范式。

大型扩散模型虽然能生成高质量图像，但在处理复杂的组合场景时仍存在挑战。现有方法往往有如下缺点：

控制单一且分散：身份控制、姿态控制、空间布局需要分别处理，难以协同。

交互性差：用户只能通过文本描述，无法直观地控制生成过程。

最新研究Canvas-to-Image在交互式可控生成方面提供了一种新的范式：用户可以在统一画布上直接叠加多种视觉控制提示，包括放置人物参考图以指定身份外观、绘制骨架来约束姿态结构，以及通过边界框指示物体或元素的大致空间位置。

模型在推理时会将这些异构线索共同解析，在遵循文本描述的同时，实现复合控制条件下的协调生成。

项目地址：https://snap-research.github.io/canvas-to-image/

论文地址：https://arxiv.org/abs/2511.21691

用户能够在画布上任意位置摆放参考人物图像，在其旁边放置特定宠物，并通过边界框指定帽子、棕榈树等元素的大体位置。

随后，模型会综合文本指令（例如「女孩在海边轻拍她的狗」）与画布中的多模态提示，生成符合语义逻辑与视觉构图的照片级图像。

这种统一画布带来的灵活性使编辑过程更加直观：将小狗替换为猫咪手办、更换棕榈树为遮阳伞、调整人物姿态等修改，只需对画布进行对应的局部替换或几何调整，无需重新构建多控制流程。

Canvas-to-Image能够在不破坏整体结构一致性的前提下，响应这些局部修改，展现出高效而自然的多控制可编辑性。

Canvas-to-Image的目标，就是要将这些异构的控制信号整合到一个统一的画布界面中，让用户直观地创作可控的个性化内容。

Canvas-to-Image的工作示例

核心技术

Canvas-to-Image的设计理念

多任务画布（Multi-Task Canvas）

Canvas-to-Image 的核心是一个统一的 RGB 画布，能够将多种异构控制信号整合到单一表示中，Canvas-to-Image训练过程中的控制信号有：

身份参考：直接在画布上放置人物的参考图像；

姿态骨架：绘制人体骨架来控制姿态；

边界框：用框定义物体和人物的位置。

所有这些信息都被编码在同一个画布图像中，模型利用VLM- Diffusion架构（基于Qwen-Image-Edit) 可以直接解读并进行视觉-空间推理。

单控制训练，多控制推理

训练阶段：为简化训练，Canvas-to-Image在训练过程中，每个样本随机采用一种控制模态（空间、姿态或边界框）这意味着，模型在训练过程中从未见过多种控制的组合；

推理阶段：用户可以自由组合多种控制方式，实现复杂的多控制生成。

在训练时教会模型单独理解「身份」、「姿态」和「位置」，但推理时它却能自然地将这三者融合在一起。

这种「涌现能力」让模型在从未见过的组合控制下，也能生成高质量的结果。 这是 Canvas-to-Image 设计的精妙之处，在保证推理阶段的灵活性的同时，极大地简化了训练的复杂度。

实验结果

多控制、高保真、强组合

多控制组合（Multi-Control Composition）

Canvas-to-Image能够同时处理身份、姿态和布局框，而基线方法往往会失败。

在复杂的多控制场景中，Canvas-to-Image能：

准确执行姿态和位置约束；

保持人物身份特征稳定；

在多种约束共同存在时生成结构清晰、语义一致的图像。

身份+物体组合

Canvas-to-Image支持将特定人物与物体在各种场景中组合。与基线方法相比，Canvas-to-Image更好地保持了人物和物体的一致性。

背景人物组合

在输入背景图的前提下，Canvas-to-Image能够依据参考图粘贴或边界框标注，将新的主体自然植入场景。 借助统一画布的表达方式，模型能够生成几何关系合理、光照匹配、语义一致的合成画面，显著提升人物或物体的场景融合质量。

消融研究

研究人员系统地测试了当逐步添加控制时模型的表现：

仅身份控制：模型能生成人物，但不遵循姿态控制，也不理解位置框；

+姿态控制：模型学会同时控制身份和姿态，在位置框的表现上也变得更鲁棒，即使目前模型还没有在位置框上训练。这体现了多任务之间的协同性质。

+空间布局：模型能完全控制身份、姿态和位置。

关键发现：虽然训练时使用单任务画布，但模型自然学会了在推理时组合多种控制——这种涌现能力验证了设计理念。

总结

Canvas-to-Image将组合式生成从「分散控制」推向「统一画布」。

用户不再需要在多个控制模块间切换，而是在单一界面中完成所有创作，以「统一画布」为核心的多模态控制范式，将成为下一代AI创作工具的重要基础。

参考资料：

https://snap-research.github.io/canvas-to-image/

秒追ASI

⭐点赞、转发、在看一键三连⭐

点亮星标，锁定新智元极速推送！