这项由贝尔法斯特女王大学的Pritam Deka和Barry Devereux领导的研究发表于2026年3月的第41届ACM应用计算研讨会（SAC'26），论文编号为arXiv:2511.22448v1。有兴趣深入了解的读者可以通过该编号查询完整论文。

想象一下这样的场景：你的公司有数千张业务流程图，它们被锁在各种PDF文件、培训幻灯片或者扫描文档里。这些图表记录着企业的工作流程，就像一份份珍贵的"操作手册"，但问题是电脑无法直接理解这些图片中的信息。就好比你有一本珍贵的菜谱，但它是用古老的象形文字写的，你能看到图案，却无法让现代厨房设备自动按照这些指示来烹饪。

这正是企业界面临的一个普遍难题。业务流程模型和标记法（BPMN）是一种广泛采用的标准，用来绘制复杂的业务工作流程。这种图表语言就像建筑师的蓝图一样，使用标准化的视觉元素来表示不同的工作环节：矩形框代表具体任务，菱形代表决策点，圆形代表事件的开始或结束，而箭头则显示工作流程的方向。

然而现实中的问题是，这些流程图往往以静态图片的形式存在于各种文档中，原始的可编辑文件已经丢失或无法获取。这就像你有一张古老地图的照片，但你需要的是一个现代GPS系统能够识别的数字地图数据。当企业想要对这些流程进行分析、模拟或者与现代工作流引擎集成时，就面临着巨大的挑战。

研究团队决定用一种全新的方法来解决这个问题：他们让最新的视觉-语言模型（就像那些既能"看"又能"读"的智能助手）直接从图片中提取结构化信息，就像训练一位专业的图表翻译员，能够看懂任何流程图并将其转换成计算机能理解的标准格式。

这项研究的创新之处在于，它是首次系统性地使用大型视觉-语言模型来解决BPMN图表理解的问题。研究团队不仅开发了一套完整的处理流水线，还发布了一个包含202对图表和XML文件的数据集，为未来的研究提供了宝贵的基准。他们还深入分析了光学字符识别技术对提取质量的影响，并进行了详细的消融实验来研究不同提示策略的效果。

一、从图片到数据：破解视觉密码的挑战

传统的企业流程分析就像考古学家研究古代文物一样，需要有原始的"文物"（XML文件）才能进行深入研究。但现实中，很多珍贵的流程图只以图片形式保存，原始数据早已遗失。这就好比你想要重现一道失传的名菜，但只有一张模糊的照片，没有详细的配方清单。

研究团队面临的核心挑战是让计算机具备"视觉理解"能力。当人类专家看到一张BPMN流程图时，能够迅速识别出各种形状的含义：看到矩形就知道是任务步骤，看到菱形就知道是决策点，看到箭头就知道是流程方向。但对计算机来说，这些都只是像素点的组合，毫无意义。

更复杂的是，每张流程图都有自己的"个性"：有些图表清晰规整，标签文字清楚可见；有些则密密麻麻，多个泳道交错，文字可能模糊不清或者重叠在一起。这就像要求一个人在不同的光线条件下，阅读各种不同字体和大小的文字，还要理解其中的逻辑关系。

研究团队的解决方案是开发一个智能的"图表翻译系统"。这个系统的工作原理类似于一位经验丰富的业务分析师：首先仔细观察整张图表的布局，识别出各种形状和符号，然后理解它们之间的连接关系，最后将这些视觉信息转换成结构化的数据格式。

整个处理过程可以分为两个主要策略。第一种是纯视觉理解方法，就像让一位专家仅凭肉眼观察就能理解整张图表。系统接收图片输入后，利用先进的视觉-语言模型的多模态理解能力，直接从视觉特征中提取流程元素的类型、位置和关系信息。

第二种是混合增强方法，类似于给专家配备一个高倍放大镜来辅助阅读细节。当纯视觉方法遇到困难时，系统会启动光学字符识别技术来提取图片中的文字信息，然后将这些文字线索与视觉理解结果结合，形成更完整准确的分析。

这种双重保险的设计特别重要，因为现实中的流程图质量参差不齐。有些图表可能因为扫描质量问题导致文字模糊，有些可能因为设计问题导致元素重叠，还有些可能缺少必要的标签信息。混合方法能够在这些困难情况下仍然保持较好的识别效果。

二、数据集构建：为AI训练准备"教科书"

为了训练和测试这套系统，研究团队需要创建一个高质量的数据集，这就像为学生准备一套完整的教科书和习题集。他们从公开的bpmn-for-research资源库中收集了超过3700个BPMN图表，这个资源库包含了Camunda公司在培训过程中创建的各种真实业务流程图。

数据筛选过程非常严格，研究团队只选择了英语标签的图表，以确保文本内容的一致性。这就像在编写教科书时，选择使用统一的语言和术语体系，避免给学习者造成混淆。最终，他们精心挑选了202对高质量的图表-XML配对数据。

每个数据样本都包含两部分：一张高分辨率的PNG图片和对应的BPMN XML源文件。图片生成过程使用了专业的bpmn-js渲染库，确保每张图片都清晰地展现了原始流程的所有细节。XML文件则提供了"标准答案"，包含了每个流程元素的精确信息：名称、类型、位置坐标以及相互之间的连接关系。

数据集的分割策略也经过仔细考虑。与传统的机器学习项目不同，这项研究采用了50:25:25的分割比例，即101个训练样本、50个开发样本和51个测试样本。这种看似"头重脚轻"的分配方式实际上反映了研究的特殊目标：由于主要采用提示工程而非模型训练，更大的测试集能够提供更可靠的性能评估。

数据集的多样性确保了系统能够处理各种现实场景。其中包括简单的单泳道流程，也有复杂的多泳道、多池布局；既有标准的任务-事件-网关组合，也有包含子流程的嵌套结构；有些图表的标签清晰完整，有些则可能存在缺失或模糊的情况。这种多样性就像一个全面的考试，能够真实反映系统在实际应用中的表现。

三、技术架构：构建智能翻译引擎

系统的核心架构采用了一种提示工程的方法，这就像为一位有经验的业务分析师编写详细的工作指南。研究团队设计了一个精心制作的提示模板，其中包含了对BPMN各种元素的详细描述、提取规则和输出格式要求，但没有提供任何输入-输出示例对。

这种"零样本"的设计理念类似于给专家一份详细的操作手册，然后让他们直接处理从未见过的案例。提示内容详细描述了各种BPMN元素的视觉特征：矩形框表示任务，菱形表示网关，圆形表示事件，箭头表示流程流向等等。同时还定义了严格的JSON输出格式，确保不同模型产生的结果具有一致的结构。

在具体实现上，系统支持两种工作模式。纯视觉模式下，系统直接将BPMN图片输入到视觉-语言模型中，配合精心设计的提示，让模型利用其内在的视觉理解能力来识别和分类各种流程元素。这个过程可以用数学公式表示为：R = f_θ(I, P)，其中I是输入图片，P是提示文本，f_θ是参数化的视觉-语言模型，R是生成的文本响应。

OCR增强模式则在此基础上增加了文本提取步骤。系统使用Pix2Struct、RapidOCR或Tesseract等工具从图片中提取文字信息，然后将这些文字线索与视觉分析结果结合。这个过程可以表示为：R = f_θ(I, P, T)，其中T是OCR提取的文本信息。

后处理阶段包含了一个智能的信息融合模块。当系统发现某些流程元素缺少名称标签时，会使用OCR提取的文字信息来填充这些空白。这个过程类似于一位细心的编辑在校对文稿时，发现遗漏的信息后从其他资料中补充完整。

最终的输出结果经过严格的JSON验证和标准化处理，确保格式的一致性和完整性。如果解析过程中出现错误，系统会保存原始输出以供后续分析。这种容错机制保证了即使在处理复杂或模糊的图表时，也能提供有价值的结果。

四、模型对比：寻找最佳翻译员

研究团队测试了14个不同的视觉-语言模型，这就像举办一场翻译大赛，看看哪位"翻译员"能够最准确地理解BPMN图表。参赛选手包括了业界最先进的模型：OpenAI的GPT-4.1系列（标准版、mini版、nano版）和GPT-4o系列，阿里巴巴的Qwen2.5-VL模型（7B和3B），MistralAI的Pixtral系列，Cohere的Aya-Vision，Google的Gemma系列，以及meta的LLaMA-3.2-11B-Vision模型。

每个模型都在四种不同的评估任务上接受测试，就像让翻译员处理不同类型的文档：仅识别元素名称、仅识别元素类型、同时识别名称和类型、以及识别元素间的关系。这种多维度的评估确保了结果的全面性和可靠性。

测试结果显示出明显的性能梯队。顶级模型如GPT-4.1、GPT-4o和Mistral-Small-3.1在所有任务上都表现出色，F1分数超过0.70。这些模型就像经验丰富的资深分析师，即使不依赖额外的文字提示，也能准确理解复杂的流程图。

中等水平的模型包括Qwen2.5VL-7B、Gemma-12B和Pixtral-Large，它们在单独工作时表现中等，但当配备OCR文字识别辅助后，性能有显著提升。这就像给一位有一定经验但视力不太好的分析师配备了高倍放大镜，能够看清图表中的细节文字，从而做出更准确的判断。

表现较弱的模型如Qwen2.5VL-3B、Aya-Vision-8B和Pixtral-12B，即使在OCR辅助下也难有明显改善。这类模型就像刚入门的新手，缺乏足够的多模态理解能力，额外的文字信息反而可能造成干扰。

有趣的是，研究还包含了两个传统的非视觉-语言模型作为基准：BPMN Redrawer和Sketch2Process。这些传统方法使用卷积神经网络结合OCR技术，在某些任务上仍然具有竞争力，特别是在类型识别任务中。这说明针对特定领域优化的传统方法仍有其价值。

五、OCR增强效果：给翻译员配备放大镜

光学字符识别技术在这个系统中扮演着"放大镜"的角色，帮助模型看清图表中那些模糊或难以识别的文字信息。研究团队测试了三种不同的OCR工具：Pix2Struct、RapidOCR和Tesseract，就像比较三种不同品牌的放大镜，看看哪种效果最好。

统计分析结果显示，OCR增强的效果因模型而异，呈现出明显的分层模式。对于顶级模型来说，OCR增强往往带来负面效果。这是因为这些模型本身的视觉理解能力已经很强，额外的文字信息可能引入噪声，反而干扰了原有的判断。这就像让一位视力极好的专家戴上不合适的眼镜，反而看得不如原来清楚。

中等水平的模型则从OCR增强中获益最多。对于这些模型，文字提示能够有效补充视觉理解的不足，特别是在处理那些标签模糊或元素重叠的复杂图表时。测试数据显示，Tesseract和Pix2Struct在提升召回率方面效果最好，能够帮助模型找回那些原本遗漏的流程元素。

表现较弱的模型对OCR增强的反应最为复杂。有时OCR能够提供有用的补充信息，但更多时候会引入错误的文字识别结果，导致系统产生虚假的连接关系或错误的元素分类。这就像给一位经验不足的新手提供了额外信息，但他们缺乏足够的判断力来区分哪些信息是有用的，哪些是干扰。

进一步的错误分析揭示了一些有趣的模式。某些BPMN元素类型特别容易出错，比如序列流、消息流和网关元素的错误率远高于它们在数据中的出现频率。这主要是因为这些元素依赖于精确的关系建模和方向语义，而视觉-语言模型往往难以从纯视觉特征中推断出这些复杂的逻辑关系。

数据存储、中间事件和排他网关等元素的高错误率反映了视觉识别的固有挑战。这些元素往往具有相似的外观，需要依靠细微的视觉差异或上下文信息来区分。当图片经过压缩或缩放后，这些细节信息往往会丢失，导致分类错误。

六、提示策略对比：不同的指导方法

为了探索提示设计对性能的影响，研究团队开发了五种不同的提示策略，就像比较不同的教学方法对学生学习效果的影响。

基线提示策略采用了最直接的方法：提供详细的BPMN元素描述、明确的提取规则和标准的JSON输出格式。这种方法就像给学生一本详细的教科书和明确的作业要求，既有理论知识又有实践指导。

仅示例策略则完全相反，只提供输出格式的例子，不给任何明确的指导说明。这种方法类似于让学生仅通过观察样本作品来学习，考验的是模型的推理和模仿能力。测试结果显示这种方法普遍表现最差，说明单纯的格式示例不足以指导复杂的结构提取任务。

思维链策略在基线方法上增加了推理指导，要求模型在内部进行逐步思考，但只输出最终的JSON结果。这就像告诉学生在解决复杂问题时要分步思考，但最后只需要提交最终答案。这种方法对某些模型有帮助，特别是那些具有强推理能力的大型模型。

自我一致性策略更进一步，要求模型内部生成多个候选答案，然后选择最一致的结果。这类似于让学生做多遍练习，然后选择最可靠的答案。这种方法主要帮助中等规模的模型减少随机错误。

深度广度混合策略是最具创新性的方法，它指导模型首先使用广度优先搜索来把握整体结构（池、泳道、主要任务和事件），然后使用深度优先搜索来跟踪每个流程的完整路径。这种方法模仿了人类专家分析复杂流程图的思维过程：先看整体布局，再追踪具体路径。

实验结果表明，深度广度混合策略在大多数情况下表现最佳，特别是在实体和关系提取任务中。这证实了结构化遍历方法对于理解复杂流程图的重要性。基线策略虽然简单，但提供了稳定可靠的性能基准。而思维链和自我一致性策略的效果很大程度上依赖于模型的推理能力。

七、统计分析：科学验证研究结果

为了确保研究结论的可靠性，团队进行了严格的统计分析，就像用科学的方法来验证实验结果的真实性。他们使用了多种统计检验方法来回答三个关键问题：OCR增强是否真的有效，模型性能的差异是否具有统计意义，以及这些改善的实际意义有多大。

威尔科克森符号秩检验结果显示，顶级模型如GPT-4.1、GPT-4o和Mistral-Small-3.1在所有OCR方法下都显示出高度显著的差异（p<0.01）。但有趣的是，这种"显著差异"对于顶级模型来说往往意味着性能下降，而不是提升。这就像发现某种"补品"对健康人群有显著影响，但这种影响可能是负面的。

中等水平的模型如Qwen2.5-7B表现出选择性的改善，只在某些OCR方法下显示显著提升。而较弱的模型如Aya-Vision和Pixtral-12B则没有显示出任何显著改善，说明它们的基础能力限制了增强技术的效果。

弗里德曼检验进一步评估了模型在不同OCR设置下的一致性。高Kendall's W值（如GPT-4.1的W=1.0，Pixtral-Large的W=0.889）表明这些模型的性能变化是系统性的，而不是随机波动。相反，低W值的模型如Aya-Vision和LLaMA-3.2-11B则显示出较大的随机性。

效应量分析使用Cohen's d来量化OCR影响的实际大小。顶级模型普遍显示出大的负效应量，证实了OCR对它们的干扰作用。中等水平模型则显示出正的效应量，其中一些达到了中等程度的改善。这种分析超越了简单的"是否显著"，提供了改善程度的具体量化。

模型排名分析基于弗里德曼检验框架，提供了跨所有评估设置的全局性能排序。结果显示GPT-4.1、GPT-4o、GPT-4.1-mini和Mistral-Small-3.1始终占据前四位，而Pixtral-12B和Aya-Vision则稳定地排在末尾。这种排名的稳定性说明了模型间的性能差异是根本性的，而不是特定任务或设置下的偶然现象。

八、实际应用前景：从实验室到企业

这项研究的成果对企业界有着重要的实际意义，就像为企业提供了一把能够解锁"沉睡知识"的钥匙。许多企业都面临着流程文档数字化的挑战，特别是那些有着悠久历史的大型企业，它们往往积累了大量的纸质或图片格式的流程文档。

在合规检查领域，这种技术能够帮助企业快速分析现有流程是否符合监管要求。传统上，这需要人工逐一检查每个流程图，既耗时又容易出错。现在，企业可以批量处理这些图片，快速生成结构化的流程数据，然后通过自动化工具进行合规性分析。

流程挖掘是另一个重要的应用场景。企业可以将历史的流程图转换为结构化数据，然后与实际的执行日志进行比对，发现流程设计与实际执行之间的差异。这就像将企业的"设计图纸"与"实际建筑"进行对比，找出可能的改进空间。

在企业数字化转型过程中，这种技术能够显著加速遗留系统的现代化改造。许多企业在实施新的工作流系统时，需要将原有的流程逻辑迁移到新平台。传统的方法需要业务专家手工重新建模，而现在可以通过自动化方式完成大部分工作。

培训和知识管理也能从这种技术中受益。企业可以将静态的培训材料转换为可交互的数字化流程，支持模拟执行和场景分析。这就像将传统的纸质地图转换为现代的GPS导航系统，不仅能看到路线，还能进行实时导航。

然而，研究也揭示了当前技术的局限性。复杂的多池多泳道流程、密集布局的大型图表，以及包含手写标注的扫描图片仍然是挑战。这就像面对过度复杂的迷宫，即使是最先进的导航系统也可能会迷路。

九、技术挑战与未来方向

当前的技术虽然已经取得了显著进展，但仍面临一些根本性的挑战，就像攀登高山时遇到的技术难关。最主要的挑战来自于视觉理解的精度限制，特别是在处理细粒度的视觉特征时。

分辨率问题是一个持续存在的难题。大多数视觉-语言模型为了计算效率，会将输入图片缩放到固定大小，这个过程中往往丢失了关键的细节信息。对于包含大量小元素的复杂流程图，这种信息损失可能导致严重的识别错误。这就像用低分辨率的相机拍摄精密的电路图，重要的连线细节可能完全看不清。

语义理解是另一个深层挑战。虽然模型能够识别各种形状和符号，但理解它们之间的逻辑关系仍然困难。特别是方向性语义，比如区分输入流和输出流，或者理解条件分支的逻辑，这些都需要更深层的推理能力。

多样性处理也是现实应用中的重要考虑。不同企业、不同工具生成的BPMN图表在视觉风格上可能差异很大，颜色方案、字体选择、布局风格都可能不同。当前的模型在面对训练数据中未见过的视觉风格时，性能可能会显著下降。

针对这些挑战，研究团队提出了几个未来的发展方向。首先是开发更大规模、更多样化的训练数据集，覆盖更多的企业场景和视觉风格。这就像为学生准备更全面的教材，包含各种可能遇到的情况。

多步推理技术的进一步发展也很有前景。当前的深度广度混合策略已经显示出优势，未来可以开发更复杂的推理链，模拟人类专家分析复杂流程图的完整思维过程。

模型微调是另一个重要方向。虽然当前研究主要依赖提示工程，但针对BPMN理解任务的专门微调可能会带来显著的性能提升。这就像为通用的翻译员提供专业的商务翻译培训，让他们更好地理解特定领域的术语和约定。

多模态融合技术也有很大的发展空间。除了视觉和文字信息，未来的系统可能还能利用布局信息、颜色信息，甚至是图表的创建元数据来提高理解精度。

实时处理能力的提升同样重要。当前的研究主要关注准确性，但在实际应用中，处理速度也是关键因素。企业需要能够快速处理大批量文档的系统，这要求在保持准确性的同时显著提高处理效率。

这项研究为企业流程图的自动化理解开辟了新的道路，虽然还有许多技术挑战需要克服，但它已经展示了将静态图片转换为可执行数字流程的巨大潜力。对于那些拥有大量历史流程文档的企业来说，这种技术可能成为数字化转型的重要推动力，帮助他们释放那些被锁在图片中的宝贵知识资产。

随着技术的不断进步和实际应用的积累，我们可以期待在不久的将来，企业能够像翻阅数字图书一样轻松地搜索、分析和利用他们的流程知识，真正实现从静态文档到动态智能系统的转变。

Q&A

Q1：BPMN图表自动识别技术是什么？

A：BPMN图表自动识别技术是一种让计算机"看懂"业务流程图的方法。它使用先进的AI模型直接从图片中识别出矩形任务框、菱形决策点、圆形事件和箭头连线，然后将这些视觉信息转换成计算机能理解的结构化数据，就像给AI配备了一双能看懂企业流程图的"眼睛"。

Q2：这种技术对企业有什么实际价值？

A：这种技术能帮助企业解锁那些存储在PDF、幻灯片或扫描文档中的流程图信息。企业可以用它来进行合规检查、流程挖掘、数字化转型，以及将静态培训材料转换为可交互的数字化流程。特别是对于那些有大量历史流程文档的企业，这就像获得了一把解锁"沉睡知识"的钥匙。

Q3：目前这种技术还有什么局限性？

A：主要挑战包括处理复杂多层流程图时的精度问题、图片分辨率限制导致细节丢失，以及理解流程间逻辑关系的困难。特别是面对密集布局的大型图表、手写标注的扫描图片，或者不同企业使用的各种视觉风格时，当前技术仍可能出现识别错误。