![]()
将隐藏“白色提示词”(一些人类肉眼无法看见,但程序却能识别的文字)的PDF文件导入某商业大模型,隐形文字瞬间操控模型判定伪造简历 “完全符合录用标准”,短短3分钟就“骗取”了27份企业offer——这是腾讯云副总裁、玄武实验室负责人于旸在一场安全主题的大会上举的例子,但“这不是魔术,而是AI时代最典型的攻击手段。”
而这个现象并不是偶然,随着AI大模型在企业侧的应用逐渐普及,类似的场景比比皆是,绿盟科技董事、高级副总裁、CTO叶晓虎对笔者表示:“我们监测到,提示词注入攻击在金融行业的发生率已从2024年的12% 飙升至2025年三季度的47%。”
AI落地的背后,安全“不容忽视”
中国信通院数据显示,2024年中国人工智能产业规模已超9000 亿元,同比增长24%。截至2025年9月,人工智能企业数量 5300 家,全球占比达到15%。AI已经成为数字经济不可或缺的一部分,也是当前数字经济增长的主要动能。
与AI快速发展并行的,是安全问题,“大模型的安全风险具有双重性,它既是生产力工具,也是攻击放大器。”中国工程院刘权曾公开表示。
据国家互联网应急中心发布的大模型实网众测显示,国内10家AI厂商的15款主流产品中,检出281个漏洞,其中发现传统漏洞104个,占比37%,这意味着有超过60%的安全漏洞是传统安全体系无法覆盖的特有风险;另一方面,智能体(Agent)让政务服务效率提升50%,却带来MCP协议漏洞等新型暴露面;AI 驱动的威胁检测率突破99%,而自动化攻击工具已实现 “零人工干预入侵”。
基于此,在叶晓虎看来,安全行业正经历百年未有之变局。而IDC报告数据也支撑了叶晓虎的看法,IDC《全球网络安全支出指南》中预测,到2028年,全球网络安全IT总投资规模将增至3,770亿美元,五年复合增长率(CAGR)达到11.9%。在中国市场方面,IDC预测从2023年的110亿美元增长至2028年的171亿美元,五年复合增长率为9.2%。这场由AI引发的攻防革命,正从技术底层重塑安全产业的逻辑架构。
从漏洞类型上看,提示注入类漏洞是大模型最常见漏洞风险。提示注入类漏洞主要是通过构造特定输入内容,直接或间接操纵模型行为,诱导其绕过安全限制执行恶意操作。该类漏洞攻击门槛低、成功率高,攻击者无需懂代码和复杂的攻击技术,通过聊天就能攻击。同时由于提示问答是大模型特有的交互方式,提示注入往往是实现其他类型漏洞攻击的“敲门砖”,因此被业界视为“头号威胁”。
除此之外,内容安全也是AI大模型时代不可忽视的重要风险。当前,内容安全失控已上升到公共安全隐患层面。大模型安全众测显示,83%的多模态大模型可被诱导生成涉暴图文,部分模型在特定提示词下能输出简易爆炸装置制作方法。“最危险的是攻击的隐蔽性。” 于旸展示的“咒语攻击”案例令人震惊:由无意义字符组成的特殊指令,能以70%的成功率触发模型漏洞,曾有攻击者用此方法篡改电商平台爬虫数据,将黄金价格虚标为10万美元/克。
另一方面,随着AI应用逐渐从AI大模型转向智能体,甚至是多智能体协同的时代,也衍生出了很多新的风险,对此,绿盟科技天枢实验室主任研究员顾杜鹃告诉笔者,在大模型安全基础上,智能体还面临了代码执行沙箱权限控制,甚至是沙箱全链路安全防控的缺失。
因为权限配置导致的企业出现安全风险的案例也以屡见不鲜,比如,曾有制造企业的智能运维Agent曾因权限配置漏洞,被攻击者通过聊天界面注入指令,进而操控沙箱执行恶意代码,导致整条生产线停工4小时。
而在多智能体协同方面,顾杜鹃表示,多智能体协同与沟通中除了原本智能体的“幻觉”问题之外,随着 MCP、A2A 等智能体通信协议的普及,新的攻击暴露面正在形成,企业在多智能体协同方面,还面临了沟通协议之间新暴露面的协议安全问题,“比如开源的MCP服务的背后,很多公司为了快速上线,都秉持了‘拿来主义’,却忽略了背后的安全评估和合规检测等环节。”顾杜鹃强调道。
除了大模型面对的风险之外,传统安全领域的风险也在AI时代有了进一步的“升级”。这其中,数据泄露首当其冲。比如,曾有攻击者通过“梯度反推算法”,从某金融大模型的推理结果中还原出3万条用户信贷数据,而这种攻击方式无需突破传统防火墙。
叶晓虎表示,数据泄露方面,更隐蔽的风险存在于模型训练环节——绿盟天枢实验室监测发现,黑客通过伪造学术论文植入恶意数据,成功污染了两款开源大模型的训练库,导致模型生成虚假金融分析报告。
AI如何赋能数据安全?
面对前所未有的威胁,AI在对企业安全局面造成“冲击”的同时,也正在逐步成为企业安全防御的“最强武器”,“用AI打败AI”的声音从生成式AI问世的那天起就没有停下。
当生成式AI问世之后,AI深度融入攻防全链条,实现自动化威胁检测、响应与预测,形成“以AI对抗AI”的智能防御体系,但在今年以前,AI主要还是起到单点的辅助作用,只能辅助决策。
具体来看,AI在安全防御领域主要为企业带来了三个大方面的赋能——主动感知、动态防御,以及辅助安全运营。
主动感知层面,原先企业安全防护主要是“被动扫描”的状态——传统安全检测依赖规则库,面对AI攻击时如同“用旧地图找新路”,容易被攻击者耍的团团转。
而当AI大模型,尤其是多模态模型融入到安全感知体系之后,就让企业安全防护体系具备了多模态威胁识别的能力。据叶晓虎介绍,绿盟科技发布的风云卫大模型,融合了文本、流量、行为等多维度数据,对未知威胁的检出率较传统方案提升60%,误报率降低35%。“其技术原理是通过‘小模型拆解+大模型融合’,先由专用小模型分析单一模态数据,再由大模型进行跨维度关联推理。”叶晓虎分享道。
与此同时,AI能力的植入,还能帮助企业提升响应时间,在风险出现的第一时间内就能识别并做出相应的处理。据IDC预测,到2027年,25%的企业将采用GenAI 助手生成安全策略,进一步缩短响应时间。
动态防御层面,“AI时代的防御不能再是铜墙铁壁,而应是流动的护城河。”——这句话已成为当前安全行业的共识。在传统的安全模型中,企业试图通过建立层层加固的边界来阻挡所有攻击,仿佛建造数字时代的“马奇诺防线”。然而,这种静态防御思路在AI驱动的动态威胁面前已显得力不从心。Gartner发布的2025年网络安全趋势预测指出,生成式AI的崛起、机器身份的激增以及安全边界的模糊正从根本上改变安全格局。
面对日益复杂的威胁,企业安全防御正在从基于签名的传统方法,转向以AI为核心的动态防御体系。与此同时,与原先追求“绝对安全”的传统防御体系不同的是,动态防御不再追求“绝对安全”,而是通过持续变化增加攻击者成本,让攻击变得无利可图。
辅助安全运营方面,AI在企业安全运营方面应用最为成为,对此,绿盟科技集团副总裁宫智曾告诉笔者,“客观的看,大模型在安全行业应用最为成熟的场景还是AI辅助安全运营,这里面包括了研判分析、安全报告的生成。”宫智进一步指出,“通过大模型能力的植入,让企业安全运营的效率提升了不少”。
据了解,通过安全大模型的加持,企业安全运营效率可以提升20%~30%。
从市场角度来看,目前绝大部分安全厂商都在其产品中植入了生成式AI的能力,据《2024年度网络安全态势报告》统计,在RSAC2024安全峰会参展的厂商中,有超过半数的厂商已经将核心产品集成了AI的能力。“从应用上看,根据AI赋能安全运营的复杂程度的不同,目前主要可以分为三个等级,分别是聊天机器人、安全助手,以及安全智能体。”网宿科技安全事业部高级总监胡钢伟曾对笔者表示。目前绝大多数厂商以及具备了充足的安全助手的能力,正在向着安全智能体的方向迈进。
从整体行业上看,AI对安全行业的重构已经比较深入,AI已推动安全行业从“人工响应”迈向“智能自治”,其核心价值在于重构防御范式(自动化、智能化)和突破效率瓶颈。(文|Leo张ToB杂谈,作者|张申宇,编辑丨盖虹达)





     京公网安备 11011402013531号