生成式AI加速发展，带来效率与模式革新。但同时模型滥用、数据泄露等安全风险也被叠加放大，对AI研发、部署及风险管理提出更高要求。

1月6日举行的粤港澳大湾区生成式人工智能安全发展联合实验室福田服务站揭牌暨AI出海研讨会上，联合实验室发布了《2026年度AI安全十大趋势》白皮书。白皮书以政策合规、风险与治理、趋势研判为核心板块，系统预测2026年AI安全关键方向，为行业发展与监管实践提供重要参考。

政策篇： 全球合规框架落地，开源监管博弈加剧

《2026年度AI安全十大趋势》白皮书政策篇聚焦两大核心趋势，分别是全球AI治理体系落地与开源模型监管博弈。白皮书指出，2025年是AI治理从“原则倡导”转向“制度落地”的转折点，合规能力已成企业核心竞争壁垒与国际合作基础，开源模型的监管博弈将长期贯穿技术创新与风险防控。

第一个趋势指向全球AI合规框架加速协同与落地。白皮书以中国、美国、欧盟举例，明确三者形成差异化却同向的核心治理框架，推动AI监管从“软性建议”转为“准入前置”。三大框架均以“可审计、可问责”为核心要求，报告预测未来这一能力将成为AI系统进入金融、政务等关键行业的核心门槛，合规缺失者将失去市场准入资格。

另一个值得关注的趋势是开源模型滥用风险与监管博弈加剧。2025年AI开源模型生态爆发式增长，虽降低技术应用门槛、推动创新扩散，但自由下载、微调及部署的特性，为恶意利用提供了可乘之机。报告指出开源平台正通过强化审核、引入行为监控、建立开发者信誉体系防控风险。但监管层面仍存争议。报告强调，未来开源模型治理将长期处于“鼓励创新”与“防范风险”的动态博弈，相关主体需持续平衡技术发展与安全合规。

风险篇： 攻击手段复杂化、风险场景多元化

在白皮书风险篇中指出，当前AI安全面临三大核心挑战，风险演化呈现“攻击手段复杂化、风险场景多元化、危害影响扩大化”特征。

趋势三指出在对抗攻防领域将进入高维博弈阶段。攻击者利用多模态、多轮次系统化手段，通过文本、图像植入扰动诱导模型出错，使安全问题升级为“复杂系统鲁棒性”。研究显示，经诗歌等形式改写的恶意指令在多个主流模型上攻击成功率超过90%，传统提示过滤技术难以应对。

与此同时，AI智能体安全风险引发监管与责任新考量这一趋势随之产生。目前国际社会对其缺乏统一定义与监管标准，在金融、企业内部等场景中，身份认证与权限边界趋于模糊，责任归属尚不明确。我国已布局“智能体即服务”，未来需通过规则完善引导其可控发展。

除以上两点外，趋势五聚焦危害扩大化这一领域，指出AI武器化拓展网络攻击新战场。深度伪造与生成式AI结合使其成为新型网络武器。数据显示，2024年全球约67.4%的网络钓鱼攻击采用AI技术，实现诈骗脚本自动化与信息精准收集；具身智能更推动攻击从数字域延伸至物理世界。面对传统防御失效，构建“AI对抗AI”的自动化防御体系已成为必然需求。

趋势篇： AI安全治理从被动防护到主动应对

白皮书认为，针对AI智能体的监管与治理框架仍处于探索阶段，现行人工智能政策体系尚未完全覆盖其自主性带来的新型风险。但白皮书在趋势篇也强调，AI安全正从“被动防护”转向“主动构建”。全生命周期治理筑牢安全基础，原生安全架构成为标配，对齐研究破解核心难题，内容真实性治理夯实信任底座，“AI—能源耦合”上升为国家战略，五大趋势共同塑造AI安全新生态。

趋势六是AI安全治理走向全生命周期可信化。在AI治理的环节层面，白皮书强调，AI安全治理正从“局部防护”转向全生命周期可信化。国际社会正通过NIST风险管理框架、ISO/IEC42001认证及欧盟《人工智能法案》等，将治理覆盖从设计到部署的全过程。

在模型层面，趋势七指出AIGC原生安全架构成为基础设施标配。为应对模型幻觉、隐私泄露等显性风险，安全能力需深度嵌入模型输入、推理与输出各阶段，实现从“外部加固”到“内生自控”的转变。白皮书预测，未来AIGC安全将与网络安全、数据安全并列成为核心基础能力。

此外AI伦理也被提及。在趋势八就指出AI对齐研究与实践提速。白皮书写道，AI对齐研究是破解安全核心难题的关键。尽管面临“弹性回退”等实践挑战，但该研究正从学术探索加速转向工程实践，直接影响AI系统的安全性与社会接受度。

趋势九为内容真实性治理成为数字社会基础秩序。报告认为，内容真实性治理正成为数字社会的信任底座。为应对深度伪造的冲击，各国正通过立法与技术溯源双轨并进，推动治理迈向基础设施级建设。

最后，白皮书指出，趋势十为算力扩张推动“AI-能源耦合”成为国家安全议题。当前，发展“绿色算力”、推动AI与能源系统双向赋能已成为各国共识。但报告提醒，电力扩容滞后、碳中和张力等风险仍存，需加强跨部门协同，平衡技术发展与能源约束。

出品：南方都市报社 南都大数据研究院 AI新治向工作室

文：南都研究员 孔令旖