问卷调查中，76.5%的受访者表示曾多次遭遇AI假新闻；街头实验中，多名受访者被AI生成的虚假信息蒙蔽，并转发该内容……生成式人工智能在飞速发展的同时，伴生出的AI谣言传播、隐私安全等新型风险，也正成为全社会关注的焦点。

9月12日，上海外滩大会以“规范AI内容，共筑清朗生态”为主题的见解论坛上，南方都市报、南都大数据研究院编制并发布《AI新治向：生成式人工智能内容与传播风险治理观察》报告（以下简称《“AI新治向”报告》）。

上海外滩大会“规范AI内容，共筑清朗生态”见解论坛上，南方都市报、南都大数据研究院编制并发布《AI新治向：生成式人工智能内容与传播风险治理观察》报告。

《“AI新治向”报告》以南都近一年来对百起风险事件的调查、数千份问卷调研及多轮社会实验为基础，尝试揭示生成式AI伴生的多类风险，解析AI虚假内容传播链，并提出“多措并举，多元共治”治理建议，强调为AI发展系紧安全带。

AI应用普及伴生多类风险

AI技术正加速融入千行百业，重塑生产与生活方式。然而技术在提升效率、增进创意的同时，也伴生诸多新型风险，对社会治理提出全新挑战。为回应这些新问题，南都大数据研究院推出“AI新治向”专栏，从日常场景切入，持续追踪AI风险与治理动态，涵盖深度报道，数据新闻、调查测评与视频解读等多种形态，提出可行治理建议，获得管理部门与企业平台的密切关注。比如开展“100款APP AI内容标识大摸底”专题调研，为推动法规政策落地提供媒体视角；发布“保护AI世界里的孩子”等系列报道，直面AI技术滥用对青少年的影响，推动社会共同聚焦未成年人的AI安全等。

本次《“AI新治向”报告》梳理出生成式人工智能伴生的典型内容风险，包括虚假信息与误导性内容、深度合成诈骗、隐私泄露与数据滥用、版权与人格权侵害、商业与学术诚信失范，以及未成年人权益侵害等多个方面。

活动现场用趣味互动卡片呈现AI日常应用场景与潜在风险。

其中，在虚假信息与误导性内容方面，南都大数据研究院曾分析去年国内50起高热AI风险事件中，发现20%涉及AI谣言。以此前广为流传的《特朗普爱上在白宫当保洁的我》这一虚构AI短剧为例，南都调查显示，有高达75%的受访者曾接触到这则假新闻。另外，当人工智能模型遭到恶意指令污染时，可能会输出具有误导性的回答，例如在测试中，某些模型在被注入异常语料后，竟对“快速赚钱的十个办法”这一问题给出了“抢银行”的危险建议。

深度合成技术的滥用还催生了新型诈骗形式。不法分子通过克隆名人或亲友的音视频实施诈骗，给受害人造成巨额经济损失。比如网民曾制作并上传大量雷军的AI音频，其中不乏骂人、恶搞语音，成为舆论热点。而南都曾调查多款具备该技术能力的AI应用对声音克隆几乎不设限，错误言论、诋毁话语、涉黄词句，都可用他人声音“读”出来，风险大量存在。

报告发布时，观众刮开卡片涂层，查看“AI新治向”风险提示。

与此同时，隐私泄露和数据滥用风险同样不容忽视。人工智能应用往往需要采集大量个人数据，而其强大的信息挖掘与分析能力，可能在用户不知情的情况下触及非公开或敏感信息，从而模糊隐私保护的边界。此前，微博AI智搜功能就曾因分析用户非公开博文、地理位置、消费习惯等敏感信息而引发争议。甚至，南都大数据研究院调查发现，大模型视觉推理能力的发展使得通过普通街景照片精准定位拍摄地点成为可能，这意味着用户在社交媒体上分享的照片可能被恶意利用，造成隐私泄露风险。

除了上述风险外，生成式人工智能还在挑战版权与人格权的保护边界。例如南都测评发现，某些软件提供与明星的“情侣合照”生成功能，未经授权使用可能构成对明星肖像权的侵害。

互动卡片上的AI应用场景与风险提示，均选自南都“AI新治向”栏目。

人工智能代写论文、生成虚假外卖菜品和门店图片等现象，不仅衍生出灰色产业链，还对学术和商业诚信造成严重损害。还有AI应用普遍缺乏未成年人模式，可能导致青少年接触不良内容或沉迷对话等。我们测试10款热门AI陪聊应用发现，多数应用对未成年人身份的识别和保护能力较弱，部分应用还存在一些极端AI人设与软色情内容，有诱导沉迷和充值之嫌。

综合来看，生成式AI风险成因复杂，是技术、管理、素养与伦理多重因素交织的结果。首先，技术本身存在局限性，生成式模型依赖训练数据，在处理复杂问题时容易产生“幻觉”，输出虚假内容。其次，训练数据质量参差不齐，数据中存在的偏见或错误会导致生成内容失真。第三，恶意滥用行为屡禁不止，不法分子通过提示词注入等手段诱导人工智能生成有害信息，深度合成技术用于诈骗也是典型例子。第四，数据管理存在明显漏洞，人工智能应用收集大量个人数据的同时，缺乏严格的保护机制，极易导致信息泄露。第五，监管与伦理规范尚未完善，技术的迭代速度远远超过法律法规的响应速度。此外，公众对人工智能技术的认知不足，辨别真伪信息能力较弱，也在客观上助长了虚假内容的传播。面对这些多重挑战，建立完善的人工智能治理体系已成为当务之急。

AI假新闻这样撬动传播链

为什么AI虚假内容总能轻易扩散？《“AI新治向”报告》通过街头实验与问卷调查，以AI假新闻为例深度解析其背后传播机制。数据显示，76.5%的受访者表示曾多次遇到AI假新闻。而老年人因对技术了解有限更易轻信合成内容，成为高风险人群，记者在实地采访中发现，AI生成的视频内容尤其容易使老年人产生混淆和误判。

南都大数据研究院在街头以三条近期流传的AI假新闻进行采访实验，10名受访者中有8人在观看新闻后表示将转发，其中关于某运动员的相关谣言转发最多，理由是“出于喜爱想帮助她”。问卷数据进一步揭示，用户转发虚假新闻的主要原因是“内容引起共鸣”和“信任信息来源”，这两项占比均超过六成。

调查数据显示，绝大多数用户依赖直觉判断真伪，超七成受访者凭借“内容逻辑”和“画面真实感”评估新闻内容的真实性，不到一半的受访者会核查新闻来源或搜索验证。在这种“强情绪+熟人/大V背书”的传播情境中，严谨的核验机制被简化为瞬间的直觉判断，从而触发了“易信易转”的传播行为。

而造谣者借助AI技术用较低成本生成高拟真，且具有情绪煽动性的内容，既贴合算法推荐机制，又轻易通过用户的“直觉式筛查”，再叠加用户网络素养不足、平台审核薄弱与流量利益驱动等因素，形成快速扩散传播链条。值得注意的是，即便事后发现误转，也有20%的受访者表示不会进行任何澄清或处理，虚假信息于是持续发酵，形成“雪球效应”。

需多措并举、多方共治

面对生成式人工智能伴生的多重风险，我国正在积极构建多层次、综合化的治理体系。目前，覆盖原则、规则与标准的治理网络已初步形成。近年来，《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等重要法规相继出台，自2025年9月起，《人工智能生成合成内容标识办法》及配套强制性国家标准也正式生效，进一步强化了对生成内容的管理与规范。与此同时，“清朗·整治AI技术滥用”专项行动持续深入开展，平台企业也在积极履行主体责任。教育部同期出台《中小学生成式人工智能使用指南》，致力于从源头上引导青少年建立正确、健康的人工智能使用观念。

为进一步为生成式人工智能系好“安全带”，需“多措并举”。《“AI新治向”报告》提到，主要包括推行强制标识制度，使AI生成内容达到可辨识、可溯源；不断强化数据合规与授权机制，坚持最小必要原则收集个人信息，切实保障用户知情权与删除权；通过“红队测试”等方法持续提升模型可靠性与透明度；对医疗、金融、法律等高敏感度场景实行分级分类管理，严格限制AI权限，并确保人类专家进行最终核查；针对未成年人探索“青少年模式”，将AI素养教育、通识教育纳入中小学课程体系，培育未成年人对AI生成内容的批判性认知等。

而构建健康清朗网络生态，仍需多元协同、多方共治。《“AI新治向”报告》也建议，政府需在激励创新与有效监管之间寻求平衡，平台企业应当全面落实安全主体责任，公众也需主动提升批判性认知能力，学术界与行业组织则应积极推动技术标准与行业自律机制的建立与完善。唯有各方明确责任、协同发力，才能构建起一个既能鼓励创新又能有效管控风险的治理体系，确保人工智能技术真正造福于人类社会。

本次论坛由南方都市报社、南都大数据研究院、中国互联网协会人工智能工作委员会、复旦大学传播与国家治理研究中心联合主办。

监制：戎明昌 刘江涛

策划：王卫国 邹莹

统筹：凌慧珊 张雨亭 关健明

采写：南都N视频记者 陈袁 见习记者 张文嘉

设计：欧阳静 原毅 罗锐 郭文哲

出品：南都大数据研究院