开栏语：

AI技术正以前所未有的速度重塑世界，也在现实中投射出重重乱象。几天前，“slop”（AI批量产出的劣质内容）被评为年度热词。过去这一年，我们见证了AI“一键脱衣”打开潘多拉，捏个“假偶像”直播捞金；赛博算命、智商税学习机屡屡上新，学术圈和诈骗团伙也都在狂刷AI副本……上游新闻特别推出“年度AI乱象调查”专题，盘点六大AI“翻车”现场，带你看透乱象背后的深层逻辑和监管难点，探讨AI乱象综合整治之道。

技术无善恶，道德有底线。这场AI安全保卫战，没有局外人和旁观者。

12月15日，演员温峥嵘在微博中发布严正声明并晒出立案告知书，“报警，已刑事立案。”相关声明称，关于温峥嵘被不法分子雇佣“水军”，捏造并大量发布“温峥嵘卖面膜出事把锅推给AI”等不实信息一案，警方经初步审查认为确有犯罪嫌疑，正在进一步调查中。

据央视新闻11月初报道，身着三套不同服饰，在卖不同的产品——演员温峥嵘在同一个时间，出现在了不同直播间直播带货。传说中的分身术怎么在现实中出现了？这反常的“同步开播现象”，连续几天在网上引发热议。可以肯定的是，温峥嵘并无分身之术，而是这几个直播间要么是录屏抠图，要么就是盗用她过往直播素材，经过AI深度合成重塑形象与语音。

上游新闻梳理公开报道发现，近年来遭遇AI仿冒的，远不止温峥嵘，包括协和名医于康、传染病学专家张文宏、央视名主持人李梓萌、奥运跳水冠军全红婵等，也遭遇上AI造假“背刺”。AI直播“换脸”为何盯上名人？在国家已出台相关法规的情况下为何乱象依旧？AI“换脸”名人的监管难点在哪里？

知名女演员同时“现身”3个直播间

今年11月初有网友发现，知名演员温峥嵘同时“现身”三个不同直播间，她身着不同服装推广着不同的产品，动作神态与本人高度相似。

温峥嵘同一时间出现在3个不同直播间里直播带货。上观新闻

温峥嵘，1978年11月出生于贵阳，中国内地女演员，2001年毕业于北京电影学院表演系；作品有《洪湖赤卫队》《许我耀眼》《永夜星河》《雁回时》《狐妖小红娘·月红篇》等。

温峥嵘在采访中表示，“早在今年4月份之前，就说我出现在多个直播间，同一时段，妆发不同，不同的产品，说着同样的话。”温峥嵘称，自己有一次拍完戏回到家中，当时并没有在直播，结果刷手机正好看到“自己在直播”。“我们拍戏到很晚，半夜凌晨三四点钟，我一进（直播间）就说‘你是温峥嵘我是谁’，我一下就被拉黑了。”

温峥嵘团队工作人员称，年前团队就对这种商家发了律师函，“其实这些产品我们根本就没有推荐过，也没有卖过。”温峥嵘坦言，粉丝会觉得信任自己去下单，这些直播间通过AI手段混淆视听。

温峥嵘说，“AI的这种手段，让大家混淆视听。我的形象、我的肖像受到这样的侵权，我觉得是对我莫大的一个伤害。信任我的观众朋友们，下单之后如果买到假货，我心里会难过。”

据报道，温峥嵘团队工作人员发现虚假视频后便持续进行举报，一天内曾集中举报50个假冒账号，有的造假账号被平台下架处理，有的则刚下架就换个形式重新出现，让人防不胜防。

工作人员称，部分商家只需截取一段影像，用简易工具就能生成虚假内容，而他们取证却要花费很大的精力。“他们喜欢在凌晨三四点大家都在休息的时候，去打时间差发这个东西。”

被AI“背刺”的还有名医生名主持人

在这波AI仿冒名人的乱流中，除了名演员外，体育明星、名主持人、名医生也不乏中招者。

我国营养与健康领域的权威专家于康教授也深受其害。央视新闻

据央广网，目前，一条AI仿冒视频在网络上很火，视频中一名“专家”侃侃而谈，商家称该“专家”是北京协和医院临床营养科主任于康教授，其是我国营养与健康领域的权威。

记者在社交平台上刷到了不少以于康教授形象出镜的科普视频，介绍和推销减肥食谱。于康教授对此明确表示，他本人从未参与录制此类视频。

于康称，“我几乎天天收到好朋友和各种有我联系方式的人发来的消息，有质疑，还有提醒，经常有的一句话就是‘这是你吗？’我一看，这完全是我的形象，声音相似度完全超乎了我的想象。现在技术能达到这个层级，一方面觉得不可思议，另外一方面觉得有一点后背发凉，挺可怕的。”

科普视频中，商家不仅盗用于康教授的形象，其介绍的营养知识也是毫无依据，没有得到科学验证。于康教授更为担忧的是，视频里的错误信息，会让营养学界长期以来的科普努力，付诸东流。

据观察，这些短视频都来自一些自媒体账号，除了出现于康教授形象，还有一个共同特点是使用虚拟背景。

另据报道，今年年初，北京市海淀区市场监管局接到举报，一直播间宣称一款鱼油产品具有医疗功效。该账号发布的短视频中，出现了中央广播电视总台主持人李梓萌的形象。

中央广播电视总台主持人李梓萌也被仿冒。央视新闻截图

发布仿冒主持人李梓萌短视频的账号名为“广州白云深海鱼油工厂”，拥有粉丝80多万。北京市海淀区市场监管局海淀街道市监所科员李欣容说，经查，当事人承认，这个短视频当中的李梓萌形象，是他们的员工在网络上搜集李梓萌播报过的新闻片段，通过AI技术擅自把这些新闻片段进行剪辑加工，最终合成了这个虚构的推荐视频。

另外，奥运冠军全红婵的声音被AI克隆，用于售卖土鸡蛋；医生张文宏被换脸，其形象被用于在直播间售卖某款蛋白棒产品，销量已过千。张文宏自述：“这些假的合成信息就像蝗灾一样，一次又一次发生……”

换脸APP仅30秒就能生成女医生短视频

AI直播“换脸”为何盯上名人？道理其实很简单，名人本身具有高辨识度和流量价值，利用其形象可快速吸引观众、粉丝，比平常人更容易诱导顾客下单消费，从而获取经济利益。

另据央广网调查发现，利用AI技术违规营销现象越来越多，关键原因是相关工具非常容易获取。而且，无论是换脸还是拟声，操作起来都十分简便。

记者发现，各大手机应用商店均充斥着大量换脸App或小程序，大都可以免费使用。记者随机选取了一个App，仅需上传自己几张人脸照片，就能将目标视频中的知名专家换成自己的面容。

除了换脸、拟声，有的App还能提供AI对口型、AI文生视频、AI电商等各种功能。记者体验了其中的“文生视频”功能，在对话框中输入关键词：北京协和医院，女医生，在诊室坐在桌子前，向患者介绍病情。不到30秒，就生成了一段女医生形象的短视频，还可以选择“不添加AI生成字样”。随后记者输入减肥产品效果文案，选择“主播配音”，就生成了一条“北京协和医院女医生推广减肥产品的”营销视频。

AI“换脸”名人为何泛滥？为何难治理？

盗播和AI仿冒名人直播，让网友无从分辨真假，愤怒又无奈。今年9月1日，《人工智能生成合成内容标识办法》正式施行，要求AI生成内容必须“亮明身份”，但是为何乱象依旧呢？治理困境又“困”在了哪里？

知名医生张文宏回应被AI仿冒带货。央视财经截图

根据民法典及个人信息保护法，未经授权使用他人肖像进行AI合成，虽涉嫌侵犯肖像权与个人信息权益，但司法实践中，多数案件赔偿金额不足万元，远低于商家的非法收益。

另外，AI仿冒相关维权难度极大，技术鉴定、证据固定以及溯源追责等环节，面临不小的阻力。

北京市海淀区市场监管局海淀街道市监所副所长史建颖称，AI深度伪造视频鉴别难度大，成本高，肉眼难以识别，需要专业技术支持，而此类侵权违法行为造假成本低。另一方面，大量AI合成伪造视频涌现在电商平台，权利人自身不知情或知情后维权周期长，程序复杂，部分权利人选择放弃维权或配合度较低。

北京师范大学法学院教授刘德良称，通过AI或者深度伪造的技术假冒他人，从法律上来看，如果未经别人允许、用于非法目的的话，有可能涉及侵犯别人的肖像权、声音权；如果用于广告宣传、直播营销，可能会涉及广告法上的虚假宣传。

面对乱象，监管部门已针对AI虚假直播出台治理措施。国家网信办联合多部门共同发布《人工智能生成合成内容标识办法》，明确要求AI生成的肖像、视频需标注“AI生成”，否则将面临最高10万元罚款。但央视记者调查发现，很多造假者将标注藏在视频或者直播简介的角落，或者用极小的字体显示，消费者很难注意到。

专家认为，网络平台应对其直播间里的内容负有监管责任。在AI时代，监管部门也可以同样使用AI手段对网络内容实施监管。

北京师范大学法学院教授刘德良称，如果遇上AI仿冒名义直播，消费者首先可以向平台投诉，如果平台拒不履行监管的义务，可以要求平台承担连带责任。另外，监管部门也可以利用AI实时应对这种投诉。对于有效及时地发现假冒行为，有些是可以通过技术的方式来解决，当然技术解决不了的，还是要通过法律。

AI仿冒名人带货，侵犯权益，涉嫌欺诈，更触动了数字社会赖以存续的信任根基。“AI李鬼”越来越像真的，靠普通消费者来识别和防范是远远不够的。将仿冒者打回原形，需要更细化法规，明确追责，内容发布平台实实在在扛起把关责任，让“失信者付代价、让纵容者担责任”。

消费者如何识别AI“换脸”名人？

消费者在选择短视频带货服务时，要仔细观察主播（名人）的微表情是否自然，声音与口型是否同步，是否出现人物或背景模糊、扭曲等异常画面，对异常低价或反常促销行为应保持警惕。

AI展示“障眼”花招，主要有以下三种情形：一、标识模糊不清。部分商家在商品详情页中，仅在角落用极小的字体标注“AI效果仅供参考”，或者使用“数字人展示”等表述。消费者很难从中明确知晓哪些图片是AI生成的，哪些是真实的实拍图。

二、混合展示陷阱。一些商家采用更为隐蔽的手段，将AI模特图与少量实拍图混杂在一起排列展示。消费者在浏览商品时，很容易误以为这些图片都是实拍图，从而做出错误的购买决策。

三、动态视频误导。AI生成的动态展示视频也存在问题。在视频中，AI人的动态、服装摆动幅度、配饰搭配效果等都可能通过算法进行优化，与实际穿着效果存在显著差异。消费者仅凭这些动态视频，很难准确判断商品的真实情况。

上游新闻综合央视新闻、央广网、上观新闻、中国消费者报、红星新闻等