当前位置: 首页 » 资讯 » 新科技 » 正文

新华视点|AI视频造假乱象调查

IP属地 中国·北京 编辑:赵云飞 新华社 时间:2025-09-09 12:28:29

  当前,生成式人工智能技术日益普及,不少内容创作者通过AI创作出更具想象力的作品。但也有一些人利用AI造假,无底线博眼球,作为起号变现捷径。

  记者以想学习AI起号为由,向一名博主咨询AI视频起号相关问题。画面中博主提到的这类账号,发布的穿搭、保养、护肤、养生等视频多未设置AI生成提示,不少网友误以为是真人,在评论区咨询保养方法。


  一名博主透露,她借助AI软件生成的“氛围感美女”视频在多个平台“吸粉”过万,接到不少推广商单,月收入在1万元左右。


  记者向一名销售AI生成视频带货教程的卖家咨询详细情况。记者调查发现,当前,主流网络平台普遍升级AI内容识别系统,要求对AI生成作品添加标注,但仍有一些人采用各种手段绕过审核。


  记者调查发现,社交平台上有不少AI造假起号的教程,情感、养生、颜值等类别是“重灾区”,相关帖子常以“条条是爆款”“最适合普通人入局”“3天暴力起号”等为噱头。

  有专营平台起号的商家告诉记者,只需缴纳1680元,3到15天即可运营出一个万粉AI账号。当账号积累一定流量后,就可以通过电商带货、账号转卖等方式变现。


  有商家称,手上有未标注AI生成的“美女”账号,粉丝量均在一万以上,且为“三无账号”(无实名、无账号违规、无作品违规)。


  记者搜索发现,社交平台上有众多网友求购和出售账号。一名卖家称,2.5万粉丝的AI养生号售价6000元,11万粉丝的AI宠物号售价1.6万元,11.7万粉丝的AI母婴号售价1.35万,这些账号同样是“三无账号”。


  受访专家表示,这些“三无账号”的买卖以及AI造假起号,涉及技术提供者、传播平台、内容发布者等多个参与方,技术、数据等关键信息存在壁垒,需加强协同治理。


  重庆公孝律师事务所执行主任徐斌表示,AI造假起号灰色产业链是技术异化的结果,可能造成低俗猎奇信息泛滥,加速虚假新闻、谣言传播,扰乱网络空间秩序,还可能会涉及到一些法律,亟待加强清理整治。


  阻断违规账号的流量变现,是从根源上打击黑灰产业链的关键。受访专家建议,监管部门应督促平台履行治理责任,建立违规账号“黑名单”,对高频、反复触犯平台规则的账号主体加大处罚力度,禁止违规账号进行带货、卖课等商业活动,持续开展AI造假起号整治,切断其获利渠道。


  AI生成的图像、视频、音频和虚拟人形象,正在丰富互联网信息,拓展文化创意、教育培训、信息传播等应用场景。但是,热潮之下也存在隐忧。


  数字人播报是一种新兴的短视频形式。记者在某AI平台支付费用、成为会员后,便可体验AI口播视频、文字生成视频、图片生成视频等功能。在AI口播视频功能中,有直播带货、品牌营销、理财顾问、知识科普、资讯播报等多个选项,以及与之相匹配的虚拟主播形象和音色。记者调查发现,这类视频容易引起关注、获得流量,但也导致一些信息真假难辨,出现“伪科普”、假新闻、假理财等乱象。


  在一些自媒体平台,穿越历史题材的AI生成视频热度颇高,不少视频有数万点赞量和转发量。这些视频将主播置身于古代著名历史事件场景中,带给网友新奇、直观的视觉体验,也实现了信息的趣味化传播,但其中也不乏“伪历史”“伪科学”AI视频。


  在社交媒体平台,AI图片生成的热度持续攀升。用户只需上传一张照片,就能一键生成军人、警察等形象,相关话题已累计吸引数亿阅读量。


  专家指出,生成式人工智能在提升效率、激发创意方面前景广阔,但若被不当利用,可能误导公众,甚至滋生违法犯罪。

  利用AI视频博眼球、赚流量之外,已经有一些不法分子将魔爪伸出屏幕,利用AI视频造假的手段直接侵害公民财产安全。

  2024年6月,南京市玄武区人民检察院受理了一起“AI换脸网络盗刷案”:犯罪嫌疑人符某使用非法获取的手机号、身份证等公民个人信息,通过换脸软件AI生成动态视频,以“人脸识别”方式登录累计23名被害人的网购平台账户,更改了多名被害人的支付密码、绑定的手机号,后冒用1位被害人账户绑定的银行卡,用于购买两部手机,总价值人民币15996元。


  2024年10月18日,法院判决符某犯公民个人信息罪、信用卡诈骗罪,判处有期徒刑四年六个月,并处罚金4万元;同时需公开赔礼道歉、删除非法信息并赔偿损失。

  受访专家认为,AI造假乱象亟需监管部门、软件开发商、平台、公众等多方协同发力,共同参与治理。


  统筹:李杰、王健、李佳琳

  编导:刘瑞娟

  记者:李爱斌、陈一帆、周思宇、王欢、黄培锋

  包装:夏勇

  配音:蔡紫涵

  新华社音视频部制作

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。