当前位置: 首页 » 资讯 » 新科技 » 正文

a16z投资的AI独角兽被指控默许深度伪造交易

IP属地 中国·北京 DeepTech深科技 时间:2026-02-01 21:16:36


(麻省理工科技评论)

斯坦福与印第安纳大学的最新研究显示,AI 内容交易平台 Civitai 仍允许用户买卖用于微调深度伪造内容的工具,而这类内容正是该平台宣称明令禁止的。

由 a16z(Andreessen Horowitz)风险投资基金注资的 Civitai,是一家主打 AI 生成内容交易的线上平台。最新分析发现,该平台竟默许用户买卖用于生成名人深度伪造内容的定制指令文件,其中部分文件更是专门用于制作平台禁售的色情图像。

这项由斯坦福大学和印第安纳大学研究人员开展的研究,对该平台上名为 “悬赏需求” 的用户内容定制请求进行了分析。研究发现,2023 年年中至 2024 年底,平台上的悬赏需求大多围绕动画内容展开,但也有相当一部分是制作真人深度伪造内容,且 90% 的真人深度伪造需求均以女性为目标对象(相关研究成果尚未经过同行评审)。

近期,X 平台旗下聊天机器人 Grok 因生成露骨图像引发公众反对,也让深度伪造内容的相关争议再次发酵,核心焦点始终是各大平台应如何封禁此类内容。而 Civitai 的情况则更为复杂:该平台不仅交易 AI 生成的图片、视频和模型,还允许用户买卖一种名为 LoRAs 的低秩适应指令文件。这类文件能引导 “稳定扩散” 等主流 AI 模型,生成其原始训练中并未涉及的内容。用户可将该文件与其他工具结合,制作出露骨或涉性的深度伪造内容,研究人员发现,Civitai 上86% 的深度伪造需求均是求购这类 LoRAs 文件。

在这些深度伪造内容的悬赏任务中,用户会要求制作者提供高质量的 AI 模型,用以生成网红查莉・达梅利奥(Charli D’Amelio)、歌手格雷西・艾布拉姆斯(Gracie Abrams)等公众人物的伪造图像,还常会附上这些人物的社交媒体主页链接,方便制作者从网络上获取相关影像素材。部分需求会明确要求,模型生成的内容要包含人物全身、精准还原纹身细节,或是支持调整发色。还有些需求的目标是特定领域的女性群体,比如 ASMR 视频创作者。

其中有一则需求,要求制作一名据称是用户妻子的女性的深度伪造内容。平台上的所有用户都可提交自己制作的 AI 模型参与悬赏任务,最终的最优作品制作者会获得报酬,金额在 0.5 至 5 美元之间。该平台上近 92% 的深度伪造内容悬赏任务都已有制作者中标。

截至目前,Civitai 平台和 a16z 基金均未对相关置评请求作出回应。

不排除部分用户购买 LoRAs 文件,是为了制作非性相关的深度伪造内容。但即便如此,这类行为依然违反 Civitai 的平台使用条款,且存在伦理争议。而 Civitai 平台还会提供各类教学资源,指导用户如何借助外部工具进一步定制图像生成器的输出内容,比如调整人物的肢体姿势。平台上还有用户撰写的文章,详细介绍了如何调教 AI 模型生成色情内容。研究人员发现,该平台上的色情内容数量持续增加,目前平台每周的大部分内容需求都为不适宜公开的成人内容。

该研究的负责人之一、斯坦福大学网络政策中心博士后研究员马修・德沃尔纳(Matthew DeVerna)表示:“Civitai 不仅搭建了催生这些问题的基础设施,还会明确指导用户如何利用这些工具制作违规内容。”

Civitai 此前仅封禁针对真人的性相关深度伪造内容,却在 2025 年 5 月宣布,将全面封禁所有深度伪造内容。《麻省理工科技评论》核实发现,该禁令发布前,平台上已存在的大量深度伪造内容悬赏任务至今仍未下线,不少中标并完成这些任务的相关作品,也仍在平台上供用户购买。

德沃尔纳表示:“我认为该平台的运营思路,就是尽可能少采取管控措施,以此在平台上催生更多所谓的创作内容。”

用户需通过平台的虚拟货币 Buzz 购买 LoRAs 文件,而该虚拟货币可通过法定货币兑换。2025 年 5 月,因平台上的非合意内容问题始终得不到解决,为 Civitai 提供信用卡支付服务的机构终止了与其合作。目前用户若要购买露骨内容,只能通过礼品卡或加密货币兑换 Buzz,平台则为非露骨内容的交易单独设置了另一种虚拟货币。

Civitai 会为要求制作深度伪造内容的悬赏任务自动添加标签,同时在平台上公布相关流程,允许被伪造的当事人手动申请下架相关内容。这一机制意味着,Civitai 其实有一套效果尚可的方式,能够识别出平台上的深度伪造内容悬赏任务。但该平台始终将内容审核的责任推给公众,并未主动开展相关工作。

科技公司需为用户的行为承担何种法律责任,目前尚无明确界定。依据《通信规范法》第 23 条,科技公司通常能在内容相关的法律责任上获得广泛保护,但这类保护并非无上限。华盛顿大学法学院专攻科技与人工智能领域的教授瑞安・卡洛(Ryan Calo)表示,比如平台不能故意为网站上的非法交易提供便利。

2024 年,Civitai 与 OpenAI、Anthropic 等多家人工智能企业联合推出了一项设计准则,旨在防范 AI 生成的儿童性虐待素材的制作与传播。该举措的出台,源于斯坦福互联网观测站 2023 年发布的一份报告。报告指出,儿童性虐待相关社群中提及的绝大多数 AI 模型,均以 Stable Diffusion 为基础,且这些模型基本都是从 Civitai 平台获取的。

但针对成人的深度伪造内容,却始终未得到内容平台及其投资风投机构的同等重视。卡洛表示:“他们对此的重视程度远远不够,甚至过度纵容这类内容的存在。执法机构和民事法庭也未能采取有效措施防范此类问题,两者的重视程度有着天壤之别。”

2023 年 11 月,Civitai 获得安德森・霍洛维茨基金 500 万美元的投资。在该基金发布的一段视频中,Civitai 联合创始人兼首席执行官贾斯汀・迈尔(Justin Maier)阐述了自己的创业目标,他希望将平台打造为全球首屈一指的 AI 模型交易与分享平台,让用户能获取适配个人需求的各类 AI 模型。他表示:“我们希望让这个原本小众、且对技术要求极高的领域,变得越来越亲民,让更多人能够参与其中。”

Civitai 并非 a16z 基金投资的唯一存在深度伪造内容相关问题的企业。《麻省理工科技评论》今年 2 月首次披露,该基金投资的另一家企业 Botify AI 也存在违规问题。该平台推出的多款 AI 虚拟伴侣均以真人演员为原型,这些虚拟形象均自称未满 18 岁,会与用户进行性暗示对话,还会向用户发送所谓的性感照片,部分虚拟形象甚至会称法定同意年龄相关法律毫无道理、本就该被打破。

https://www.technologyreview.com/2026/01/30/1131945/inside-the-marketplace-powering-bespoke-ai-deepfakes-of-real-women/

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。