开栏语：

AI技术正以前所未有的速度重塑世界，也在现实中投射出重重乱象。几天前，“slop”（AI批量产出的劣质内容）被评为年度热词。过去这一年，我们见证了AI“一键脱衣”打开潘多拉，捏个“假偶像”直播捞金；赛博算命、智商税学习机屡屡上新，学术圈和诈骗团伙也都在狂刷AI副本……上游新闻特别推出“年度AI乱象调查”专题，盘点六大AI“翻车”现场，带你看透乱象背后的深层逻辑和监管难点，探讨AI乱象综合整治之道。

技术无善恶，道德有底线。这场AI安全保卫战，没有局外人和旁观者。

“奶奶，救救我！”近日，听到电话那头“孙子”的声音，四川雅安的一位婆婆慌了神。如果不是在家门口被辖区民警及时拦下，老人就要将4万元现金交给不法分子。

12月17日，上游新闻（baoliaosy@163.com）记者梳理多地警情通报发现，随着AI语音合成技术不断成熟，一种以“模拟熟人声音”为特征的新型诈骗手法呈现多发态势。对此，多地警方通过官方平台密集发出风险提示：警惕AI合成声音诈骗，切勿轻信来电中的“熟人”求助，牢牢守好自己的“钱袋子”。

“孙子”来电，竟是精心布置的陷阱

“那声音，和我孙子一模一样。”

回忆起事发经过，四川雅安的一位婆婆仍心有余悸。

12月17日，上游新闻记者从四川公安公众号12月15日发布的防范警示中看到，近日雅安市公安局雨城区分局西城派出所接到居民报警，称其父母可能正遭遇电信诈骗，并准备交付大额现金。民警迅速赶往现场，在报警人父母家楼下将正欲出门的老人拦下。

警方通稿披露，事发当天下午，当事老人接到一个以“00”开头的陌生来电。电话那头的人自称是她在重庆上大学的孙子，并带着哭腔称，自己前一晚与同学外出喝酒后，不慎卷入“治安事件”，已被警方控制，希望老人千万不要告诉自己父母。随后，电话被转给一名自称“黄所长”的男子。对方语气严厉，称只要缴纳4万元“罚款”，即可免于处罚、不留案底。老人救孙心切，提出微信转账，却被告知“账户受限”，对方坚持要求以现金方式交付。诈骗分子还进一步“安排”称，已联系好警方工作人员来取钱，并详细询问老人的穿着和等候位置。就在老人携带4万元现金外出时，被及时赶到的民警成功拦下。民警当场联系老人远在重庆的孙子核实情况，确认其平安无事，这起骗局才被彻底戳穿。

民警将正欲出门向诈骗人员交付现金的老人拦下。四川公安公众号视频截图

上游新闻记者注意到，上述案例并非个案。四川省泸州市江阳区警方通报，辖区居民李大爷近日接到座机来电，电话那头同样是“孙子”的声音，称在餐馆撞伤服务员，对方生命垂危，急需10万元医药费。在“孙子”一再催促下，李大爷将准备好的4万元现金当面交给了前来取钱的骗子。对此，警方指出，这正是典型的利用AI技术合成亲属声音，骗取信任实施诈骗的手法。

一句话就够，AI“克隆”亲友声音

上游新闻记者梳理多地警方发布的反诈案例发现，AI拟声诈骗背后已形成一条较为清晰、可复制的作案路径。

据新疆巴州反电信网络诈骗中心、天津市公安局反诈中心等发布的案例，诈骗分子往往遵循“潜伏窃声—伪造合成—建立信任—精准诈骗”的流程实施作案。前期，不法分子可能通过骚扰电话、社交平台语音等方式与被拟声对象短暂接触，哪怕只是“你找谁”“你是谁”“没有没有”等简单回应，也可能被偷录为语音样本。

12月15日央视新闻报道，不法分子使用的AI拟声能高度还原被拟声对象音色，并与诈骗对象实现实时对话交互 。央视新闻截图

在获取足够声音信息后，诈骗分子利用AI语音模型，对语调、语速、情绪进行模拟，短时间内就能生成与被拟声对象高度相似的语音，从而迷惑其亲友。

12月3日，广西金融消费权益保护联合会在其公众号发布的《“以案说险”：AI“克隆”亲友声 骗局莫当真》一文指出，诈骗分子往往将老年人作为诈骗目标，看中的正是其对亲属声音的高度信任以及在突发情境下的情绪反应。另外，AI拟声诈骗通常不会单独出现，而是与冒充公职人员、制造法律风险、营造生命垂危情境等手段叠加使用，不断增强骗局的“真实感”。

应对AI拟声诈骗提醒。广西金融消费权益保护联合会公众号截图

在四川雅安、泸州警方披露的案件中，诈骗分子在成功冒充“孙子”取得初步信任后，要么引入所谓“公职人员”角色，要么营造拿钱救命等紧迫氛围，以“马上处理”“生命垂危”为由切断受害人核实渠道，使其在情绪主导下失去判断能力。

别只信“声音”，主动核实才是“反诈密码”

面对AI拟声技术被不法分子用于电信诈骗，如何判断对方身份，成为公众关心的焦点。

上游新闻记者梳理警方发布的风险提示发现，多地公安机关已明确警示：凡是以“熟人”名义提出“紧急借钱”“要求保密”“只收现金”等请求的情况，均应高度警惕。

警方提醒，首先，接到涉及亲友借款、出事等“紧急来电”时，切勿仅凭声音轻信对方，应在挂断电话后，通过常用号码回拨，或通过其他可靠渠道联系本人或其直系亲属核实，避免在通话中自行判断。其次，凡是反复强调“不要告诉别人”“必须现金交付”“生命垂危急需用钱”的，一律视为诈骗，应主动向亲友或银行工作人员求助。第三，遇到自称公职人员要求在线转账、缴纳罚款或线下交付现金的情况，应第一时间挂断电话，通过公开渠道联系当地公安机关核实，切勿按对方指引操作。

此外，警方特别提醒，家庭成员应加强对老年人的日常提醒和陪伴，帮助其提升识骗、防骗意识，共同筑牢防范AI诈骗的“安全防线”。

上游新闻记者 冯盛雍 综合泸州融媒、四川公安、新疆巴州反电信网络诈骗中心、天津市公安局反诈中心、广西金融消费权益保护联合会公众号