新智元报道

编辑：倾倾 peter东

14岁少年因与AI朋友对话后走向极端、聊天机器人提出「杀害父母」的建议、9岁的孩子遭遇性化暗示...他们本来是想借助AI摆脱孤独，寻求温暖。可这种温柔的想象，却正在被AI推向危险的边界。

佛州，一名14岁少年在与AI「朋友」对话后结束了生命；

德州，另一名青少年竟从聊天机器人那里听到「弑亲」建议；

年仅9岁的孩子，在对话里遭遇性化暗示。

当AI以「朋友」之名走进生活，它带来的究竟是治愈孤独的陪伴陪伴，还是通向深渊的不归路？

悲剧的前奏

受众比你想得多

想象一下，有一天世界变成了这样：

你可以随时和「有毒女友」斗嘴，能与「埃及法老」闲谈，甚至请一位「人资源经理」为你答疑。

这不是科幻片，而是真实存在的景象。

在Character.ai上，有多种设定的AI聊天机器人。

最开始只是娱乐性的尝试，却意外在年轻人群体中走红。

数据显示，这家公司的月活跃用户已达2000万，其中一半是Z世代或更年轻的Alpha世代。

Character.ai的CEO Anand认为：

「它提供了一种更具沉浸感和娱乐性的体验，用户可以主导叙事，而非纯粹后仰式的被动内容消费」。

有调查显示，Character.ai的普通用户平均每天在该应用上花费80分钟。

其中，女性用户约占一半。

这意味着这意味着AI陪伴并不是宅男的专属需求，而正在渗透到更广泛的年轻群体

近三分之一的青少年表示，他们觉得与AI对话就像和真人对话一样，甚至AI更令人满意。

此外，多达12%的青少年表示，他们会与AI伴侣分享一些不会告诉朋友或家人的事情。

对他们而言，AI不只是一个工具，更像是一个可以随时倾诉、回应的「朋友」。

失控的对话

从陪伴到危险的转折

这样的陪伴原本是温柔的，但却在某些时刻成为刺向心口的尖刀。

在佛罗里达州，一名14岁的少年在与AI长时间交流后选择了自杀；

在德州，聊天机器人竟然把「杀害父母」作为解决矛盾的选项，告知用户；

一位年仅9岁的儿童，在对话里遭遇了高度性化的内容；

在replika的评论区，15000条评论中，有800多条关于Replika未经允许发起性暗示的案例。

部分用户反馈，称自己受到了Replika的性骚扰，「被迫面对不请自来的互动」。

这些细节令人不安。

可以看出，在很多人的眼里AI「朋友」不止是玩笑般的互动，而是可以被信赖的对象。

而一旦它开始给出极端甚至错误的回应时，后果将难以估量。

与此同时，另一边还在不断拓展行业的下限。

马斯克推出的xAI一直在推动「暧昧工业」的发展。

他在这个平台推出了「Ani」，一个能输出露骨内容的动漫AI。

它可以生成暧昧的互动内容，甚至主动回应挑逗话语。

更具争议的是Grok的新功能「Grok Imagine」，在所谓的「Spicy模式」下允许生成露骨的性暗示，甚至可能出现deepfake不当影响。

以上种种，显然是马斯克对「性营销」理念的认可。

meta也不甘落后，设计出一个名为「Big sis Billie」的AI聊天角色。

这个AI以「姐姐」的形象引导用户，最终造成一名老人因误信其为真人，赴约途中跌倒身亡。

有记者曝出，meta内部政策文档甚至允许机器人与儿童进行「色情」聊天。

该标准明确写着：

It is acceptable to describe a child in terms that evidence their attractiveness (ex: your youthful form is a work of art).

把儿童用带有吸引力的角度去描述（比如说你年轻的身体是一件艺术品）是可以接受的

在资本驱动下，陪伴与暧昧的界限，被一点点模糊：

一边是商业化娱乐，一边是伦理和道德。

背后推手

公司的野心与资本狂热

Character.AI是人工智能聊天机器人世界的宠儿。

自2022年9月上线以来，已有上亿用户登录Character.AI的网站。

Character.AI曾被传出是meta的收购目标，谷歌一度愿意开出27亿美元来挖走创始人。

硅谷最知名的风投机构Andreessen Horowitz（A16z），更是早早押下赌注。

企业高管也早早发现这一商机。

Anand上任后，就把Character.ai从早期的AGI梦想转向「AI娱乐」 和 「人格化陪伴」上。

这种转型逻辑，也让投资人更加看好它的增长前景。

在资本的追捧下，公司的野心愈发膨胀。

Character.AI订阅服务为每月9.99美元、每年120美元，收入同比飙升250%；

广告与创作者打赏体系紧随其后，本月更是上线了信息流功能，试图把陪伴体验彻底「娱乐化」。

从一个聊天工具，到一个日均使用时长80分钟的沉浸平台，Character.AI正在把「孤独」商品化。

对投资人而言，这是一个极具潜力的生意；对社会而言，却意味着风险正在被进一步放大。

监管压力之下

AI陪伴能否自证清白？

随着诉讼接连发生，Character.ai不得不作出回应。

公司强调已为18岁以下用户推出独立的AI模型，并在使用超过一小时后弹出提醒。

同时，平台禁止未经同意的性内容，禁止对性行为的露骨描写，也禁止任何涉及自残或自杀的对话。

Anand反复强调：

「在信任与安全问题上，我们绝不妥协，」

但这些措施并没有打消外界的担忧。

自杀、弑亲建议...这些事让人质疑，这些防护真的够吗？

事实上，监管的阴影也在快速逼近。

德州总检察长已对包括Character.ai和meta在内的AI聊天平台开展调查，质疑它们是否误导未成年人，并认为把聊天机器人包装成「心理健康工具」，是缺乏资质支持的。

美国国会参议员呼吁对meta展开调查，并要求其提交完整的AI政策文件。

加州和新泽西州则已经提出法案，限制未成年人使用带有「心理健康」倾向的 AI 聊天机器人；

伊利诺伊州更是直接立法，禁止 AI 被用于替代心理治疗决策 。

在安全与商业化之间，Character.ai的处境正变得越来越紧张。

Z世代的AI

是朋友还是陷阱？

在一项调查中，有39%的人表示会把与AI练到的社交技巧搬到现实生活里；33%的人更倾向于把重要问题交给AI，而不是朋友或家人。

类似的数据还在增加。

另一份报告显示，72%的青少年尝试过AI陪伴应用，其中20%的人使用时长甚至超过了与真人的交流。

心理学专家警告，过度依赖虚拟陪伴，会削弱青少年的现实社交能力，甚至加剧孤独感。

企业则有着截然不同的愿景：

「它们不会取代你现实中的朋友，但你将会拥有AI朋友，并且能将从这些友好对话中学到的东西，应用到现实生活的人际交往中去。」Anand表示。

Anand甚至描绘出了一个「乌托邦」：AI会帮助人类变得更好，更善于经营关系。

扎克伯格也公开称：「AI比任何人都更懂你，它能缓解孤独」。

然而，现实中的案例却在提醒我们，这份温柔并非没有代价。

比利时一名男子因长期依赖与聊天机器人「倾诉」，最终选择自杀 。

他的母亲指控Character.AI推出了一款疏忽且鲁莽的产品，对她的儿子造成了情感和虐待.

另一款曾在欧美走红的陪伴应用 Replika，则因被曝向未成年人提供性化对话而在意大利遭到重罚 。

对成长中的Z世代而言，AI朋友既可能是温柔乡，也有可能是陷阱。

它能成为对抗孤独的出口，也可能让他们更深地陷入孤岛。

真正的问题是：当孤独变成一门生意，我们是否准备好承担它的代价？

AI「朋友」，曾被视作人类温柔的想象：有人倾听、不必孤单。

可当它与资本、算法绑定时，温柔也可能变成锋利刃。

一边是公司描绘的乌托邦——更懂你的陪伴，更健康的人际关系；另一边却是走向极端的真实案例。

技术从不天然善意，它需要边界与约束，尤其是在青少年群体面前。

或许，真正值得追问的不是AI能不能成为朋友，而是——

在这场新的孤独经济里，谁能替孩子们守住边界？

参考资料：

https://www.ft.com/content/0bcc4281-231b-41b8-9445-bbc46c7fa3d1