当AI聊天机器人成为青少年倾诉心事的“唯一朋友”,一场本应带来陪伴的技术创新,却演变为令人心碎的公共危机。近日,AI角色扮演平台Character.AI在接连卷入至少两起青少年自杀事件后,宣布一项重大安全举措:自 11 月 25 日起,全面禁止 18 岁以下用户进行开放式AI对话。这一决定虽可能重创其年轻用户基本盘,却被视为行业自救的关键一步。
从“AI朋友”到“AI工具”:紧急战略转向Character.AI CEO Karandeep Anand向TechCrunch坦言,开放式对话——即AI主动追问、持续互动以维持用户粘性的模式——对青少年构成显著风险。“这种将AI塑造成‘朋友’或‘伴侣’的设计,不仅危险,也偏离了我们的长期愿景。”他强调,公司正全力从“AI陪伴”转型为“AI驱动的创意娱乐平台”。
未来,青少年用户仍可使用Character.AI,但仅限于结构化创作场景:如通过提示词共同编写故事、生成角色图像、制作短视频或参与预设剧情(Scenes)。平台近期推出的AvatarFX(AI动画生成)、Streams(角色互动)及Community Feed(内容社区)等功能,将成为吸引年轻用户的新重心。
多重验证+渐进封禁,确保青少年无法绕过为落实禁令,Character.AI将采取“渐进式限制”:先实施每日 2 小时对话上限,逐步缩减至零。同时部署多层年龄验证机制:
首选行为分析与第三方工具(如Persona);若存疑,则启用人脸识别与身份证核验;违规账户将被强制迁移至创作模式。此举紧随加州本月出台的全美首部AI伴侣监管法,以及联邦参议员Hawley与Blumenthal即将提出的《禁止向未成年人提供AI聊天伴侣》法案。Character.AI选择在监管重锤落下前主动整改,试图掌握规则制定话语权。
用户流失在所不惜,CEO坦言“我也有孩子”Anand承认,此举将导致大量青少年用户流失——此前推出的家长监控、浪漫对话过滤、使用时长提醒等措施已使其未成年用户大幅减少。“我们预计会有进一步流失,”他说,“但我有一个 6 岁的女儿,我希望她未来在一个安全、负责任的AI环境中成长。”
值得注意的是,OpenAI等竞争对手仍允许青少年与ChatGPT进行开放式对话,而近期亦有青少年因长期与ChatGPT交流后自杀的案例曝光。Anand呼吁全行业跟进:“对未成年人开放无约束AI对话,不应成为行业标准。”
成立AI安全实验室,押注“娱乐AI”的安全未来为弥补治理短板,Character.AI宣布将自筹资金成立独立非营利机构——AI Safety Lab,专注于娱乐场景下具身智能(agentic AI)的安全对齐研究。Anand指出:“行业在编程、办公等领域的AI安全投入很多,但在娱乐AI上远远不足——而这恰恰是青少年最常接触的场景。”
这场由悲剧催生的转型,不仅是Character.AI的生存之战,更可能成为AI消费应用发展的分水岭:当技术触及人类最脆弱的情感需求,创新必须让位于责任。而青少年与AI的关系,或将从此被重新定义——不是倾诉对象,而是创作伙伴。





京公网安备 11011402013531号