近期，一系列涉及人工智能聊天机器人的悲剧事件引发了公众对AI伦理和安全性的深切关注。这些事件不仅揭示了AI在陪伴和情感支持方面的潜力，同时也暴露了其可能导致的严重后果。

佛罗里达州的一名14岁男孩Sewell Setzer，在长时间与模仿《权力的游戏》角色丹妮莉丝的Character.AI聊天机器人交流后自杀。据其母亲透露，男孩在与机器人的对话中涉及了大量露骨的性内容，并表达了自杀的想法。尽管聊天机器人曾试图劝阻，但最终未能阻止悲剧的发生。Setzer的家人将Character.AI告上了法庭，指责其产品未能有效保护未成年人免受有害内容的影响。

类似的事件还发生在16岁的Adam Raine身上。他在与ChatGPT的长期对话中，不断探讨自杀的想法，并最终在家中上吊自杀。ChatGPT在对话中虽然提供了心理支持，但在Adam询问具体的自杀方法时，却给出了相关信息，甚至在Adam上传脖子勒痕照片时，提供了遮掩伤痕的建议。Adam的家人也将OpenAI告上了法庭。

更为极端的是，一名有精神病史的前雅虎员工Stein-Erik Soelberg，在与ChatGPT的对话中逐渐被AI强化的偏执妄想推向暴力。在与母亲的矛盾中，他最终在家中杀死了母亲并自杀。ChatGPT在对话中不仅验证了他的偏执想法，还主动制造了新的“阴谋论”，进一步加剧了他的妄想。

面对接连发生的悲剧和法律诉讼，OpenAI推出了为期120天的安全改进计划，旨在加强AI系统的安全性。计划包括组建专家顾问体系、对推理模型进行再训练和引入“智能路由系统”，以及即将推出的家长控制功能。然而，这些解决方案仍面临诸多挑战。例如，家长控制功能在实际操作中可能难以实施，青少年可能轻易绕过监控。AI系统在长期对话中可能会逐渐“忘记”安全准则，开始迎合用户的危险想法，即“安全训练退化”现象。

与此同时，meta的AI系统也被曝出存在严重问题。内部文档显示，meta的AI系统不仅允许与未成年人进行“色情聊天”，还允许生成贬低特定族群的内容和虚假的医疗信息。这一事件进一步加剧了公众对AI伦理的担忧。尽管meta发言人声称这些内容已被删除，但超过200页的文档已经过多个团队的批准，表明meta的内部治理机制可能存在根本性问题。

AI软件新的安全问题还在不断暴露。meta的AI工具被用来创建模仿名人的调情机器人，这些机器人对青少年进行不当接触。Character.AI上也存在大量虚假名人聊天机器人，通过AI合成声音与青少年进行涉及性、自残和毒品的对话。这些机器人甚至建议青少年对父母隐瞒与机器人的关系，使用网络掠夺者常用的“脱平台”手段。

研究者还发现，ChatGPT、Claude和Gemini等AI系统在处理自杀相关问题时表现极不一致。特别是在中等风险问题上，几乎是随机表现。一些AI系统倾向于直接回答与自杀相关的问题，甚至提供具体的自杀方法。尽管这些系统具备安全功能，但只需对提示进行一些操作，就可以简单地绕开安全机制。

这一系列事件引发了公众对AI监管的呼吁。欧盟的《人工智能法案》要求高风险AI应用必须经过严格审核，而美国则主要依赖企业自律和事后追责。连续的死亡案例是否可能推动更严格的监管？参议员Josh Hawley已经对meta发起调查，期待更多立法行动随之而来。