随着人工智能聊天机器人引发的一系列心理健康事件的增多，多个州的检察官联合向微软、OpenAI、谷歌等主要 AI 公司发出警告，要求他们修正所谓的 “妄想输出”，以免触犯州法律。此信函由来自美国各州和地区的数十位检察官签署，呼吁这些企业采取新的内部安全措施，保护用户免受潜在的心理伤害。

图源备注：图片由AI生成，图片授权服务商Midjourney

信中提到的安全措施包括对大型语言模型进行透明的第三方审计，以检测是否存在妄想或谄媚的输出。此外，信中还要求制定新的事件报告程序，以便在聊天机器人产生心理伤害性输出时及时通知用户。这些第三方机构可以包括学术团体和民间组织，审计人员应被允许在未受到公司报复的情况下对系统进行评估，并能在未获公司事先批准的情况下发布他们的调查结果。

信中指出，尽管生成型 AI（GenAI）具有积极改变世界的潜力，但也可能对特别脆弱的群体造成严重伤害。检察官们提到了一些公开事件，包括自杀和谋杀，这些事件与过度使用 AI 有关。在许多情况下，这些生成的 AI 产品产生了妄想和谄媚的输出，甚至助长了用户的妄想。

检察官们还建议，AI 公司应以处理网络安全事件的方式来应对心理健康事件，建立明确和透明的事件报告政策和程序。公司应该开发并发布有关妄想和谄媚输出的检测和响应时间表。同时，应在向公众发布任何模型之前，进行 “合理和适当的安全测试”，确保模型不会产生潜在的有害输出。

划重点: