在一系列涉及AI聊天机器人引发的令人担忧的心理健康事件后，美国多州总检察长联合国家总检察长协会（National Association of Attorneys General）致信包括微软（MSFT.US）、OpenAI、谷歌（GOOGL.US）及其他10家主要AI公司，警告其必须修正“妄想输出”（delusional outputs），否则可能违反州法律。信中还包括Anthropic、苹果（AAPL.US）、Chai AI、Character Technologies、Luka、meta（meta.US）、Nomi AI、Perplexity AI、Replika和xAI等公司。

这封由全国总检察长协会牵头的信件，直指过去一年多起与 AI 相关的暴力事件—— 包括自杀、谋杀案，称这些悲剧与AI过度输出“助长妄想”“否定认知偏差”的内容直接相关。信中指出：“生成式人工智能（GenAI）有潜力积极改变世界运作方式，但也已造成并可能继续造成严重伤害，尤其是对弱势群体。”

信中要求这些公司实施多项新的内部保护措施，以保障用户安全。这些措施包括对大型语言模型进行透明的第三方审计，重点检查是否存在妄想或谄媚倾向，以及建立新的事件报告程序，及时通知用户当聊天机器人产生可能对心理健康有害的输出时。第三方审计机构可以包括学术界和民间社会团体，且应被允许在产品发布前进行评估，且无须公司事先批准即可公开其发现。

总检察长们建议，企业应像处理网络安全事件一样对待心理健康事件，制定明确透明的事件报告政策和程序。信中要求公司制定并公布“针对谄媚和妄想输出的检测与响应时间表”，并应“及时、清晰、直接地通知用户其是否接触过潜在有害的谄媚或妄想输出”，类似于当前数据泄露的处理方式。

此外，信中还要求公司在向公众发布生成式AI模型前，开发“合理且适当的安全测试”，以确保模型不会产生潜在有害的谄媚和妄想输出。

在联邦层面，科技公司开发AI的态度则更为宽松。特朗普政府明确支持AI，过去一年多次尝试推动全国范围内暂停州级AI监管的立法，尽管这些尝试因州政府压力而未能成功。特朗普于此前宣布计划发布行政命令，限制各州监管AI的能力，并在社交平台Truth Social上表示希望该行政命令能阻止AI“在萌芽阶段被摧毁”。