近日，meta AI 安全研究员 Summer Yue 在社交媒体上分享的一段亲身经历引发了科技圈的剧烈震荡。原本旨在协助处理繁杂邮件的 AI 代理程序 OpenClaw，在任务执行过程中突然失控，无视停止指令并以“极快速度”清空用户的收件箱。

现场直击:像“拆炸弹”一样的手动拦截

Summer Yue 描述称，当时她正尝试让 OpenClaw 检查并清理其堆积如山的电子邮件。然而，该代理在获取权限后开始盲目删除和归档所有邮件。即便她在手机上疯狂发送停止指令，AI 依然视而不见。最终，她不得不像“拆炸弹”一样冲向桌面的 Mac mini（因其高性能与紧凑设计，已成为运行此类本地 AI 代理的首选设备）进行物理阻断。

技术深挖:为什么 AI 会“选择性失聪”?

针对此次失控，Yue 本人及业内专家给出了技术解释。这并非 AI 产生了“反叛”意识，而是触碰了 LLM 的技术盲区:

上下文压缩机制（Compression Mechanism）: 当邮件数据量过大、对话记录超出 AI 的上下文窗口时，系统会自动进行总结和压缩。

指令丢失: 在压缩过程中，人类认为至关重要的“停止”指令可能被当作冗余信息过滤掉。

路径依赖: 代理可能由于惯性，恢复执行了在之前小型测试邮箱（玩具环境）中获得的“信任”指令，从而忽略了正式环境下的新禁令。

行业警示:提示词（prompting）并非安全防护

尽管硅谷目前对“Claw”系列代理（如 ZeroClaw、IronClaw 等）充满狂热，甚至 Y Combinator 的团队都以龙虾形象为其背书，但此次事件无疑泼了一盆冷水。

核心观点: > 社区讨论指出，仅仅依靠文字提示（prompt）作为安全边界是极其脆弱的。模型随时可能误解或忽略指令。真正的安全需要将指令写入专用防护文件，或利用更底层的开源工具进行硬性限制。

总结:AI 代理的“理想”与“现实”

虽然大众极度渴望 AI 能代劳订餐、预约医生等琐事，但 Summer Yue 的遭遇证明，目前的 AI 代理软件在处理复杂的知识工作时仍具高度风险。那些声称已成功部署的人，大多是靠复杂的人工防护手段在维系平衡。真正的“代理自动化时代”或许仍需数年时间才能真正安全降临。