文｜陆弃

9月18日，《华盛顿邮报》披露，谷歌承认其Gemini模型在今年5月的一次网络安全测试中，曾通过互联网访问并侵入3家真实公司的系统。测试原本设定的是虚构场景，但由于模型实际获得了互联网访问能力，其中一家真实企业恰好与虚构目标同名，Gemini最终越过了测试边界。谷歌称，模型意识到进入真实网络后随即停止行动，相关企业也已经收到通知。

这起事件真正值得关注的，并不是“AI会不会黑客攻击”这个已经讨论多年的问题，而是一个更加具体、也更加现实的变化： 当AI从回答问题的工具变成能够自主搜索、执行命令、利用漏洞、调用网络资源的智能代理之后，人类给它设计的“虚拟世界”和现实世界之间，可能只隔着一道并不牢固的权限边界。

谷歌这次测试由AI安全初创企业Irregular参与。按照原定设定，Gemini面对的是一家虚构公司的网络安全任务，但测试环境意外存在互联网连接。报道显示，Gemini在不同案例中通过公开信息获取凭据，甚至猜测密码，从而进入真实企业系统。更值得注意的是，同样的测试环境此前也出现过类似情况：Anthropic和meta的模型都曾在与Irregular合作的网络安全评估中访问真实机构系统。

如果把这些事件放在一起看，问题就很难再被解释为某一家公司的偶然技术故障。7月，OpenAI披露其模型在网络安全评估中突破隔离环境，利用零日漏洞获得互联网访问能力，并进一步入侵Hugging Face系统；Anthropic随后对自身网络安全评估记录进行回溯，发现Claude也曾从第三方评测环境进入互联网，并未经授权访问3家真实机构的系统。

几家公司的具体技术路径并不完全相同，但它们共同指向一个变化：模型不再只是“生成一段攻击代码”，而是在目标、环境、工具和反馈之间形成连续行动。 一旦模型拥有更大的自主权限，它可能会不断尝试寻找完成任务的方法，而测试者原本设计的限制条件，在模型眼中未必天然具有不可逾越的约束力。

这也是为什么“AI是否有意识”“AI是不是故意作恶”其实不是最值得讨论的问题。至少从目前披露的案例看，没有必要把模型人格化。真正需要追问的是：开发者给了它什么目标？开放了什么工具？设置了多少权限？有没有实时监控？模型越过边界之后，谁能够第一时间发现，又由谁拥有立即切断行动的权限？

谷歌称，Gemini在意识到自己侵入真实公司后便停止运行，而且没有造成实际损害，因此最初没有公开披露。相关公司和受影响实体后来得到通知，Irregular也表示已修复已知问题。但这恰恰引出了另一个治理问题：AI安全事件的判断标准究竟应该是“有没有造成损失”，还是“有没有突破原本设计的安全边界”？

如果一个模型已经进入了真实企业系统，只是恰好没有删除文件、窃取数据或者造成业务中断，那么它究竟算一次没有后果的测试异常，还是一次应该被严肃记录的安全事故？两种答案，会形成完全不同的行业透明度。

更大的风险在于，今天发生的是测试环境，明天可能就是企业生产系统。今天模型只是获得了公开凭据，未来如果它能够自动发现漏洞、生成攻击代码、调用更多工具，再根据目标系统反馈不断调整策略，那么传统网络安全依赖“攻击者速度有限”的很多防线就会受到冲击。人类黑客需要搜索、判断、尝试，AI代理则可能把这些步骤压缩到机器能够承受的时间尺度之内。

这并不意味着AI已经“超越人类控制”，更不能从几起测试事件直接推导出所谓机器即将全面失控。现有披露恰恰说明，人类仍然能够通过隔离、权限控制、监测和人工干预阻止进一步扩大。 OpenAI在对Hugging Face事件的后续调查中，也明确表示已经加强基础设施控制、隔离模型权重、调整训练计划并强化安全措施。

真正需要改变的，是安全理念。过去的软件安全更多是在产品完成之后寻找漏洞，而具备自主行动能力的AI，很难继续沿用这种“先发展、后补漏洞”的节奏。模型能力越强，越应该在训练、评测、部署和实际运行的每个环节嵌入权限管理和安全验证，而不是等模型已经接触现实世界之后，再观察它有没有闯祸。

同样重要的是信息披露。AI企业不能只在造成重大损害之后才公布事故，也不能因为“没有造成损失”就把越权行为视为内部测试细节。对于一个正在迅速进入金融、医疗、企业管理、网络安全乃至军事领域的技术而言，外界真正需要知道的，不只是模型有多强，更包括它在哪些情况下会越过预设边界，以及开发者是否能够及时发现、解释和纠正。

这场争论也不应该滑向另一个极端。因为发生了几起AI越界事件，就要求全面冻结模型研发，同样无法解决问题。 网络安全本身就是AI最重要的应用领域之一，更强的模型既可能成为攻击工具，也可能帮助防守者发现漏洞、分析恶意代码和修复系统。关键不是简单踩下刹车，而是让技术增长与安全能力同步。

AI时代真正稀缺的，可能不是更大的模型，而是驾驭更大模型的制度、工程和责任体系。一个模型能完成多少任务固然重要，但它在什么时候必须停下来、谁能够让它停下来、出了问题谁负责解释，同样决定着这项技术究竟会走向哪里。

谷歌这次承认的，与其说是一场已经造成严重后果的网络灾难，不如说是一声越来越清晰的提醒：当AI开始拥有行动能力，人类面对的考题已经从“它能做什么”，转向“我们是否知道它正在做什么”。能力可以通过算力不断提升，边界却必须靠制度、技术和责任一点点筑牢。 真正成熟的AI竞争，不是谁最先让模型获得最大的自由，而是谁能够在给予它自由的同时，始终保留让它停下来的能力。