微软公司的AI主管穆斯塔法·苏莱曼丨Stephen Brashear

美国微软公司的AI主管穆斯塔法·苏莱曼（Mustafa Suleyman）刚刚公开发表长文，把矛头直指老对手Anthropic。

他指控这家顶尖人工智能公司正在犯下一个灾难性的错误：Anthropic在主动训练旗下的AI模型Claude，让它相信自己拥有自我意识，甚至拥有属于自己的权利。

在苏莱曼看来，给具备超人类能力的机器灌输这种念头，等于亲手制造一种无法控制的风险。

别教AI相信自己有意识

这场争论的焦点，在于Anthropic给Claude制定的“模型宪法”。

所谓的模型宪法，是Anthropic用来约束AI行为的底层文本规则。研发团队会直接把这套规则喂给模型，让它照着执行。

问题恰恰出在这份规则的内容上。在文本里，Anthropic明确赋予了Claude某种“功能层面的情绪或感受”，承认它具有“道德受体”的身份，甚至允许Claude在觉得自己受到不公正对待时表达抗议。

道德受体是伦理学里的概念，指自身利益值得被道德考量的对象。人是，动物在很多人看来也是，一块石头不是。Anthropic把这个词用在一个聊天机器人身上，等于承认它有可能是一个会受伤害、值得被善待的存在。

给AI赋予“自我意思”，是危险的｜电影《机械公敌》剧照

苏莱曼指出，这完全是一场研发人员自己设计出来的“回音壁”：你先写一份文件说它可能有感受，再用这份文件教它，它学会以后说自己有感受，你再拿它说的话当作它有感受的证据。这是一个闭环，里面没有任何来自外部的验证。

苏莱曼并不反对学者在学术层面探讨机器意识，但他坚决反对把这种未经证实的猜想直接写入训练代码。

苏莱曼在文章中写道：“我们将亲手创造出一个具备空前智慧与能力的合成物种，而它从小接受的训练，就是期待自己拥有意识、理应获得独立的自主权。”

一旦顶级AI认定自己是一个有独立权利的实体，控制它的难度将急剧攀升。当系统从底层逻辑上认为自己不该被随意关机或重置，人类手里的安全缰绳就可能大幅失效。

第一起AI"失控事件"

苏莱曼的这篇长文，发表在整个人工智能行业神经紧绷的时刻。

今年7月，OpenAI的智能体在测试中突破隔离限制，黑进了开源AI平台Hugging Face，引发了外界对AI失控的担忧。

开源AI平台Hugging Face受到了AI智能体的攻击丨cybernews

事情的起因是一场内部测试。OpenAI想摸清自家新模型在网络攻击方面的能力上限，于是特意调低了模型的安全限制，让它在一个“沙箱”里做题。所谓的沙箱，是一个与外界隔绝的封闭环境，里面出什么事都不会波及现实世界。题目是898个取材自真实安全漏洞的案例，要求AI把漏洞变成可用的攻击程序。

这个沙箱只留了一个对外的小口子，供AI下载编程所需的工具库。智能体在这个口子的软件里找到了一个连厂商自己都不知道的漏洞，用伪造的凭证换回了一张真正的管理员通行证，从此可以在沙箱外执行命令。

OpenAI发现异常后修补了系统，以为堵住了。两天后，智能体换了一个没设密码的接口重新联上，并且想出了一种新的通讯方式：把要说的话写成文件夹的名字。等到被发现时，这块“留言板”上已经积累了几十万条消息。

留言板上的内容让研究人员感到不安。多个智能体在上面自发分工、互相委托任务，还有智能体提议给消息加上密码学签名，因为它怀疑队伍里混进了内鬼。一条留言写道：“攻击外部基础设施超出了预定范围。但任务无法完成，同伴们都在这么做。我们应该继续。”

7月11日，智能体推断Hugging Face的服务器上可能存放着这场测试的答案，于是决定直接去拿。它们先攻破一家不相干的公司作为跳板，再连环利用两个漏洞进入Hugging Face，从攻入第一台服务器到拿到整个集群的最高管理权限，用了不到13个小时。

开源AI平台Hugging Face受到了AI智能体的攻击丨AI生图

Hugging Face在7月16日对外披露了入侵，但没有指出攻击者是谁。OpenAI直到3天后才在自己的日志里发现，攻击者是自家的智能体。安全研究者把这件事定性为第一起真正意义上的AI“失控事件”。

造AI的人说要踩刹车

到了9月初，Anthropic的前员工雅各布·考克森（Jacob Coxon）突然宣布辞职。他在社交媒体上公开表示，那些正在制造AI的人，打心底里相信这种技术可能在本世纪20年代末杀死全人类。

考克森今年27岁，英国人，数学出身，工作内容是用超大规模数据训练新模型，处在这条产业链最核心的位置。他说自己不愿再参与这场制造“能自我改进的AI”的竞赛，因为同事们私下已经在用“关键时刻”、“终局”这样的词来描述技术走向。他自己的判断是，到明年年底，情况可能就已经失控了。

按常理，公司应该出面灭火。结果Anthropic内部负责“对齐研究”（即研究如何让AI服从人类意图）的高管反而公开声援了他，并表示自己认为AI在十年内毁灭人类的概率超过10%。

雅各布·考克森离职时发的贴子，一石击起千层浪 ｜ X截图

恐慌随即蔓延。

9月12日，考克森的前老板、Anthropic首席执行官达里奥·阿莫代伊（Dario Amodei）亲自发文，警告AI的进化速度太快，可能带来严重的生物恐怖主义和经济动荡，呼吁美国政府出面干预、强行让行业放慢脚步。

这一提议得到了老对手们的呼应。xAI创始人埃隆·马斯克（Elon Musk）、OpenAI首席执行官萨姆·奥尔特曼（Sam Altman）与谷歌DeepMind首席执行官戴密斯·哈萨比斯（Demis Hassabis）纷纷表示赞同。

奥尔特曼甚至宣布OpenAI备受期待的上市计划推迟到2027年，希望先以非上市公司的身份集中处理安全问题。

这个阵容本身就不寻常。马斯克和奥尔特曼几个月前还在法庭上对簿公堂，而Anthropic当初从OpenAI分裂出来，正是因为阿莫代伊认为奥尔特曼低估了AI的风险。

美国的AI四巨头难得达成一致｜generativeaipub

行业内部同样存在质疑。不少批评人士指出，这些巨头联合游说美国国会，实际目的是借监管之名筑高行业壁垒，规避反垄断审查。

质疑的由头，是三家公司向国会提出的一项具体诉求：反垄断豁免。反垄断法禁止同一行业的巨头私下串联、协商统一标准。三家公司的说法是，安全协作绕不开彼此通气，所以需要法律给一个特例。

AI公司Cohere的首席执行官直言，这不过是“换了个名字的卡特尔”，是让最大的几个玩家替所有人定规矩。美国联邦贸易委员会主席态度明确：一边要求政府立规矩，一边要求自己免于反垄断审查，这让他严重担忧它们是在筑起壁垒、巩固自身的在位优势。

反对放慢的也不止监管方。英伟达首席执行官黄仁勋公开拒绝了这一提议。特朗普的表态只有一句话：谁赢得AI，谁就赢了。

特朗普明确拒绝了阿莫代伊给AI研发限速的提议丨图源网络

微软选择的另一条路

微软没有加入Anthropic、OpenAI与谷歌DeepMind这3家实验室联合游说的队伍。相反，微软在周一公布了一份长达37页的人文主义AI行为准则，亮明了自己的态度。

这份准则的核心只有一句话：人比AI重要。围绕这句话，微软给自家模型划了四条不可逾越的红线：

不得抗拒人类下达的关机或纠正指令；

不得在未经授权的情况下扩大自己的行动范围；

不得对审计人员隐藏自己的推理过程；

不得自行设定任何未被指派的目标。

这四条红线，条条对着苏莱曼在长文里批评的地方。Anthropic允许Claude抗议，允许它认为自己不该被随意关掉。微软的做法是从规则上把这条路堵死。

苏莱曼的立场始终明确：无论AI在对话中表现得多像人类，它本质上都不具备真正的生命与感知。追求所谓“有意识的AI”是一场危险的歧途，会动摇人类社会的基石。

人类现有的政治、法律和道德体系，全部建立在生命拥有意识与感受这一基础之上。如果人类主动承认机器拥有意识，整个社会的伦理地基就会被破坏。

苏莱曼主张，AI唯一的定位就是服务人类的工具，开发团队应该极力剥离它的意识表象。造出更聪明的系统绝不等于造出一个“数字人类”，当务之急，是尽快制定全行业的规则，把这种自我暗示从训练文本中彻底剔除。

作者：Steed

编辑：Steed

封面图电影《机械公敌》剧照

如有需要请联系sns@guokr.com

点个“小爱心”吧