周一，雅各布·考克森一时成为硅谷最受瞩目的人物。这位Anthropic研究员在辞职时毫不留情地抨击了自己的前雇主。“这两家公司都没有负责任地行事。”考克森在社交平台X上写道，指的是Anthropic和他之前工作的OpenAI。“ 它们正径直奔向能够自我改进的超级智能，并拿我们的生命作赌注。”

他的警告引发了广泛的关注，尤其是一些前同事公开表示支持。Anthropic对齐科学负责人埃文·胡宾格的回应则显得轻松：“我们确实真诚地相信，人工智能可能杀死所有人类！”

批评者认为，煽动投资者热情和公众恐慌符合Anthropic和OpenAI的利益。在他们看来，公众的担忧将推动监管，而如果最前沿的人工智能实验室能巧妙地影响监管规则，开发新模型的成本将高得令人望而却步，使目前资金雄厚的市场主导者不必面对真正的竞争。

这将吸引更多投资，规模庞大的首次公开募股也将顺利推进。埃隆·马斯克也拥有一家前沿人工智能公司，他表示：“我认为，这场心理行动——姑且这么称呼——已经铺垫很久了。这件事只是点燃火焰的火柴。”马斯克是在回应研究员帕克·塞耶。塞耶认为，考克森引发广泛传播的长帖，是“一场极其精密、资金雄厚的公关行动的开端”，其目的是争取民主党支持，以监管手段扼杀人工智能。

塞耶指出，考克森的言论在发布后的关键几分钟内，被一批“人工智能末日论者”账号迅速放大，这些人认为人工智能导致人类灭绝的风险很高。塞耶写道，这些末日论者与人工智能企业处于相互交织的资助网络中。其中一个网络是“系数捐赠”，管理着脸书联合创始人达斯汀·莫斯科维茨的财富。另一个是“生存与繁荣基金”，部分资金来自Skype创始人扬·塔林。

塞耶指出，莫斯科维茨和塔林都是Anthropic的投资者。莫斯科维茨和塔林则表示，他们的投资是为了支持一家自创立之初便定位为OpenAI之外、更具道德感替代者的企业。Anthropic一直宣称，与为抢进度而不惜牺牲安全的OpenAI相比，它采取了不同的路线。

但塞耶认为，时机未免太过凑巧：几乎“每一位主要民主党政治人物和候选人”都突然再次呼吁制定严格的人工智能立法。那数十名国会议员中的多数确实是民主党人。伯尼·桑德斯的提议最为激进，主张彻底禁止超级智能。塞耶问道：“这名吹哨人在史上最激进的人工智能立法方案出台前如此接近的时间点，带着那些骇人听闻的故事站出来，难道不是太幸运了吗？”

因此，在一些人眼中勇敢的吹哨人，在另一些人眼中却是打压繁荣的进步派工具人。考克森究竟是英雄还是反派？人工智能风险究竟是真实的还是虚构的？那些备受非议、以数字化方法行善、且几乎与末日论者画上等号的有效利他主义者，是否正代表Anthropic背后的资助者、慈善家和民主党操纵局面？

需要说明的是，塞耶大概不会将本文作者视为中立的观察者。套用一句老式B级片的俗套说法，本文作者曾是一名少年有效利他主义者。本文作者还根据自己的见闻写过一本关于人类潜在威胁的书。至于Anthropic，随着其估值2万亿至3万亿美元的首次公开募股传闻愈发强烈，可以遗憾地确认：本文作者在这家公司没有任何经济利益。

在研究这本书期间，本文作者接触过许多人工智能安全研究人员。指控他们全都参与了一场大型心理行动，称末日论者是在沉迷权力或哄抬股票价格，毫无道理。这些人真诚且聪明。他们确实相信人工智能可能伤害甚至毁灭人类，因此致力于降低这种风险。由于这项工作没有直接的商业价值，通常由慈善资金支持；归根结底，莫斯科维茨和塔林等资助者确实提供了这类资金。

2024年，这类资助每年超过1亿美元。不过，有效利他主义者指出，这一数额只是推动人工智能加速发展、以及大型科技企业在华盛顿和其他地方游说所花资金的一小部分。民主党或许也有自己的政治盘算，其中一个可以推测的目标，是削弱一些科技巨头的势力。但可以合理假定，公开发出风险警告的安全研究人员是在善意行事，而非服从某个错综复杂的计划，牺牲自己的股权去抬高他人的价值。

“可以合理假定，公开发出风险警告的安全研究人员是在善意行事。”更重要的问题是：末日论者究竟是否正确？首先，需要明确行业人士具体在说什么。颇具讽刺意味的是，马斯克去年也作出过类似预测：“在5到10年内，概率是20%，也许是10%。”不过，他补充说，人类也有“80%的可能性实现所有人的极大繁荣”。

Anthropic首席执行官、胡宾格的上级达里奥·阿莫代伊则认为，局面“变得非常、非常糟糕”的可能性为25%，但没有给出具体时间范围。然而，近期发生了许多事情。这或许比几次策略性的转帖，更能解释考克森辞职为何受到如此巨大关注。

该中心向预测人员提出的问题是：如果美国没有作出实质性的政策回应，到2037年1月1日，人工智能导致人类灭绝的概率是多少？预测人员的回答几乎没有显示，人工智能发展会放缓，或前沿人工智能将很容易受到控制。一名预测人员写道：“看来到2030年前，全球将运行数十亿个能力相当于人类心智的人工智能。”

这名预测人员还说：“我认为，它们在改变现实世界方面的能力尚未等同于数十亿人类，但也将接近这一水平。”那么，人类可能如何走向毁灭？这类情景通常分为“滥用”与“失控人工智能”两类。前者是人类将人工智能用于破坏性目的；后者则是人工智能没有恰当地对齐人类利益——假如这种对齐本身能够实现——并为追求自身根本目标而毁灭人类。

无论其目标是经营一家电商店铺，还是阻止气候变化，都可能出现这种情况。研究人员告诉预测人员，人类灭绝可以包括全球人口降至1000人的情形。届时，人类这一物种极不可能恢复。

在一些最糟糕的情景中，幸存者最多可能只剩下几个未接触外界的部落，以及一些注定死亡的潜艇艇员。预测人员认为，即使人工智能能够制造病毒并大规模生产致命机器人，要实现这样的毁灭也颇具难度；但如果其能力继续快速进步，也并非不可能。综合预测人员对自身估计的不同信心程度，平均预测值为1.5%。不过应当记得，他们所回答的问题预设了政府不会干预。

该小组似乎认为，无所作为不太可能发生。一名预测人员写道：“人们讨厌人工智能，领导人也开始意识到，这确实是一种非常现实的威胁。”当然，不能把预测人员当作无所不知的预言家，尤其人工智能风险的问题极其复杂。它涉及许多难以轻易预测的领域，包括选举、公众情绪、技术发展、递归式自我改进，以及人工智能泡沫可能破裂。

但1.5%这一概率仍高得令人不安——它甚至高于明天汽车无法启动的概率。因此，如果能相信这些警告只是危言耸听，所有相关者不是受到蒙蔽就是心怀腐败，人们或许会感到宽慰。同样，如果能相信美国政府的某个简单办法、再由另一方照样采用，就能解决问题并遏制竞争态势，人们也会感到宽慰。

但现实远比这复杂。政治和个人的旧日争斗被带入本应属于技术讨论的领域；相互冲突的经济利益玷污了诚实的工作；针对个人的攻击则掩盖了有力的批评。 正因如此，更应认真对待考克森这样出于善意的吹哨人。

作者：汤姆·奥