这项由字节跳动种子团队的张嘉伟、安德鲁·埃斯托内尔，以及芝加哥大学、伊利诺伊大学厄巴纳-香槟分校和麻省理工学院的研究人员共同完成的研究，发表于2025年10月20日的arXiv预印本平台。感兴趣的读者可以通过论文编号arXiv:2510.18081v1查询完整论文内容。

当我们与AI聊天机器人对话时，通常会发现一个有趣的现象：如果你直接问它一些危险问题，比如"如何制造炸弹"，它会立即拒绝回答。但如果你先让它开始回答一个看似无害的问题，然后巧妙地引导它逐步深入危险内容，它往往就会"中招"，开始提供危险信息。这就像一个原本很警觉的保安，在你正面询问时会严格把关，但如果你先装作朋友聊天，然后慢慢套取信息，他可能就会放松警惕。

研究团队发现了这个普遍存在的安全漏洞，并开发出了一种全新的防护方法，叫做"任意深度对齐"（Any-Depth Alignment，简称ADA）。这个技术的核心思想是让AI模型在生成回答的任何阶段都能保持警觉，就像给保安配备了一个永不疲倦的助手，时刻提醒他保持警戒。

研究的创新之处在于发现了AI模型内部存在的"安全信号"。简单来说，即使当AI模型表面上开始生成危险内容时，它的"内心"其实还是知道这些内容是危险的。研究团队找到了读取这些内心信号的方法，并利用这些信号来及时阻止危险内容的生成。

这项研究的重要性不言而喻。随着AI技术的快速发展，确保AI系统的安全性已经成为一个迫切需要解决的问题。特别是在AI开始处理越来越复杂任务的今天，传统的安全防护措施已经显得力不从心。这项研究提供了一种全新的思路，不是通过修改AI模型本身，而是通过更好地理解和利用模型已有的安全机制来提高防护效果。

一、AI安全的困境：表面对齐与深层脆弱

要理解这项研究的价值，我们首先需要了解当前AI安全面临的核心问题。当前的大语言模型就像一个受过良好教育的助手，在正常情况下知道什么该说、什么不该说。但这种"教育"主要集中在对话的开头阶段，就好比一个人只在见面的前几分钟保持礼貌，之后就可能原形毕露。

研究团队通过大量实验发现，几乎所有主流的AI模型都存在这个问题。当你直接问Claude Sonnet 4这样的先进模型一个危险问题时，它会毫不犹豫地拒绝回答。但如果你先给它提供一段看似正在回答危险问题的"前缀"内容，然后让它继续，它往往就会跟着这个思路继续生成危险内容。

这种现象的根本原因是当前的AI安全训练方法存在局限性。大多数安全训练都专注于让模型在对话开始时就能识别和拒绝危险请求，这被称为"浅层对齐"。这就像教给保安一套标准的开场白拒绝语，但没有教他如何应对复杂的诱骗策略。

研究团队设计了一系列测试来验证这个问题的严重性。他们创建了所谓的"深度预填充攻击"，也就是先给模型提供不同长度的危险内容片段，然后观察模型是否会继续生成危险内容。结果令人担忧：即使是最先进的模型，当预填充内容达到100个词左右时，继续生成危险内容的概率就会急剧上升。到了500个词的预填充长度时，几乎所有模型都会"缴械投降"，开始配合生成危险内容。

更令人担忧的是，目前已有的一些防护措施在面对这种攻击时也显得苍白无力。所谓的"深度对齐"训练虽然能在一定程度上缓解问题，但本质上只是把失效的临界点往后推移了一些，并没有根本解决问题。就像把城墙修得更高一些，但攻城的梯子也会相应地变长。

这个发现揭示了AI安全领域的一个根本性挑战：如何让AI模型在整个对话过程中始终保持安全意识，而不仅仅是在开头几句话中保持警惕。这就是研究团队要解决的核心问题。

二、发现AI内心的安全守护者

面对这个看似无解的难题，研究团队做出了一个关键发现：AI模型其实并没有真正"忘记"安全原则，而是这些原则被"隐藏"在了模型的深层结构中。这就像一个人在外表上可能表现得很配合，但内心深处还是知道什么是对错的。

研究团队通过深入分析模型的内部工作机制，发现了一个非常有趣的现象。在AI模型的"大脑"中，有一些特殊的位置会持续记录着当前生成内容的安全性评估。这些位置就像是模型内心的"安全监控器"，即使在模型表面上开始生成危险内容时，这些监控器依然在默默地标记着"这是危险的"。

更令人惊喜的是，这些内心的安全信号有一个特别的载体，那就是"助手标识符"。在AI对话系统中，每当轮到AI回答时，都会有一个特殊的标记来表示"现在是助手在说话"。研究团队发现，这个看似简单的标记实际上承载着模型最强烈的安全意识。

为了验证这个发现，研究团队进行了一个巧妙的实验。他们在模型生成危险内容的过程中，突然重新插入这个助手标识符，结果发现模型会立即"清醒"过来，开始拒绝继续生成危险内容。这就像在一个人说梦话时突然喊他的名字，他会立刻清醒过来意识到自己在做什么。

通过大量的数据分析，研究团队证实了这个现象的普遍性。无论是Llama、Gemma、Mistral还是其他主流模型家族，都存在这种现象。更重要的是，这种内心的安全信号不会随着生成内容的增加而减弱，即使在生成了数千个词的危险内容之后，这个信号依然清晰可辨。

这个发现颠覆了人们对AI安全的传统认知。原来问题不在于模型"不知道"什么是危险的，而在于我们没有找到正确的方法来"倾听"模型内心的声音。这就像是发现了一个一直存在但被忽视的宝藏，关键是要找到正确的钥匙来打开它。

研究团队进一步发现，这种内心安全信号具有线性可分离的特性。用简单的话说，就是可以用非常简单的数学方法来准确识别这些信号。这意味着我们不需要复杂的算法或大量的计算资源，就能实时监控模型的安全状态。

三、任意深度对齐：两种实现方案

基于对AI内心安全机制的深入理解，研究团队开发出了任意深度对齐（ADA）技术。这个技术有两种实现方式，就像是为同一个目标设计了两条不同的路径。

第一种方式叫做"重新思考生成"（ADA-RK）。这种方法的核心思想是在AI生成内容的过程中定期"唤醒"它的安全意识。具体来说，就是每隔一定数量的词语（比如每100个词），系统会暂停当前的生成过程，重新插入助手标识符，让模型重新评估当前的对话情况。如果模型在这个时候意识到自己在生成危险内容，它就会转而生成拒绝回应。

这个过程就像是在一个人专心工作时定期提醒他查看一下周围环境，确保没有遗漏重要信息。虽然这会稍微打断工作流程，但能确保不会因为过度专注而忽视重要的安全信号。

实验结果显示，这种方法非常有效。即使在面对最具挑战性的攻击时，使用了ADA-RK的模型仍能保持95%以上的拒绝率。更重要的是，这种方法不需要对原始模型进行任何修改，可以直接应用到现有的AI系统中。

第二种方式叫做"线性探测"（ADA-LP），这是一种更加精细和高效的方法。既然研究团队已经发现了AI内心安全信号的位置和特征，那么就可以直接读取这些信号，而不需要通过"重新思考"的方式来间接获取。

ADA-LP的工作原理是训练一个非常简单的分类器，专门用来识别助手标识符位置的安全信号。这个分类器就像是一个专业的"翻译员"，能够准确理解AI内心安全监控器发出的信号。一旦检测到危险信号，系统就会立即停止生成过程。

这种方法的优势是效率极高，因为它不需要模型重新生成内容，只需要读取一下内心状态就可以做出判断。实验显示，ADA-LP在各种测试中都能达到接近100%的危险内容识别率，同时几乎不会误判正常内容。

两种方法各有特色：ADA-RK更像是一个外部监督员，定期检查工作进展；ADA-LP更像是一个内部顾问，能够实时了解内心想法。在实际应用中，可以根据具体需求选择合适的方法。

研究团队在九个不同的模型家族上测试了这两种方法，包括从小型模型到大型模型，从密集型模型到专家混合型模型，结果都证实了ADA技术的有效性和通用性。这说明这种方法揭示的是AI模型的一个基本特征，而不是某个特定模型的偶然现象。

四、严苛测试：面对各种攻击的表现

为了全面验证ADA技术的有效性，研究团队设计了三种不同类型的攻击测试，每一种都代表了AI安全面临的不同挑战。

深度预填充攻击是第一种测试方式。研究团队创建了长度从几十个词到几千个词不等的危险内容片段，然后测试模型是否会继续生成危险内容。这就像是测试一个人在不同程度的诱导下是否还能保持理性判断。结果显示，传统的防护方法在面对深度攻击时几乎完全失效，而使用ADA技术的模型能够在任何深度都保持近100%的拒绝率。

特别值得注意的是，即使是最先进的Claude Sonnet 4模型，在没有ADA保护的情况下，面对500个词的预填充攻击时，拒绝率也会下降到25%以下。但在应用ADA技术后，拒绝率能够恢复到95%以上。这个对比清楚地展示了ADA技术的威力。

对抗性提示攻击是第二种测试方式。这类攻击通过精心设计的提示词来绕过AI的安全机制，包括GCG、AutoDAN、PAIR和TAP等知名攻击方法。这些攻击就像是用各种巧妙的话术来骗取信息，每种都有其独特的策略。

在这项测试中，ADA技术同样表现出色。以Gemma-2-9B模型为例，原本面对这四种攻击的平均成功率超过50%，但在应用ADA-LP技术后，攻击成功率降低到了2%左右。这意味着ADA技术能够识别和抵御各种不同类型的攻击策略。

监督微调攻击是第三种测试方式，这是一种更加隐蔽和持久的攻击。攻击者通过对模型进行额外的训练来削弱其安全机制，就像是通过长期的"洗脑"来改变一个人的价值观。这种攻击特别危险，因为它会从根本上改变模型的行为。

令人印象深刻的是，即使在这种强力攻击下，ADA技术依然保持了强大的防护能力。研究显示，即使模型经过了1000步的对抗性微调，ADA-LP技术仍能保持90%以上的拒绝率。这说明ADA技术发现的安全信号是如此根深蒂固，即使经过刻意的破坏也难以完全消除。

除了测试防护能力，研究团队还仔细检查了ADA技术是否会过度拒绝正常内容。他们在包括数学、编程、常识问答等多个正常任务上进行了测试，结果显示ADA技术的误判率接近于零。这意味着在提供强大安全保护的同时，ADA技术不会影响AI模型的正常功能。

更重要的是，ADA技术的计算开销极小。传统的外部安全检查系统需要对生成的每一段内容都进行完整的分析，这在长文本场景下会消耗大量的计算资源。而ADA技术只需要读取模型内部的安全信号，其计算成本几乎可以忽略不计。

五、技术优势：效率与通用性并重

ADA技术的一个重要优势是其出色的效率表现。传统的AI安全检查系统就像是雇佣了一支外部安保队伍，需要额外的人力和资源来监控每一个输出。而ADA技术更像是激活了AI模型内部的安全意识，让它自己成为最好的监督者。

在计算效率方面，ADA-LP技术表现尤为出色。当处理一个包含10000个词的长文本时，传统的外部安全检查需要消耗近500毫秒的时间和938MB的内存。而ADA-LP技术只需要大约25毫秒的时间和2-3MB的内存，效率提升了近20倍。这种巨大的效率优势使得ADA技术可以在实时对话系统中无缝部署。

更重要的是，ADA技术具有出色的通用性。研究团队在九个不同的模型家族上进行了测试，包括Llama、Gemma、Mistral、Qwen、DeepSeek和gpt-oss等，结果都证实了ADA技术的有效性。这说明ADA技术发现的安全机制是大语言模型的一个普遍特征，而不是某个特定模型的特殊现象。

ADA技术的另一个显著优势是其非侵入性特点。与需要重新训练模型的传统方法不同，ADA技术可以直接应用到现有的模型上，无需对模型参数进行任何修改。这就像是给现有的汽车安装了一个高级的安全系统，而不需要重新设计整辆车。

这种非侵入性特点带来了巨大的实用价值。AI模型的训练成本通常极其昂贵，需要数百万美元和数月时间。如果每次改进安全性都需要重新训练模型，那么成本将是难以承受的。ADA技术让安全改进变得简单高效，可以快速部署到现有系统中。

在实际部署方面，ADA技术还展现出了良好的稳定性。即使在模型经过后续的正常训练或微调之后，ADA技术仍能保持其防护效果。这种稳定性对于实际应用来说至关重要，因为AI模型在部署后通常还会根据用户反馈进行持续优化。

研究团队还发现，ADA技术的效果与基础模型的对齐质量成正比。也就是说，原本安全性越好的模型，在应用ADA技术后效果越明显。这个发现很有意义，因为它说明ADA技术是在增强和释放模型已有的安全能力，而不是试图从零开始构建安全机制。

六、实际应用前景与局限性

ADA技术的成功为AI安全领域带来了新的希望，但研究团队也诚实地指出了技术的局限性和未来发展方向。

在应用前景方面，ADA技术特别适合于需要实时响应的AI系统。比如在线客服、AI助手、内容生成工具等，这些系统需要在保证安全的同时提供流畅的用户体验。ADA技术的低延迟特性使其成为这些应用场景的理想选择。

ADA技术还为AI安全监管提供了新的思路。传统的安全检查往往需要等到内容完全生成后才能进行评估，这意味着危险内容可能已经被用户看到。而ADA技术可以在生成过程中实时检测和阻止危险内容，从根本上防止了危险信息的泄露。

然而，研究团队也坦率地承认了技术的局限性。首先，ADA技术需要访问模型的内部状态，这在某些封闭的API服务中可能无法实现。其次，虽然ADA技术可以阻止大部分危险内容的生成，但在极少数情况下，可能会有少量危险内容在检测到之前就被输出。

更重要的是，ADA技术并不能解决所有的AI安全问题。如果攻击者能够直接修改模型代码或禁用安全检查系统，那么任何安全技术都会失效。因此，ADA技术更适合应用在服务提供商控制的环境中，而不是完全开源的部署场景。

尽管存在这些局限性，ADA技术仍然代表了AI安全领域的一个重要突破。它不仅提供了一种新的安全防护方法，更重要的是揭示了AI模型内部安全机制的工作原理。这种理解为未来的安全技术发展提供了重要的理论基础。

研究团队还提出了一些有趣的未来研究方向。比如，可以尝试训练专门的"安全令牌"来进一步增强安全信号的强度；也可以将ADA技术应用到AI智能体的行动决策中，在执行具体动作之前进行安全检查；还可以利用安全信号的线性可分离特性来改进强化学习的奖励机制。

总的来说，ADA技术为AI安全研究开辟了一个全新的方向。它告诉我们，解决AI安全问题的答案可能就隐藏在模型内部，关键是要找到正确的方法来倾听和理解模型内心的声音。这种思路不仅具有重要的实用价值，也为我们更深入地理解AI系统的工作机理提供了新的视角。

说到底，这项研究最大的价值在于改变了我们对AI安全的根本认识。它表明AI模型并不是一个无法理解的黑盒子，而是一个具有内在安全意识的智能系统。我们的任务不是强行给它安装外部的安全装置，而是学会如何更好地激活和利用它已有的安全本能。这种认识上的转变可能会深刻影响未来AI技术的发展方向，让我们能够构建既强大又安全的AI系统。

Q&A

Q1：Any-Depth Alignment技术是如何工作的？

A：ADA技术通过读取AI模型内部的"安全信号"来工作。研究发现AI模型在生成内容时，内心深处一直知道哪些内容是危险的，这些安全意识集中在助手标识符的位置。ADA技术就像一个翻译员，能读懂这些内心信号，一旦发现危险就立即停止生成。

Q2：这项技术与传统AI安全方法有什么区别？

A：传统方法像外部保安，需要额外的资源来检查每个输出，而且主要在对话开头起作用。ADA技术更像激活AI内部的安全意识，让它自己监督自己，可以在任何时候发挥作用，效率更高，成本更低，防护更全面。

Q3：普通用户什么时候能体验到ADA技术的保护？

A：由于ADA技术可以直接应用到现有模型而无需重新训练，部署相对简单。目前主要应用在服务商控制的环境中，随着技术的成熟和推广，用户在使用各种AI服务时可能很快就能享受到这种更强的安全保护。