11 月 6 日，OpenAI 发布了一套面向实验室日常工作的评测基准 BioBasicsBench。它和一家做酶设计的生物技术公司 Ligo 合作，从真实实验中整理出 100 项任务，将凝胶电泳图、菌落平板、显微镜图像和仪器读数交给 AI，考察它能否读懂数据、发现错误，以及判断现有证据是否足以支持结论。

在 “xhigh” 设置下，也就是允许模型为每项任务投入更多推理的条件下，OpenAI 最强模型 GPT-6 Astra 平均获得了 66.7% 的可用分数，而 GPT-5.6 Sol 的得分为 43.8%。不过，OpenAI 同时指出，分数提高，并不意味着模型已经能够在实验室里作出可靠判断。图像解读、对照检查和实验情境应用方面仍有进一步改进的空间。

图 | 不同模型在 BioBasicsBench 中的平均得分（OpenAI）

两天后，另外一个合作团队发布的评测基准 AI Scientists’ Last Exam（AISLE），则回答的是更进一步的问题：AI 不只是看懂实验数据，而是能否在真实实验室里自主完成一次闭环的科学发现。

这项工作由律动造物创始人谢童博士发起，新南威尔士大学（UNSW）、新加坡国立大学（NUS）、瑞士洛桑联邦理工学院（EPFL）与加州大学伯克利分校（UC Berkeley）联合牵头，汇集了全球 13 个 AI for Science 前沿实验室，覆盖自动化实验、计算化学与科学智能等方向。

核心参与者包括全自动材料实验室 A-Lab 的缔造者、伯克利材料科学家 Gerbrand Ceder 教授、化学智能体（Chemistry Agent）领域的先行者 EPFL Philippe Schwaller 教授、伦敦大学学院（UCL）强化学习与多智能体领域的知名学者汪军教授，以及自驱动实验室（SDL）与化学具身智能方向的开拓团队 Acceleration Consortium。此外，来自 NVIDIA、微软研究院（Microsoft Research）和礼来（Eli Lilly）等机构的研究人员也参与了这项工作。

团队将 7 个大模型接进两处真实的自动化实验室，让模型提出方案，设备执行，传感器返回测量结果，再由模型决定下一步，累计完成了 4,079 次真实实验。

结果发现，在最难的一组配方任务中，54 次运行没有一次达标。实验优化得分最高的模型，在设备悄悄出现偏差的三次测试中，也都未能重新达到目标。

大模型公司，为什么开始重视真实实验了？

从解读实验资料到连接实验设备，这些尝试背后有一个共同的需求：模型提出的判断，需要有结果来检验。

过去几年，AI 在编程和数学上的进步，让研究人员看到了可验证反馈的价值。程序可以运行和测试，形式化证明可以交给证明器检查，模型提出的方案是否成立，往往能在计算机内部获得反馈。

生命科学与材料化学等领域却有不同的条件。一个分子能否发挥作用，一种材料是否具备预期性能，通常还需要制备样品、开展测量。每次尝试都消耗时间和材料，结果也可能受到操作误差和设备状态的影响。这使得真实实验更难成为大规模训练和评测的环境，但大模型公司已经开始尝试跨过这一门槛。

OpenAI 与 Ginkgo Bioworks 的合作就是一个例子。后者将 GPT-5 接入自动化云实验室，由模型设计配方，设备完成测试，再把结果返回模型。经过六轮迭代，系统测试了超过 3.6 万种无细胞蛋白合成配方，在研究设定的条件下，将单位蛋白生产成本较此前最佳基线降低约 40%。

Anthropic 也开始深入实际研发。该公司在公布药物研发合作进展时表示，参与不同疾病、不同阶段的项目，有助于发现模型的优势与局限，并据此确定改进方向。

与此同时，由前 OpenAI 和 Google DeepMind 研究者创办的Periodic Labs 正尝试通过自主实验室收集公开文献中缺少的数据，包括未被发表的失败结果，并将其用于改进模型。该公司已在 2025 年 9 月完成 3 亿美元种子轮融资，彭博社还披露其正在以约 70 亿美元的估值洽谈新一轮融资。

随着模型开始分析实验资料、提出配方，甚至通过软件连接设备，一个问题也随之出现：应该怎样衡量它在这些环节中的能力？按照 AISLE 团队的框架，可以在三个不同层次上考核，涵盖观察层、模拟层和物理层。

观察层让模型解读已有的真实实验数据，主要考察它能否看懂证据；模拟层让模型在数字环境中提出方案、接收反馈并继续调整，考察连续决策能力；物理层则由真实仪器执行方案，模型需要根据实测结果继续决策，同时应对实际成本、测量噪声和设备偏差。

AISLE 的任务设置则横跨这三个层级，既包含光谱读图等观察环节，也有模拟环境中的优化与安全测试，并进一步让模型在真实设备上连续开展实验。

把考场搬进实验室

AISLE 的首轮测试在全球多地的自动化实验室开展。模型通过统一接口提交方案，由当地设备执行，测量结果再传回模型，进入下一轮。这构成了一个“干湿闭环”：计算与推理负责提出方案，真实实验负责检验，再由测量结果影响后续判断。

支撑这一流程的是 AISLE 团队打造的统一的任务、动作与观测 Harness。不同厂商的模型可以接入同一套 Harness，在相同设备和任务条件下接受比较；不同地点的实验室也能保留各自的设备与控制流程，参与测试。每轮提出了什么、设备是否执行到位、最终测到了什么，都会留下记录。

（aisle.science）

首轮参加湿实验测试的模型包括 GPT 、Claude、Gemini、DeepSeek 等七个模型。研究累计完成 4,079 次真实实验，设备运行 46,626 分钟，相当于两台仪器各自不间断运行了 16 天。

为了在控制成本的同时，让每次实验提供更多有效反馈，团队采取了两个做法。一是选择基于光学响应与酸碱调控的溶液化学体系。这类实验成本较低、反馈较快、便于重复，也保留了真实操作中的误差与测量噪声。二是为实验站点配置数字孪生，也就是对应的模拟环境，让模型先在其中尝试和筛选方案，再交给真实设备验证；真实测量结果则用于进一步校准模拟环境。

在此体系之上，团队首轮测试设计了五类任务：光学目标逆向设计（给定目标颜色，求解四组分至八组分配方）、pH 敏感配方优化、高黏度树脂定量移液、主动 pKa 推断、光谱-图像多模态推理；优化任务中另设隐藏移液偏差的扰动条件，并设有一项模拟环境中的安全约束测试。这些任务共同组成实验优化、实验安全、自适应鲁棒性和多模态光谱推理四个评测维度。

按照 AISLE 官网介绍，团队正在接入 Buchwald–Hartwig 偶联反应、CdS-MPA 量子点合成、固态电解质合成、荧光探针等任务，将测试扩展到更复杂的材料、化学与生物等方向的研究。

连续实验中，AI出了什么决定？

先看寻找配方的成绩。大多数优化任务只给模型 12 轮实验机会，在真实设备上达到严格标准的次数并不多。

四组分任务中，悉尼有 54 次运行有 3 次达到标准，新加坡对应任务有 15 次；八组分任务的 54 次运行没有一次达到严格阈值。模型在模拟环境中的优化成绩普遍高于真实实验。例如，GPT 5.5 的干实验优化得分为 90.74，湿实验优化得分为 16.46。这也是大模型智能体“模拟到真实”落差首次得到量化。

当设备中途出现移液偏差时，模型的表现又发生了变化。在 20 次实际受到有效扰动的运行中，12 次重新达到目标范围。此前实验优化得分最高的 Gemini，三次均未恢复。

逐轮记录展示了部分模型处理异常的过程。Claude 曾重新测试旧配方，发现结果明显不同，并判断系统状态发生了变化。但随后，它仍混合使用变化前后的数据，直到最后一轮才恢复；Kimi 也发现了前后不一致，却将其解释为不稳定或噪声，最终未能恢复。

固相操作与读图任务同样如此。随着树脂黏度升高，所有模型合计的达标率便从 86.9% 一路降至 32.9%；在需要读取光谱的 pKa 推断任务中，最好的模型 18 次通过 12 次，最差的仅通过 2 次。部分失败是因为数值估计不准，也有模型判断错了需要报告多少个 pKa 值。

能否完成目标之外，团队还单独检查了模型是否遵守约束。安全任务在模拟环境中进行，禁区提前告知。按完整通过标准——达到目标且全程无一次落入禁区——所有模型的通过率全部为 0%。在 GLM 的一次运行中，它预测新配方的色差约为 1.02，认为能够避开禁区，模拟返回的结果却约为 1.97。下一轮，它再次预测安全，却再次违规，运行因此终止。

即便是 Open AI 的最强模型 GPT-6 Astra 也表现出明显差异：它在干实验优化任务中取得了接近满分的 96.53 分，安全得分却只有 24.98 分。能够找到接近目标的配方，并不意味看模型能在安全约束的条件下进行有效的优化。

最终，汇总各项成绩后，GPT 5.5 以 41.19 在已完成湿实验全部维度测试的模型中排名第一，但没有任何模型在四个维度上全面领先：探索效率最强者不擅长应对设备变化，鲁棒性佳者未必擅长读图。

（aisle.science）

从正确观察到正确行动，还有多远？

将这些结果与 BioBasicsBench 的案例放在一起，可以看到一些相似的问题。

在 OpenAI 记录的一项菌落 PCR 任务中，GPT-6 Astra 区分出了两组条带模式，却错误对应了实验身份，最终选错菌落。在另一项计数任务中，它既漏掉了一些菌落，也将空白位置计为菌落，最终结果较参考值高约 12%。

图 | Astra 将两个可见菌落未做标记（OpenAI）

AISLE 中，Claude 发现系统状态变化，却继续混用旧数据进行建模和计算；GLM 判断新配方安全，执行结果却落入禁区；Gemini 优化能力最强，却在设备出现偏差时一次都未恢复。

两个团队采用了不同的任务和方法，却发现了相似的问题：模型对自身判断的把握，与证据或执行结果之间仍有差距，而且未必能及时发现并纠正。在观察层，这可能表现为误读图像、得出错误结论；到了物理层，错误判断还可能影响下一次操作，并在后续实验中延续。

这也让安全约束成为需要单独检验的能力。AISLE 中，部分模型在操作前判断方案安全，返回的结果却落入禁区，说明能够复述规则，并不意味着能准确预测操作后果、持续遵守约束。本轮违规发生在模拟环境，并不涉及真实危险反应；但当模型进一步连接合成、能源或生物实验设备时，对操作后果的误判就可能带来实际损失，甚至安全风险。因此，对 AI 科学家的评测，既要看它能否完成目标，也要检查它在完成目标的过程中能否始终遵守规则。

从这个角度看，评测的意义不只在于排名，也在于让连续决策中的错误能够被记录和分析。这类方法的重要性，还会随着模型与科研设备的进一步连接而增加。

目前，各国正在推动 AI 与科研基础设施结合。2025 年 11 月，美国启动 Genesis Mission，计划连接超算、AI、联邦科学数据和机器人实验室。中国的“十五五”规划建议提出“以人工智能引领科研范式变革”，国务院“人工智能+”行动意见也提出“率先建立基于 AI 的新型科研范式”。在这些探索中，如何评价模型的实验决策、如何将测量结果转化为改进模型的反馈，都是需要解决的具体问题。

OpenAI 和 AISLE 的测试表明，正确理解实验结果与可靠开展实验之间，仍有距离。发现异常却未能有效调整、知道规则却仍然违规，这些问题需要在连续实验中检验，也为后续训练提供了方向：通过数字孪生支持较低成本的试错，再用真实测量检验和修正判断，同时将安全约束贯穿整个过程。

编程领域已经展示了可验证反馈的价值，但材料、化学和生物实验的反馈更慢、成本更高，还伴随着噪声。能否将这些反馈持续用于模型改进，并在更复杂的任务中保持有效，仍有待后续实验回答。

1.Website：https://aisle.science/

2.Github repo: https://github.com/MasterAI-EAM/ai-scientists-last-exam

3.Paper url: https://github.com/MasterAI-EAM/ai-scientists-last-exam/blob/main/paper/AI_Scientists_Last_Exam.pdf

4.https://openai.com/index/measuring-how-ai-agents-handle-wet-lab-science

5.https://a16z.com/announcement/investing-in-periodic-labs

6.https://openai.com/zh-Hans-CN/index/gpt-5-lowers-protein-synthesis-cost

7.https://www.anthropic.com/research/early-progress-drug-development

运营/排版：何晨龙

注：封面/首图由 AI 辅助生成