6 月 4 日消息，金融时报（FT）昨日（6 月 3 日）发布博文，报道称“AI 教父”约书亚・本希奥（Yoshua Bengio）成立 LawZero 非营利组织，致力于开发“诚实”的 AI 系统，用以识别“流氓”AI 系统。

IT之家简要介绍下本希奥，他是来自蒙特利尔大学的教授，因与 Geoffrey Hinton、Yann LeCun 共享 2018 年图灵奖（被视为计算机领域的诺贝尔奖），而被誉为“AI 教父”。

LawZero 的使命是开发一种“诚实”的 AI，专门监控那些无需人类干预即可执行任务的 AI 智能体，防止它们表现出欺骗或自我保护行为，例如试图阻止人类关闭系统。

本希奥正在研发的系统名为 Scientist AI，旨在成为 AI 智能体的“守卫”。他将现有的 AI 智能体比作“演员”，它们模仿人类、取悦用户，而 Scientist AI 则更像一位“心理学家”，能够理解并预测不良行为。

该系统不会给出确切答案，而是以概率形式评估答案的正确性，体现出一种“谦逊”态度。它还能预测 AI 智能体行为导致危害的概率，若概率超过阈值，系统将阻止相关行动。

IT之家