OpenAI 正在重组其模型行为(Model Behavior)团队。据媒体日前报道,OpenAI 的首席研究官 Mark Chen 透露,大约由14名研究人员组成的模型行为团队将加入后训练(Post Training)团队,负责在模型完成预训练后持续改进。
模型行为团队已经成为OpenAI的关键研究小组之一,主要负责塑造模型的“性格”。今年8月推出的GPT-5减少了类似“谄媚”“过度迎合用户”的现象。
但部分用户强烈不满GPT-5的性格调整,认为其过于冷淡。最终,OpenAI 重新开放了对 GPT-4o 等旧模型的访问,并更新 GPT-5,使其回答在保持独立性的同时更温和、友好。
OpenAI近期也在最新研究中讨论如何减少大模型幻觉问题,让模型变得越来越聪明。OpenAI认为,大语言模型之所以会产生幻觉,是因为标准的训练和评估程序更倾向于对猜测进行奖励,而不是在模型勇于承认不确定时给予奖励。大多数评估方式只关注模型答对的比例,鼓励模型进行猜测,而忽略了“承认不知道”也是一种合理反应。例如,当模型被问及某人的生日,如果它随意猜测一个日期,那么它有1/365的概率猜对,而留空则肯定得零分。大型语言模型本质上总是处于“考试模式”,回答问题时似乎只有正确或错误,黑色或白色。因此,OpenAI提出了一个简单的解决方案:对自信的错误回答施加更重的惩罚,而对表达不确定性的行为给予部分分数。