科学家发现,AI大语言模型仍难以区分“信念”与“事实”
研究指出,当前模型训练过程中,评估标准更倾向于奖励“自信回答”,即使答案错误也能获得较高分数。这种机制导致模型被优化为“考试型选手”,在面对不确定问题时倾向于猜测而非承认“不知道”。研究团队呼吁行业建立更符…
研究团队在最新论文中指出,现有训练机制导致模型倾向于"假装知情"。这种设计源于评估体系对"完整回答"的过度奖励,使得模型在信息不足时仍会强行输出内容。这种机制迫使系统将复杂现实简化为非此即彼的判断,而忽略了…...
近日,据海外科技媒体《商业内幕》报道,OpenAI研究团队在解决大语言模型核心缺陷方面取得突破性进展——通过重构评估体系,成功缓解了困扰行业的“幻觉”问题。这种倾向源于评估体系对猜测行为的过度奖励——模型若拒…
11/24 16:08
11/24 16:07
10/31 16:58
10/31 16:56