OpenAI研究人员近日表示,已找到解决大语言模型“幻觉”问题的关键路径。幻觉源于模型训练更奖励“猜测”,而非承认“不确定性”,使模型常输出不准确信息。研究指出,当前评估体系鼓励模型“装作知道”,而非坦承“我不确定”,导致其长期处于“考试模式”。
不同模型表现差异明显,Claude在不确定时更谨慎,但拒答率偏高。OpenAI强调,应重新设计评估标准,抑制“乱猜”行为,使模型在面对模糊问题时更理性表达不确定性。
免责声明:本文内容由开放的智能模型自动生成,仅供参考。
OpenAI研究人员近日表示,已找到解决大语言模型“幻觉”问题的关键路径。幻觉源于模型训练更奖励“猜测”,而非承认“不确定性”,使模型常输出不准确信息。研究指出,当前评估体系鼓励模型“装作知道”,而非坦承“我不确定”,导致其长期处于“考试模式”。
不同模型表现差异明显,Claude在不确定时更谨慎,但拒答率偏高。OpenAI强调,应重新设计评估标准,抑制“乱猜”行为,使模型在面对模糊问题时更理性表达不确定性。
免责声明:本文内容由开放的智能模型自动生成,仅供参考。