研究表明，大型语言模型（LLM）在推理能力增强的同时，其遵循指令的能力可能会下降。论文《When Thinking Fails: The Pitfalls of Reasoning for Instruction-Following in LLMs》通过实验验证了这一现象。

研究人员来自哈佛大学、亚马逊和纽约大学，他们设计了两组测试：IFEval和ComplexBench。IFEval包含标准执行类任务，如“写400字以上”或“必须提到AI三次”等明确要求的任务；ComplexBench则涉及多约束、逻辑组合的复杂指令。

实验结果显示，在15个被测模型中，绝大多数在使用链式思维（CoT）推理后，执行准确率反而下降。例如，参数量较大的LLaMA-3-70B-Instruct模型，其准确率从85.6%降至77.3%。

研究人员总结原因发现，模型在使用CoT后虽然更聪明，但同时也变得更“神经质”，会擅自修改、补充甚至忽略指令。这种现象被称为“约束注意力”的下降，即模型生成答案时对任务描述中关键限制的关注度减弱。

此外，研究还发现思考长度与准确率之间几乎没有显著相关性，表明更努力并不一定意味着更正确。针对提升指令遵循效果的问题，论文提出了四种方案：Few-Shot少样本示例、Self-Reflection自我反思、Self-Selective Reasoning自我选择推理以及Classifier-Selective Reasoning分类器选择推理。

其中，Classifier-Selective Reasoning被认为是最有效的方法，能够显著恢复失去的准确率，但需要为每个主模型单独训练一个判断器，成本较高。

这篇论文揭示了CoT推理在任务执行中的潜在副作用，并指出真正强大的智能并非关注所有细节，而是在关键时刻将注意力聚焦于关键点上。

免责声明：本文内容由开放的智能模型自动生成，仅供参考。