MIT提出权重空间编程:LLM直接修改模型权重提升数学能力

2026年11月2日,麻省理工学院CSAIL团队发布新方法“权重空间编程”。研究人员利用GPT-6 Astra直接读取并修改阿里云Qwen3.5-0.8B模型权重,仅调整0.016%参数(131072个),即在MATH-500测试中准确率从7.9%升至48.1%。该方法绕过梯度下降与反向传播,通过定位MLP层重复推理路径并局部修正实现优化。实验还显示GSM8K与IFEval成绩显著提升,且未新增模型固有知识。研究旨在推动神经网络可解释性与高效微调。

免责声明:本文内容由开放的智能模型自动生成,仅供参考。

最新文章
Copyright © DoNews 2000-2026 All Rights Reserved
京ICP备2025120072号