10月28日消息，上海交通大学联合上海创新研究院、Noematrix Ltd 发布全新机器人学习框架VaM（Value as Memory，以价值为记忆），论文已公开于 arXiv。

该框架提出 “价值缓存” 新思路，将价值预测作为任务进展的记忆信号，配合异步在线强化学习，解决真实机器人操作里的部分可观测、视觉混淆、离线训练反馈滞后等痛点，显著提升长时序、柔性物体、高接触类机械手任务的成功率。

在现实机器人操作中经常出现：两张视觉画面高度相似，但机器人需要执行完全不同动作，仅依靠图像、本体传感器信息，无法判断任务是正常推进、陷入停滞还是已经失败，很容易卡死或者错误执行；传统离线强化学习又必须完成全部数据采集之后才更新模型，无法利用真机运行过程中产生的实时经验，迭代速度慢。

VaM 包含两大核心创新：价值缓存（Value Caching）与在线真实世界强化学习系统智源社区。

价值缓存不再把价值函数仅仅当作训练优化目标，而是把近期连续的价值预测历史作为额外记忆输入，和图像、本体感知信息一起喂给动作专家模型。通过这一段 “任务进度记忆”，机器人可以分辨当前是正常运行、进度停滞还是状态倒退，当操作卡住的时候自主触发恢复动作，以此缓解视觉混淆带来的部分可观测难题。

整套训练分为四阶段流水线：首先利用人类演示做行为克隆初始化动作专家，价值专家学习预估任务进度；接着离线强化学习预热；随后接入带人工干预的在线 DAgger 采集真机经验；最后进入纯自主 rollout，在稀疏终端奖励下持续迭代优化模型。系统支持离线示范、人工干预数据、机器人自主试跑三类数据混合复用；数据采集与模型梯度更新异步并行，不用互相等待。

研究团队选取三项极具挑战的真实机器人任务开展测试：纸箱装配、衣物折叠、磁性组件装配，均属于长时序、接触复杂、物体可形变的典型场景。

实验结果显示，仅启用价值缓存模块，对比无缓存基线，三项任务平均成功率提升29.4 个百分点；完整启用在线自主学习，对比同等计算资源的纯离线训练基线，平均成功率再提升 32.8 个百分点。同等梯度计算预算下，在线方案策略迭代次数达到离线方案的8 倍；得益于采集、训练并行，单次梯度更新的实际耗时平均下降 57.8%。

对比消融实验证实：价值记忆来源至关重要，使用在线自主学习过程中迭代出的价值专家，相比仅依靠演示数据、离线预热阶段的价值模型，可以带来更高任务恢复率。当机器人操作卡住时，VaM 可以识别停滞状态并执行修正动作；去掉价值缓存的基线模型，面对相同视觉场景会持续错误操作，最终任务失败。

该工作已经开源代码，研究团队表示，VaM 验证了把价值估计作为时序记忆载体的可行性，可为未来通用机器人策略在真实世界持续自我迭代提供新范式，尤其适合家庭、工业场景下复杂灵巧操作任务。