11月6日消息，英伟达于近日正式推出面向高速精准视觉规划的通用解码框架VFlash，通过革新视觉空间信息生成逻辑，为机器人、自动驾驶系统带来推理速度与任务性能双重提升。

传统大模型普遍采用自回归逐 Token 生成模式，该模式适配文本生成，但并不完全适配机器人场景。机器人执行抓取、移动等动作时，需要输出大量空间坐标、运动航点、三维轨迹等具备强几何属性的数据；逐一生成坐标不仅耗时漫长，还容易产生级联误差，制约机器人实时响应能力。

VFlash 核心创新为闪速原语解码（Flash Primitive Decoding），不再逐个输出坐标点位，而是把轨迹、包围框等完整几何对象视作独立解码块。系统先通过工具调用声明输出长度，明确视觉基元类型，在冻结视觉语言模型（VLM）上下文条件下，依靠轻量化草稿模型一次性并行预测完整空间信息，再交由目标 VLM 完成特征提取，供给下游动作模型使用。

为保障并行解码效果，该框架重点解决三大技术要点：边界对齐，确保解码块对应完整几何对象，避免几何信息被 Token 窗口切割；位置对齐，借助专用 Token 与定宽字段，固定坐标、航点的输出位置，消除位置偏移；几何结构学习，草稿模型采用 5 层非因果 Transformer，在目标 VLM 完全冻结的前提下完成训练，学习完整视觉几何特征，文本子任务则沿用投机解码做校验。

实测数据显示，VFlash 在多项任务中实现显著性能跃升。在 H100、batch size 为 1 条件下，三维点运动预测任务单次生成速度最高提升 25 倍；机器人动作解码最高加速 12 倍，整体机器人端到端推理实现最高 5.1 倍加速，3D 轨迹误差最大降低 61%，有效规避自回归带来的级联误差问题。

在轨迹预测测试中，对比传统自回归解码，VFlash 在 ShareRobot‑Bench、VABench‑V 全部 6 项轨迹误差指标均实现优化，平均三维位移误差下降 42.6%；稠密三维运动预测任务中 DAVIS 数据集位移误差降低 27%；物体定位场景，COCO、Dense200 数据集下边界框生成速度达到基线模型的 2.6‑2.8 倍，精度基本持平基线水平。

在实际机器人操作基准测试 MolmoSpaces 套件中，搭载 VFlash 视觉规划的世界动作模型（WAM）任务平均成功率达到70.2%，显著高于 62.6% 的基线水平。LIBERO 系列机器人测试同样证实，引入 VFlash 完整视觉规划后，不同难度任务的操作成功率均有不同程度上涨。除机器人以外，VFlash 落地到自动驾驶任务，在 NAVSIM、Waymo 数据集上取得具备竞争力效果，推理速度提升超 3 倍。

硬件适配层面，该框架依托 TensorRT‑Edge‑LLM 运行环境，可在 H100、DGX Spark、Jetson Thor 多平台部署。在 Jetson Thor 设备上，传统自回归解码占据模型阶段 75%‑87% 延迟，VFlash 可将该环节提速 12‑42 倍，为边缘端机器人的实时运行提供可能性。

业内分析指出，当前视觉大模型进军物理 AI 领域，除环境感知理解之外，快速输出高质量空间规划是关键瓶颈。VFlash 从解码层切入，兼顾速度、精度，一套框架同时覆盖机器人轨迹、三维运动预测、目标检测、自动驾驶规划多类场景。不过目前全部实验结果均来自标准测试基准，这套框架在复杂多变的真实物理环境中的稳定性、泛化能力，还等待后续实际部署进一步验证。