南洋理工联合 Ropedia 提出空间推理工具包 S-Agent 2.0

10月26日消息,南洋理工大学S-Lab联合 Ropedia 提出空间推理工具包S-Agent 2.0,它可以将通用编码代理转变为能够重建、测量和理解 3D 环境系统的系统,无需模型重新训练或自定义代理架构。

S-Agent 2.0 延续了 S-Agent 的“行动即推理”范式,让 AI 不再一次性猜答案,而是通过工具调用逐步积累证据。它把 VLM 当作语义规划器,决定下一步需要什么证据,再调用专用工具完成深度估计、3D 对齐、位置计算等几何任务,最后把结果聚合为可用的空间知识。

关键改进在于:‌它让一个通用编码 Agent 具备空间推理能力‌,不需要专门训练就能接入现有模型,并显著提升其在多视图和视频空间推理任务上的表现。

S-Agent 2.0 为普通的 AI 编码代理提供了它们迫切需要的东西:测量和推理物理世界的能力,而不是从图像中猜测。

▪️ 3D 重建:从图像和视频构建度量、重力对齐的场景。

▪️ 对象分割:使用 SAM 3 识别对象并将它们的掩码转换为命名的 3D 实例。

▪️ 持久场景记忆:跨多个工具调用记住对象的位置、尺寸、方向和身份。

▪️ 空间测量:计算距离、深度、高度、相机运动、对象运动和罗盘方向。

▪️ 参考感知推理:使用明确的坐标系统和单位表达测量,例如米、左、右、上和下。

▪️ 视觉验证:让代理在回答前检查分割掩码、俯视图地图和重建几何。

Copyright © DoNews 2000-2026 All Rights Reserved
京ICP备2025120072号