研究团队构建虚拟社区模拟人类机器人互动

来自马萨诸塞大学阿默斯特分校、约翰霍普金斯大学、卡耐基梅隆大学的研究者提出了名为“虚拟社区”的研究项目,该项目将真实世界的地理空间数据与生成模型结合,创建了一个交互式、可扩展的开放世界场景。

该研究基于通用物理引擎和现实世界的3D场景,为人类和机器人智能体提供了一个统一的模拟框架。智能体由LLM提供支持,具有详细的背景资料、活动时间表和社会关系网络,形成有凝聚力的社群。

虚拟社区通过场景生成组件使用生成模型增强纹理并精炼地理空间数据,同时利用LLM生成智能体角色和社交关系网络。该系统能够模拟包括纽约、伦敦、阿姆斯特丹、丹佛等全球多个城市的3D场景。

为了弥补现有3D地理空间数据缺乏细节的问题,作者提出了一种包含网格简化、纹理细化、对象放置和自动注释的在线流程,生成了35个全球不同城市的带注释场景。

虚拟社区还具有完整的交通系统,包括行人移动、车辆流动和公共交通运营,开发了基于OSM数据的动态交通生成机制,在全球范围内实现自主交通模拟。

机器人是虚拟社区的重要组成部分,目前已导入宇树人形机器人、波士顿动力机器狗、四轴无人机、谷歌机器人等多种类型设备,并能与社区中的“人类”进行无缝互动。

研究人员引入了两项新的多智能体任务:涉及多名人类智能体的竞选任务,以及机器人和人类共同参与的社区助理任务。智能体需具备环境规划能力和社交智能以完成任务。

在竞选任务中,候选人智能体需规划如何与选民建立联系并说服对方。实验结果显示,采用GPT-4o主干的候选人比GPT-3.5-turbo拥有更高的平均得票率和转化率。

社区助手任务包括搬运和递送,要求异构机器人协作协助人类完成日常活动。实验结果表明,两种基线方法在递送方面表现优于搬运,反映出在动态环境中操控物体和跟随人类的难度。

研究团队希望该工作能够帮助大规模开展社会智能研究,探索机器人合作或竞争方式、人类社会关系构建模式、以及智能机器人与人类在开放世界中的共存路径。

免责声明:本文内容由开放的智能模型自动生成,仅供参考。

最新文章
Copyright © DoNews 2000-2025 All Rights Reserved
蜀ICP备2024059877号-1