浙江大学校友团队研发出一种新型混合现实交互技术Reality Proxy，通过AI眼镜实现「隔空抓物」。

该技术让用户能即时选择现实世界中的物体作为上下文，进行多种交互操作。

书籍检索、建筑导航、多无人机协作等场景均展现出良好应用效果。

Reality Proxy是一种直接操控界面，可将现实物体转换为其抽象数字表示，即交互代理。

用户选择代理等同于选择实际物体，从而摆脱距离或大小等物理条件限制。

交互流程包括激活代理、生成代理和与代理交互三个主要步骤。

系统会自动检测用户视线范围内的真实世界物体，并将其抽象为手部的交互代理。

代理保留物体间的层级、语义和空间关系，表示为固定大小的矩形3D对象。

交互时关键视觉反馈直接显示在物理物体上，同时应用「延迟跟随」机制将代理置于用户手部附近。

这种设计减少了用户低头查找代理的需求，实现在关注现实世界与快速查看代理信息之间的平滑切换。

技术还支持多种交互功能，包括浏览预览物体、多对象刷选、按属性过滤物体、借助物理特征的交互、语义分组、空间缩放分组和自定义分组等。

研究者通过多个场景展示了此技术的实用性，涵盖日常信息检索、建筑导航和无人机控制等应用。

在厨房场景中可实现与不同粒度级别的物体交互，如选中微波炉的不同部件。

无人机控制应用用无人机中嵌入的跟踪器代替AI场景理解组件。

研究招募了12名经验丰富的XR开发者和研究人员参与评估。

评估结果显示，系统在实用性、易学性和易用性方面获得普遍积极评价。

参与者认为Reality Proxy能有效解决与遥远、密集或难触及物体的交互问题，相比传统方式更快捷。

但也指出新手可能需要一定的学习时间，代理的定位精度还有待提高。

研究团队成员包括Fusion Reality创始人Xiaoan Liu、微软前首席研究员Mar Gonzalez-Franco、浙大竺可桢学院毕业的Xianhao Carton Liu以及明尼苏达大学双城分校助理教授Chen Zhu-Tian。

免责声明：本文内容由开放的智能模型自动生成，仅供参考。