作者：彭堃方

编辑：吕鑫燚

出品：具身研习社

最近行业有一种颇具讽刺意味的观点：“模型公司在烧钱，数据公司在掘金”。

坦白说，这种说法是一个真实存在的现象。但只要机器人想要认识物体、理解动作、掌握操作能力，就需要看见更多真实的人类行为，也需要在更多场景中反复学习。只要具身智能继续发展，数据采集、加工与交付就一定会成为一门生意。

但问题在于，这门生意究竟靠什么成立、有没有过于粗犷，以至于短视呢？

倘若只是找一批采集员、租一个场地、架起设备，按照脚本重复抓取、放置、开关抽屉，再按视频时长报价，今天确实可能赚到钱。但这种模式很难长期支撑具身智能，也很难形成真正稳固的产业价值。

2023 年，大模型训练范式尚未收敛，市场上曾出现大量直接抓取语料、简单整理后出售的公司。到了 2024 年，缺少加工、没有壁垒的基础语料迅速贬值，产业风向也开始转变，模型厂商加注专家标注、Agent 轨迹和思维链等高质量数据。

在蚂蚁数科天玑实验室首席科学家张博看来，具身智能大概率也会经历相似的过程，只是周期更长。“这里面有没有投机者、有没有掘金者？一定有。想赚快钱，在这个阶段也能搞得定。”他说，“但时间会证明，最终技术方向和对数据的要求会收敛，会收敛到有价值、有技术壁垒的数据场景和数据管线上去。” 

沿着这条判断再往前看，具身智能当然需要数据公司，却未必需要大量简单粗放、按小时贩卖视频的数据公司。这个行业真正缺少的，是把现实世界的行为持续转化为模型可学习资产的基础设施。

由蚂蚁数科天玑实验室联合浙江大学、香港大学、香港科技大学、香港科技大学（广州）、新加坡国立大学、北京智源人工智能研究院、中国科学院大学、西安交通大学等高校和科研机构共同发起和维护的 Open-AoE，正试图进入这片更难的区域。

它首批开放约 2000 小时由消费级智能手机采集的第一人称人类操作数据，汇集 500 多位贡献者，覆盖 400 多种消费级手机型号、400 多个真实场景和 8000 多项任务，并提供从可视化、4D 重建、Human-to-Robot 重映射，到主流模型训练格式转换的一整套 data-to-model 工具链。它想回答的问题已经超出了“怎样采到更多 Ego 视频”，开始转向“怎样让这些视频真正进入模型训练”。

这是一场开源，也是蚂蚁数科对具身数据生意的一次重新定义，找到突围“苦活”的技术路径。

近一年来，Ego 数据成为数据赛道的当红辣子鸡。

仔细看 Ego 数据的走红，其实首先源于一个朴素的产业矛盾：机器人产生数据的速度，远远赶不上模型消耗数据的速度。

过去几年，具身智能主要依赖真机遥操作采集。这类数据与目标本体天然对齐，在后训练和特定任务学习中具有直接价值。但它的瓶颈也十分明显。机器人数量有限，设备成本高，采集依赖熟练操作员，机器还会遇到故障、充电、维护和任务重置等问题。

蚂蚁数科曾对真机采集效率进行测算，一台设备配合一名采集员，一天能够形成的有效数据通常只有 2 到 4 小时，平均约 3 小时。张博对此有一个颇具冲击力的说法：“人一天生活 24 个小时，机器人一天只能采出 3 小时有效数据。数据获取的速度，居然比人类自然创造行为数据的速度还慢。这样的数据供给，很难带来模型能力的规模化跃迁。” 

而 Ego 路线最吸引产业的一点，恰恰是可扩展性。

人戴着相机或手机，在真实环境中做饭、整理衣物、使用工具、清洁桌面、装配物品，这些自然发生的动作被持续记录下来。相比真机遥操作，它绕开了机器人数量的限制，也把采集场景从固定数据场扩展至办公室、家庭、商店、农田和工作间。

一旦采集设备足够便宜，普通人的工作和生活都可能成为数据来源。机器人一天只能有限运转，人类却在全球数以亿计的真实环境中持续行动。人类行为拥有天然的场景广度、任务长尾和交互多样性，这些都是通用具身模型必须学习的内容。

年初，蚂蚁数科已经发布 AoE（Always-on Egocentric），提出了一种更轻量的路径：利用普通智能手机和成本低于 20 美元的磁吸颈挂采集第一人称操作。相关真机实验显示，在 50 条机器人遥操作数据的基础上加入 200 条 AoE 人类演示后，机器人“合上笔记本电脑”任务成功率由 45%提升至 95%，“拿取并放置”由 45%提升至 75%；在更长时序的“推碗并倒入种子”任务中，成功率也从 0 提升至 20%。这意味着手机记录的人类操作已经可以向机器人策略提供有效的结构与语义先验。 

但 Ego 数据“很好”，却也仅仅解决了数据来源的一部分问题，它并不意味着模型已经获得了一条可训练数据。

问题首先在于视频质量高度不稳定。不同手机的焦距、视场角、畸变、曝光、白平衡、HDR 和编码链路不同；不同人的身高、佩戴角度、操作节奏也不同。手可能突然离开画面，镜头可能被衣物遮挡，动作可能只完成一半。低成本设备降低了采集门槛，也把输入的异构性推到了前所未有的程度。

其次，真实生活不是按照训练脚本组织的。一个人做饭时，可能先拿碗，再寻找食材，中途清理台面，随后接听电话。长视频里充满等待、转身、无效动作和任务切换。模型需要的原子动作边界、手部位姿、相机运动与语言描述，都不会自动从 MP4 文件里长出来。

更深层的问题来自“人”与“机器人”的身体差异。人类拥有五指、柔性关节和复杂触觉，机器人可能使用二指夹爪、灵巧手或不同自由度的机械臂。人类手腕的轨迹无法原封不动地成为机器人动作。数据必须经过手部重建、相机轨迹估计、坐标转换和本体映射，才能与具体机器人建立联系。

此外，不同模型对同一段数据的需求也不相同。VLA 关心机器人能够执行的末端动作，世界动作模型希望理解手部和相机运动如何导致未来画面变化，世界模型可能从显式动作、弱监督或潜动作中学习环境动力学。同一个视频，需要被转化为不同的动作语义和数据格式。

所以，Ego 数据的爆发只是把具身数据从“采不到”推向了“采到了，但不知道怎样用好”，这样更难以回答的问题上去。

当数据真正送到模型团队手里，他们关心的会迅速变成另一组问题：能留下多少有效训练窗口？手部信号是否完整？动作边界是否准确？语言和画面能否对齐？能不能直接接入现有训练框架？

从这个角度看，具身数据行业的竞争，迟早会从采集规模转向 AI-ready 能力。“这一切来自于蚂蚁天玑实验室10多年来服务支付宝 App 生物安全检测与 Android 安全认证所带来的设备层面技术积累，在 Ego 时代，这些看似距离机器人很远的能力，成为普通手机能否转化为规模化具身数据终端的关键。”张博补充道。

对于这些悬而未决，却已经成为具身数据桎梏的难题，蚂蚁数科此次开源 Open-AoE 算是一次完整的回应。

它试图解决的第一个问题，是怎样让数据采集真正走向普惠。张博将这条路线总结为：“在设备和采集成本上疯狂做减法，在后处理和算法上疯狂做加法。”

在他的设想里，Ego 采集不应该依赖昂贵的专业设备。“我们希望每一个自然人的数据都能够被采集，不需要先买 GoPro，也不需要几万块钱的专业设备。每个人的工作和生活，都可以变成 AI 能够训练的一条数据。”这也是 Open-AoE 初心的表达：“让 Ego 数据人人可采、人人可用，也让每一次真实操作都成为具身智能的下一条训练数据。” 

低成本采集并不意味着把质量完全交给用户。Open-AoE 采用“轻前端、重算法、重平台”的设计，手机端只承担即时反馈：检查手部是否进入画面、焦距是否锁定、光线是否足够、佩戴方式是否合规以及设备是否过热。当手部出画或视角异常时，系统立即给出提醒。计算量更大、需要全局判断的任务则被放到后端完成。 

第二个问题，是如何把高度异构的视频收敛为统一资产。

Open-AoE 已经覆盖 400 多种消费级手机型号。每一种手机背后都对应不同镜头、传感器、ISP、分辨率模式和固件，再叠加人的佩戴姿态差异，原始数据几乎不可能天然一致。

对此，Open-AoE 先完成几何校正、去畸变、视角与稳定性校正，再处理亮度、白平衡、编解码和动态清晰度，最终统一到后续重建与标注可以消费的视频规范，同时保留相机内参和数据血缘。 

这套能力与蚂蚁数科原有积累高度相关。

第三个问题，是怎样定义“好数据”。

整体来说，Open-AoE 将数据筛选拆成三层漏斗。第一层在端侧检查时长、帧率、手部可见性与佩戴状态；第二层在云端处理视频完整性、模糊、曝光、第一人称视角、标签和敏感内容；第三层进一步判断动作意图是否完整、任务是否具有训练价值、数据是否与已有分布互补。通过筛选后，视频才会进入相机轨迹估计、MANO 手部重建文本标注和原子动作切分。

最终交付还要经过完整性、正确性和一致性三道验收。这里的质量标准已经不再是“视频能不能正常播放”，而是它能否稳定进入训练和重映射流程。 

具体来看，在数据分布上，为了避免“规模大、场景多”口说无凭，Open-AoE 直接从 2000 小时发布数据中随机抽取约 100 小时做统一统计。样本包含 46802 个原子动作区间、193 个动作动词、7346 个交互物体短语和 522 条原始场景描述；贡献者时长呈明显长尾，贡献最多的 10 个匿名 ID 合计仅占 13.7%。场景也没有集中在厨房和桌面，数据进一步延伸至办公室、卧室、手工与工作间、客厅、浴室、户外、洗衣和零售服务等空间。换句话说，这批数据的广度同时发生在“谁在操作、在哪里操作、操作什么，以及通过什么相机看到操作”四个层面。

更关键的是，项目没有只用一张 t-SNE 图来证明“分布很散”。技术报告将 Open-AoE、OpenEgo、EgoDex 和 EgoXtreme 放入同一套实验框架，在归一化后的 CLIP 高维特征空间中进行 3000 次平衡随机抽样，每次从每个数据集中无放回抽取 2000 个视觉 embedding，再比较 Effective Rank、Participation Ratio、Meaningful Coverage、Normalized Cluster Entropy、Effective Clusters 和 kNN Domain Mixing 六项指标。Open-AoE 六项均取得最高均值，其中 Effective Rank 为 97.43、Participation Ratio 为 40.47；前三项中的 Effective Rank、Participation Ratio 和 kNN Domain Mixing，更是在 3000 次试验中每一次都排名第一。这组结果说明，其视觉变化覆盖了更多有效特征方向，同时与外部 Ego 数据域保持更强连接，较少被单一设备和固定场景锁死。

数据质量则被拆成“标注是否完整、标注是否对应画面、数据进入训练后还剩多少”三类可验证指标。在约 100 小时分析样本中，动作标注覆盖 99.99% 的受评时间轴，每分钟包含 13.97 个动作片段；Idefics2 对图像—标注一致性的序列级宏平均评分达到 4.583/5，85.4% 的序列平均得分不低于 4。统一采用 2 秒历史、2 秒未来、2 秒步长切窗后，每小时可生成约 1760 个候选训练窗口，达到理论上限的 97.8%；至少一只手有效的帧或条目占 98.93%，双手同时有效达到 98.02%，动作、边界框、标注置信度、手部姿态和相机姿态五类监督信号在序列级全部可用。

这些实验把“高质量”从主观判断变成了一组可以复核的技术指标：既看分布是否足够宽，也看语义、时间轴和多模态信号是否完整，更看数据经过真实训练切窗后会损失多少。Open-AoE 的技术领先性，由此不只体现在采集规模和工具链完整度，还体现在它开始为具身数据建立一套接近 Benchmark 的验证方法。

第四个问题，是数据怎样走完进入模型的最后一公里。

Open-AoE 把工具链分为三个方向。AoE-Visualization 让研究者同步查看视频、MANO 手部网格、关键点、轨迹和动作描述；AoE-Reconstruct-Retarget 负责从视频恢复手物交互资产，并将人类动作映射到不同机器人本体；AoE-Training-Ready 则面向 VLA、世界动作模型和世界模型，处理坐标系、采样频率、时间窗口、归一化和图像—语言字段。

它已经接入 GR00T N1.7、π0.5、ACT、Diffusion Policy、LingBot-VA、Ctrl-World、iVideoGPT 等多种训练路线。这里做的远不止文件格式转换，而是在回答：一段人类操作，在不同模型体系中究竟应该被表示成什么。 

这也是 Open-AoE 与一批开源 Ego 数据集最明显的区别。开源一个压缩包，可以降低数据获取成本；开源一条 data-to-model 链路，才可能降低整个行业反复建设私有管线的成本。

张博说，蚂蚁数科团队内部也配备模型训练人员，但他们的目标并非刷新 SOTA：“他们不是为了证明我们又做出了一个最好的模型，而是验证这份数据放在不同模型、不同训练范式里，到底有没有效；同时在服务蚂蚁灵波过程中，数据团队与模型团队的协作能力也得到快速提升”。

这句话点出了数据公司的边界，也抬高了数据公司的门槛。它不必成为模型公司，却必须理解模型；它不必主导每一种技术路线，却要知道数据怎样影响路线选择。

具身数据行业里，大部分真正决定质量的工作，都不容易被展示。

采集设备适配、坏例识别、隐私脱敏、动作切分、相机轨迹估计、手部重建、坐标转换、格式对齐，这些工作很少出现在机器人演示视频里，也很难像模型 Benchmark 一样形成醒目的排行榜。

张博将其称为所谓的“dirty work”。“我们是在干苦活，但最终会通过技术把这个苦活干成一个很酷的活。”他说，“很多 researcher 会觉得这是一份 dirty work，可越是这种 dirty work 被解决，大家越愿意 follow 你。模型做到 98 分，别人可以说我做到 99 分，然后来 pick 你；可越是这些关键的细节和精巧的工程问题，大家越愿意 follow。”

在他看来，这种依赖最终会形成壁垒：“企业的壁垒，一种是拥有全世界最好的模型，另一种就是把这些 “dirty、detail”的事情工程化、标准化，而且做得比别人好。这也是很重的商业壁垒。” 

这恰好回应了“数据公司是否只是在掘金”的质疑。真正简单的掘金生意，依赖行业早期的信息差和供需错位：模型公司着急要数据，市场还不知道什么数据有效，于是视频时长先被当成最直观的计价单位。随着模型训练路线逐渐清晰，粗放数据的价格一定会下降，数据公司的价值也会重新分层。

最底层卖人力，中间层卖交付，往上则是卖数据工程、数据配方和基础设施。

Open-AoE 所代表的方向，已经靠近第三层。蚂蚁数科开放 2000 小时数据和工具链，表面上是在降低行业获取数据的成本，背后也在建立自己的质量语言、工程接口和行业认知。

事实上，标准很少由一纸文件直接建立。更多时候，它来自被大量使用的工具、接口和工作流。当越来越多研究者用同一种方式加工数据，当更多模型团队围绕同一套字段与质量要求开展实验，事实标准便可能在使用中形成。

据了解，不仅开源，这套完整的技术链路已经在武汉数智天蚂落地，并通过政府+产业合作持续探索更加丰富的具身场景。

对蚂蚁数科而言，这当然是一种产业卡位。

它一端连接大量自然人的真实操作，另一端连接机器人本体、VLA、世界动作模型和世界模型；中间沉淀设备适配、质量控制、重建重映射和 Training-Ready 能力。当数据需求从通用时长走向特定场景、任务定向和模型配方，这套基础设施便有机会成为持续产生商业价值的入口。Open-AoE 之外，蚂蚁数科已经开放面向企业的更大规模、特定场景和标签定制合作，覆盖从采集方案到训练格式交付的端到端流程。 

对开发者和研究者而言，Open-AoE 的价值不只在于开放数据和工具链，也在于让更多人真正用起来。围绕这一点，蚂蚁数科 DTCoder 可以进一步降低大家使用 AoE 数据的门槛：无论是理解数据结构、阅读工具链代码，还是完成环境配置、样例运行和模型适配，开发者都可以借助 AI Coding 更快进入实践。换句话说，Open-AoE 负责把具身数据生产链路开放出来，DTCoder 则帮助更多人更容易地理解、调用和复用这些数据资产。 

对产业而言，它的价值更接近一次基础能力下沉。

过去，高质量具身数据生产集中在少数资金充足的机器人公司和模型公司内部。高校团队可能拿不到足够数据，也缺少工业级加工流程；创业公司需要反复搭建自己的质检、重建和格式转换工具；不同企业之间的数据难以流动，每一家都在从头解决相似问题。一套足够开放的工具链，有机会让这些重复劳动被压缩。

所以，Open-AoE 不再是发布后静止的 2000 小时数据，而可能成为一个持续连接真实世界与模型训练的数据层，而这一整套数据生产工具则将在有形无形中逐渐弥合产业分歧、共塑产业标准。 

让每一个比特都通往AGI

具身智能的数据生意最终可能很大，但“大”不会只来自采集人数和视频时长。真正决定行业格局的，是谁能把分散、异构、充满噪声的人类行为，持续转化为可靠、可训练、可跨模型复用的数据资产。

在这个意义上，数据行业当然可以掘金。

只是未来最值钱的，大概不会是拿着铲子最早冲进矿区的人，而是那些愿意下到矿井深处，修路、通风、测绘，并最终建立起整套开采标准的人。

Open-AoE 的价值，也正在于蚂蚁数科选择了一件不够轻松，却可能足够长久的事：把人人都能产生的真实操作，变成具身智能能够共同使用的AI基础设施，让每一个比特都通往AGI。

特别声明：本文为合作媒体授权DoNews专栏转载，文章版权归原作者及原出处所有。文章系作者个人观点，不代表DoNews专栏的立场，转载请联系原作者及原出处获取授权。(有任何疑问都请联系idonews@donews.com)