2026 年开春，具身智能行业的风向出现了一次集体转弯。

 

英伟达一系列文章将视频数据推向高峰，Build AI 一口气开源了上万小时的 Ego 视频。

 

几乎在同一个季度，头部玩家不约而同地把筹码压在了同一个方向：人类视频。

 

因为人类视频相对于任何一种采集方式来说都是最简单，最容易scale up的，最有前景做到无感采集，不影响操作者的生活从而带来源源不断地数据。

 

互联网上有近乎无穷的人类操作视频，如果能把它们变成机器人可用的训练数据，具身智能最大的瓶颈就有了一个看起来很性感的解法。

 

但如果你去问真正在做视频数据的团队，得到的回答往往是同一句话：视频很多，但也没有那么容易用。

热起来的是概念，但还有很多工程上的问题需要解决。

 

行业为什么突然重新盯上视频数据

就像我们在上一篇深度文章说的那样，要理解这次转向，先要理解它之前的路走到了哪里。

 

具身智能训练数据的采集，过去几年经历了一些变化。最早是真机遥操为主：一个人操控一台机器人，机器人把自己的关节角度、力矩、视觉画面全部记录下来。数据质量高，但成本极其昂贵，一小时的有效数据可能需要一个工程师花一整天。

 

UMI的兴起让大家看到了无本体采集的潜力，数据规模可以有量级上的飞跃

 

而直接用人类视频，也成为了最新的趋势。

 

人类视频的吸引力在于三个字：规模化。一个人戴着眼镜做饭、整理房间、搬运物品，一天可以产出几个小时的连续数据。如果眼镜能量产分发给成百上千人，数据量可以在几个月内达到百万小时级别。

 

但验证可行性和真正跑通生产，中间隔着一道巨大的鸿沟。

 

如果走显式的路线。

 

一段原始的人类操作视频，距离机器人能直接拿来训练的结构化数据，中间至少要经过检测出框、裁剪、2D 关键点提取、3D 姿态重建、时序平滑、世界坐标融合、retargeting 到机器人本体等一整条后处理链路。每一个环节都有自己的精度要求和失败模式，任何一环出问题，后面全部作废。

 

这条链路，才是视频数据真正的门槛所在。

 

AoE管线

 

ViTRA 管线

 

三个一直没被真正回答的问题

就像我们在之前的深度文章说的一样，视频数据的成果并非空穴来风，其实有非常多其他领域发展的托举。但如果仔细去看，至少有三个关键问题，仍需要具身行业自己给出答案。

 

脏视频，机器人到底怎么学？

人类随手拍的视频，和机器人需要的训练数据之间，存在一个根本性的 gap：视频是 2D 的、连续的、充满遮挡和噪声的像素流；机器人需要的是 3D 空间中精确的关节坐标序列，而且要稳定、要平滑、要能映射到自己的本体结构上。

 

这中间的转换，核心依赖人体姿态估计（Human Pose Estimation, HPE）的能力。

 

但 HPE 在具身智能场景下要应用起来，难度并不小。

 

首先是遮挡。人在做操作时，手会被物体挡住，手指会被手掌遮住，身体会被桌面切割。传统模型遇到遮挡，输出的关节坐标会剧烈抖动。而具身智能对精度极其敏感——手部操作场景下，一个关节点偏差几毫米，retargeting 到机器人上可能就是完全错误的抓握姿态。

 

其次是从 2D 到 3D 的跃迁。纯粹的2D数据，没有深度信息，在具身训练中的价值有限，行业内也越来越倾向于用3D的显示数据。拿到 2D 还需要把它 lift 到 3D 空间。这个过程本身就是一个病态问题——同一个 2D 投影可以对应无数种 3D 姿态。要解得准，需要强先验、需要时序信息、需要物理约束。

 

然后是时序稳定性。单帧做得再准，帧与帧之间如果不连贯，输出的动作序列就会抖动，机器人学到的策略也会不稳定。

 

最后是 retargeting。人的身体比例和机器人不同，关节结构也不同。把人的动作映射到机器人上，需要在保持语义一致的前提下做几何变换，这本身又是一个需要精确 3D 姿态作为输入的环节。

 

这些难题叠加在一起，构成了一条很长、很脆弱的链路。链路上任何一个环节的精度不够，误差都会逐级放大。

 

从table top的manipulation 到 whole-body mobile manipulation

过去几年，具身智能的数据采集和模型训练，大多聚焦在手部操作——桌面上的抓取、放置、装配。这个阶段只需要关注手和手臂，自由度有限，数据结构相对简单。

 

但行业正在快速向全身移动操作（whole-body mobile manipulation）演进。

 

人形机器人要走到桌前、弯腰、伸手、抓握、转身、走到另一个地方放下。这涉及下肢步态、躯干平衡、手臂伸展、手指抓握的全链路协调。自由度从手臂的 6-7 个，扩展到全身几十个关节。

 

这带来的变化是系统性的。

 

数据结构要发生改变。过去只需要记录手部关键点，现在需要记录全身骨架。过去只需要手部姿态估计，现在需要 whole-body pose estimation，头、肩、躯干、腿、脚都要覆盖。采集难度也要变——一个只拍手的摄像头不够了，需要能同时捕捉上半身和下半身运动的采集方案。

 

EgoHumanoid

 

Humanoid Loco-Manipulation. Ψ0

 

幸运的是，人体姿态建模技术栈的成熟为视频学习带来了机遇，但还远远不够

视频数据后处理的核心是人体建模。而人体建模这条技术路线，本身也在经历一次重要的范式迁移。

 

最早的主流方法是 2D 关键点检测——在图像中定位肩膀、手肘、手腕、指尖等若干关键点，输出一组 2D 坐标。这个阶段的核心挑战是定位精度与遮挡鲁棒性。早期普遍采用 heatmap（热力图）来表示关键点位置，精度受限于特征图分辨率；后来有研究者开始质疑 heatmap 范式本身——固定的高斯核监督在面对尺度变化和标注模糊时会引入系统性偏差。沿着这个方向，一些工作将关键点表示为 token，通过 attention 机制建模关键点之间的结构关系；另一些工作则尝试直接用坐标分类来绕开 heatmap 的量化误差。这些进展解决的都是同一个问题：在 2D 图像中把点找准。

 

与此同时，另一条路线也在并行推进——3D 关键点与姿态提升（pose lifting）。在 2D 关键点的基础上，通过学习或几何方法将其提升到 3D 空间。这一步让数据从平面走向立体，开始具备驱动机器人的可能性。

 

而当前正在发生的变化，是建模对象本身的升级。以微软的 METRO 为代表，研究者开始尝试直接从图像回归出人体的 3D mesh——一个包含数千个顶点的连续曲面，而非几十个离散的关键点。mesh 表示能捕捉到关键点无法表达的信息：身体的体积、表面的形变、手指的弯曲弧度。在手部建模领域，HAMER 等工作进一步推动了从关键点到 mesh 的统一重建，试图在一个框架内同时完成手的检测、姿态估计和形状恢复。趋势的方向是清晰的：从离散的关键点，走向更完整的几何结构与统一表示。

 

这些逐步成熟的开源框架，为从视频中提取动作数据提供了坚实的技术基础。但技术栈的成熟，并不等于问题已经解决。

 

行业趋势确实在往更完整的表示走，学术前沿也在不断刷新 mesh reconstruction 的精度。然而，真正要落到具身智能的数据生产——每天处理成千上万小时的 Ego 视频，稳定输出机器人可用的动作序列——真正决定可用性的，仍然是基础环节的稳定性。

 

2D 关键点检测的精度和鲁棒性，决定了 3D lift 的上限；3D lift 的稳定性，决定了 retargeting 到机器人的可用性；时序平滑和遮挡恢复的质量，决定了输出数据能否直接用于训练而不需要大量人工清洗；采集系统的视角、帧率和同步精度，决定了后处理算法能拿到什么样的原始输入。

 

mesh 和统一表示是方向，但地基仍然是关键点精度、遮挡处理、时序稳定和采集系统设计。地基不牢，上层建筑再漂亮也立不住。

 

图注：人体建模路线的三阶段演化——从 2D 关键点（离散坐标）到 3D 关键点/pose lifting（空间结构）到 mesh/统一表示（连续几何），标注每个阶段的代表性方法和核心能力要求

 

到底该怎么采？

看起来，我们有非常成熟的消费级设备可以来进行采集，好像这并不是一个难事。但采集形态的选择，表面上是一个硬件问题，实际上直接决定了后续数据的可用性，也决定了数据采集的上限。小到相机的内参、FOV，系统的录制、保存，大到佩戴位置和舒适性，种种细节构成了这个地方的难点。

 

目前行业里的采集方案大致有几类：头箍式（GoPro 绑在头上）、胸前相机、手持/手腕相机、外置第三人称相机，以及眼镜。其实都有自己的问题。

 

头箍式的问题是佩戴感差，影响长期采集，而且视角偏高，和人眼的自然视角有偏差。胸前相机的视角可能与机器人有domain gap，对FOV的要求也更高，有可能看不到手部操作的细节。手持/手腕相机只能拍到局部。外置第三人称相机的视角和机器人部署时的第一人称视角完全不同，数据迁移的gap比较大，而且不太便携。眼镜在普遍的FOV都有限，容易拍不到手，存储、上传、功耗、散热都是问题。

 

没有完美的采集方案，需要建立对视频数据录制的knowhow，对设备做定制化开发，可能才是解决更高质量的视频数据获取的方法。

 

三、什么样的公司才能做好视频数据？

如果真的要让视频数据发挥它应有的价值，就需要视频数据的团队有非常成熟的数据处理管线，了解HPE的底层才能更精准地提取机器人所需的数据；

 

同时手部的建模是重要但不足够，全身的建模能力也非常关键，才能适应未来WBC+manipulation的技术栈的发展；同时，它也需要了解具身训练到底需要什么样的数据，才能选择合适的拍摄设备采集。

 

在前段时间它石智航的战略合作大会上，我们看到了一家公司的身影，它叫做幂特科技（PowerTech）

 

理解了上面这些问题之后，再来看幂特科技（PowerTech），会发现一件有意思的事：这家公司今天做的事情，和它核心团队过去十年的技术积累之间，存在一条清晰的因果链。

 

幂特的CTO王志成，从 2016 年开始在旷视研究院深耕人体姿态估计。他带队做出的一系列工作，几乎踩中了 HPE 领域每一个关键节点。

 

CTO 王志成学术贡献

 

  • 2018 年的 CPN（Cascaded Pyramid Network），用级联金字塔结构和在线难关键点挖掘策略，专门攻克遮挡场景下的检测难题，拿下 COCO 2017 关键点检测冠军，论文引用超过 2200 次。

  • 紧接着的 MSPN（Multi-Stage Pose Network），重新验证了多阶段网络在姿态估计中的价值，证明了精心设计的跨阶段信息流可以让模型精度随规模持续提升，成为 COCO 2018 冠军方案。

 

图注：MSPN overview

 

 

  • RSN（Residual Steps Network）

    则解决了同尺度内精细局部表示的问题——人体不同关节对感受野的需求差异很大，RSN 通过残差步进机制让网络同时保持多尺度的空间精度，拿下 COCO 2019 冠军。

  • 再往后，ADC 指出传统下采样-上采样结构可能带来空间不对齐，提出自适应空洞卷积作为替代。DANet 用更轻量的单金字塔网络实现多尺度信息聚合，在效率和表示能力之间找到新的平衡点。

  • 到了表示范式转换的阶段，TokenPose 把关键点表示成 token，用 attention 机制显式建模关键点之间的结构关系——肩膀的位置可以帮助推断被遮挡的手肘在哪里。SimCC 则更激进地跳出了 heatmap 范式，用坐标分类方法直接预测关节的横纵坐标，彻底绕开了特征图分辨率对精度的制约。

 

图注： SimCC 和 2D/1D heatmap based pipelines

 

这样的技术积累，覆盖了遮挡、多阶段扩展、多尺度感受野、空间对齐、轻量化、结构关系建模、表示精度瓶颈。

这恰好就是今天视频数据后处理链路上，每一个环节都会遇到的基础问题。

 

2017 到 2019 年连续三年 COCO 关键点检测冠军的战绩，击败的对手包括 Google、Meta FAIR、微软亚洲研究院等顶级团队。这段经历的价值，不仅在于证明了技术水平，更在于积累了大量关于如何在真实复杂场景下把关键点做到极致的工程经验。

 

图注：王志成团队 HPE 技术演进与具身数据后处理需求的对应关系——左列为论文时间线（CPN → MSPN → RSN → ADC → DANet → TokenPose → SimCC），右列为对应解决的后处理链路难点（遮挡 → 扩展性 → 多尺度 → 空间对齐 → 效率 → 结构关系 → 精度瓶颈）

 

 

但光有 2D HPE 的积累还不够。

他在旷视之后加入了 XREAL（原 Nreal），负责 3D hand tracking 和 AR 眼镜相关的算法与产品。这段经历补上了两块关键拼图：

  • 一是从 2D 到 3D 的跃迁——在眼镜这种算力受限的终端上做实时 3D 手部追踪，对模型效率和 3D 重建精度都有极高要求；

  • 二是眼镜产品本身的工程经验——光学、传感器、功耗、佩戴舒适度、数据传输，这些极其需要工程化经验的工作。

今天幂特做的事情，本质上是把这两段积累拼到了一起。

在软件端，幂特搭建了一套从原始视频到结构化动作数据的完整生产管线。它试图覆盖的是从 raw video 到 robot-ready data 的整条链路。而这条链路上的每一个环节——检测出框的准确性、裁剪比例的合理性、2D 关键点的精度、3D lift 的稳定性、后处理的平滑度——都直接依赖于团队在 HPE 领域的长期积累。

 

高精度3D信息获取

 

这套管线的输出，可以服务于 VLA 模型训练的不同阶段：预训练阶段提供大规模人类操作视频，帮助模型建立物理世界的基础常识；中间训练阶段提供带有 2D/3D 关键点标注的数据，用于人类动作与机器人动作的对齐；精调阶段提供高质量的 retargeting 数据，直接映射到具体机器人本体。

 

未来，幂特科技还会发力第三人称视角的人类数据采集，用世界模型的思路完成第一和第三视角的无缝衔接。

 

 

图注：PowerTech数据管线

 

 

在硬件端，幂特推出了专为具身智能数据采集设计的 AI 数采眼镜。据公司材料介绍，这副眼镜支持长续航、大存储、多目硬同步，佩戴者在日常操作中自动采集第一人称视角的视频数据。

 

为什么选择眼镜？除了很方便地复用创始团队的经验之外，其实还是出于很多第一性的考量。

 

  • 第一，视角接近人眼，也接近机器人头部摄像头的部署视角。这意味着采集到的数据和机器人实际感知到的世界更一致，减少了 sim-to-real 或 human-to-robot 的 domain gap。

     

  • 第二，可以长期、无感佩戴。数据采集最怕的是刻意性——一旦佩戴者觉得不舒服、觉得在「被采集」，行为就会变得不自然，数据质量就会下降。眼镜是日常佩戴物，心理负担最小。

     

  • 第三，眼镜可以集成多个传感器（RGB 摄像头、IMU、甚至深度传感器），在一个紧凑的形态里同时获取视觉、运动和空间信息。

     

当然，眼镜形态也有自己的挑战：功耗、散热、存储、重量，每一项都需要精细的工程权衡。这也是幂特科技重点发力做的地方。他们在没有小盒子的基础上，续航超过1个小时，支持边充边录；超大存储空间，完美支持8个小时的容量，可支撑一整天的采集。

 

 

首款为数据采集而生的AI采集眼镜

 

眼镜采集的视频先在本地压缩存储，通过 WiFi 传输到手机，手机端做初步筛选（剔除无手出现的片段），然后上传云端。云端完成 VIO、手部追踪、世界坐标融合等处理，最终输出带有 3D 关节坐标的操作序列。

 

为了让眼睛捕捉到更清晰的手部动作和更清晰的身体动作，他们做到了165°FOV广角，视角覆盖更多眼镜下方，可以更好的覆盖手部和全身的动作。

 

幂特科技也同时在发力其他消费级设备如手机，让数采不再有专业设备的门槛。

 

四、视频数据的终局不是视频本身

让我们再回到这让人激动人心的转向，如果将人类操作视频里蕴含着机器人需要的物理常识和操作策略，只要能把它们提取出来，就等于给具身智能接上了一条取之不尽的数据管线。

 

但这条路才刚刚开始，它成立的前提，是中间那条提取管线足够精确、稳定、高效。

 

从这个角度看，视频数据的故事，终局不是视频本身。当百万小时的人类操作经验可以被结构化、被传输、被机器人消化的时候，具身智能这个领域才算真正拥有了自己的"互联网时刻"。