第一视角（Ego）视频让数据采集从专业场地走进真实生活和工作，成为具身智能预训练的重要数据来源。但拍下操作，并不意味着就能获得具身模型预训练所需的4D数据，系统还需要准确辨认佩戴者的双手、还原手指的弯曲姿态，并测量手在空间中的移动距离。
近日，觅蜂科技联合西北工业大学、西安交通大学发表论文，提出第一视角运动重建框架“MEgoVista”，用以将Ego视频更精准地转化为4D数据。论文实验结果显示，MEgoVista在Ego视频上具备较高的重建精度，可将无需预先布置场景的第一视角录制数据，有效转化为具有真实尺度的双手动作和头部运动轨迹。
通过独立动捕系统测评和真实场景对比，研究团队检验了MEgoVista的重建精度与跟踪表现。结果显示，经位置、朝向和尺度对齐后，MEgoVista的手指姿态误差为4.29毫米，低于HaWoR的16.30毫米和Dyn-HaMR的49.18毫米；动作抖动指标为1.11毫米／帧²，也低于两种对比方法。在制作奶茶、美甲和给宠物洗澡三个真实场景的画面对比中，MEgoVista整体跟踪更稳定，在美甲场景中也是三者中唯一正确区分佩戴者与顾客双手的系统。
Ego视频要在模型训练阶段“派上用场”，关键是将人的操作精准“翻译”成机器人的动作。然而，要从采集的视频中准确提炼4D数据，仍面临诸多挑战。
首先，场景覆盖范围与重建精度往往难以兼顾。固定场地中的多摄像头系统能够较准确地还原手部动作，但需要提前布置设备，采集范围有限。覆盖真实生活的大规模视频数据集，则往往缺少具有真实尺度的三维手部标注，无法直接提供手部的实际位置和移动距离。
其次，“姿势像”不等于“位置准”。现有算法已能根据图像估计手指姿态，或从视频中还原手部运动轨迹。但仅靠单个摄像头，距离估计主要依赖模型从训练数据中学到的经验，缺少现场测量作为依据。因此，重建结果即使与画面中的手部轮廓吻合，其空间位置也可能存在偏差。
真实操作中的多人互动和遮挡，也增加了识别难度。以美甲为例，美甲师和顾客的手同时入镜，系统需要持续辨认佩戴者的双手，避免跟错对象。工具、物体或前臂遮住手指，以及双手暂时移出画面，都可能造成跟踪中断或重建误差。
头部运动同样会影响重建。摄像头随佩戴者转头、移动，画面也随之变化，系统需要区分手部运动与镜头运动。尤其在头部转动较多、实际位移较小时，空间距离更难准确估计。
因此，MEgoVista要应对一系列相互关联的挑战：在无需预先布置的场景中，准确识别并持续跟踪佩戴者的双手，还原具有真实尺度的手部动作和头部轨迹，再通过独立的外部测量验证重建精度。
针对上述问题，MEgoVista设计了一套离线重建流程：先识别佩戴者的双手，再利用多摄像头测量距离，最后对整段动作进行优化。
除了还原双手动作，MEgoVista还可以减少佩戴者“转头”带来的影响。MEgoVista利用多摄像头画面还原头部运动轨迹，在重建初期确定真实尺度，并结合惯性信息判断上下方向，从而区分手部运动与镜头运动。最终，双手动作和头部轨迹被纳入同一个具有真实尺度的坐标系，呈现它们在空间中的位置和移动距离。
觅蜂科技正持续推进MEgo系列设备量产，以及数据采集、治理和评测能力建设。此次MEgoVista的研究成果，为这一布局提供了新的技术支撑：在拓展数据来源的同时，提高三维动作重建精度，让真实生活的数据更好地服务于具身模型训练。
仁信配资提示：文章来自网络，不代表本站观点。
