近日，因时机器人联合复旦大学、上海交通大学等高校及科研机构，正式开源HandEdit数据集与评测基准。该资源聚焦“第一视角人类”到“机器人灵巧手”图像编辑，旨在为灵巧操作学习提供规模化数据资源与标准化评价依据。

从人手数据到灵巧手

操作学习面临“数据适配”难题

抓取、旋转、按压、装配等精细操作，对灵巧手的抓握、感知能力和控制精度提出了更高要求。然而，机器人操作数据的积累速度仍远滞后于硬件迭代。

传统机器人数据采集往往依赖遥操作、动作捕捉或真实机器人反复执行任务，采集成本高、周期长；同时受本体结构限制，不同灵巧手在手指数量、关节结构、尺寸及运动范围等方面存在差异，同一套操作数据也难以直接迁移至不同机器人平台。

 

 

另一方面，互联网上已经积累了大量人手操作视频，但由于人手与灵巧手在结构、自由度等方面存在差异，如何将这些人手操作信息有效转化为灵巧手可学习、可执行的数据，成为灵巧操作学习进一步发展的关键问题。

HandEdit针对这一数据适配问题进行探索。

2亿级样本覆盖26种构型

让真实操作数据“转译”为机器人数据

HandEdit是研究“第一视角人类”到“机器人灵巧手”图像编辑，在保持原始场景和动作意图的基础上，将画面中的人手或手臂替换为指定的机器人构型。围绕这一任务，HandEdit提供了配对数据、统一评测协议和开源工具，供算法训练与比较使用。

这并非简单的“换手”视觉特效，编辑结果既要完整移除原人手，又要保持物体状态、接触关系和背景不变；新生成的机器人还需符合目标URDF所规定的结构、材质与关节形态。

因此，HandEdit需同时处理场景理解、动作保持、机器人构型一致性以及手物交互关系等多个维度。

因时机器人DFX、G2系列灵巧手作为重要的构型，被纳入这一数据转换链路。

 

 

在咖啡机操作中，因时DFX系列灵巧手以HandEdit为桥梁，完成了从“人类演示”到“机器人执行”的转化。

 

 

HandEdit生成框架可保留原始场景与动作意图，同时将人手轨迹自动映射为DFX灵巧手的原生关节运动。在搅拌机抓取等测试中，DFX根据自身关节限位与参数，实时输出适配的旋转角度、接触位置和手指弯曲姿态，确保每一帧动作均处于目标机器人的物理可达范围内。

 

 

目前，HandEdit已构建超过2亿个图像编辑样本，覆盖26种URDF构型，包括13种独立灵巧手和13种手臂一体结构，覆盖600多个场景、1100余种物体和400多类任务，并配套统一评测体系，为机器人操作学习提供了更大规模的数据基础，也为人手操作数据向机器人操作数据转化提供新技术路径。

因时机器人以真实硬件经验

共建操作学习新路径

作为此次开源的参与方，因时机器人的核心竞争力并非局限于数据集本身，而是植根于对灵巧手硬件的长期深耕。十年专注灵巧操作底层技术，因时已构建起覆盖核心算法、元器件研制、传感器集成到整机量产的全栈自研体系，打破多项技术壁垒，拥有多款成熟产品，在结构构型、驱动控制、传感反馈与抓取模式等方面积淀了深厚的物理经验。

 

 

HandEdit以真实灵巧手URDF为构型约束，将大规模人类操作视频转化为多具身机器人视角数据，并建立统一的“人→机器人”手部图像编辑评测基准，为机器人学习提供了可复用的数据与评价接口。因时机器人表示，未来将持续聚焦灵巧操作，沿硬件构型定义数据、数据服务算法的方向深耕，为灵巧操作研究与应用提供真正可用的硬件平台与数据基座。

HandEdit数据集与评测基准已正式开放，面向学术界与产业界研究人员、开发者开放使用。