dexgrasp类数据集收集

发表于 分类于

收集的一些数据集

论文

检索关键词

  1. language/text guided 语言指导
  2. dexterous，这个必须
  3. functional>grasp 需要功能性
  4. manipulation
  5. 还有一种思路retargeting data也可以
  6. task-oriented
  7. 太多做抓取的了，有没有做任务的？比如抓取然后任务？

步骤

  1. 打开论文，搜dataset
  2. 打开github项目，找dataset
  3. 看做什么内容
  4. 看dataset什么样

结果

  1. Complementarity-Free Dexterous Manipulation
    1. https://github.com/asu-iris/Complementarity-Free-Dexterous-Manipulation
    2. 机械臂把物体推到指定位置。3种任务
    3. 没有dataset
  2. Grasp as You Say: Language-guided Dexterous Grasp Generation
    1. 基于语言指导的灵巧抓取生成
    2. datasete:DexGYSNet 没发布
    3. 比较符合抓取的要求，可惜没有数据集
  3. Dexterous Functional Grasping
    1. 没有dataset
  4. Toward Human-Like Grasp: Dexterous Grasping via Semantic Representation of Object-Hand
    1. nodataset
  5. DexGraspNet
  6. dataset include 物体和抓取qpos，没有功能性抓取（它的obj我无法导入genesis里面，看看2.0吧）
  7. DexGraspNet2.0
  8. 2024
  9. 也是纯抓取，gym平台 点云输入
  10. 数据集包含什么？看不懂，不知道有啥，烦
  11. DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation
    1. 手部动作捕捉系统，利用这个丰富的数据集，DexIL采用逆运动学和基于点云的模仿学习来用机器人手复制人类动作。
    2. 包含用于擦除任务的30分钟的mocap数据和用于打包任务的60分钟的实际mocap数据
    3. https://hf-mirror.com/datasets/chenwangj/DexCap-Data
    4. 但是只有两种任务，有没有用这个系统收集更多数据的？
    5. 感觉这个比较接近，就是没有人类语言指令，优点：有任务，双手dof，每一帧，图像等
  12. DexMimicGen: Automated Data Generation for Bimanual Dexterous Manipulation via Imitation Learning
    1. https://hf-mirror.com/datasets/MimicGen/dexmimicgen_datasets
    2. 通过模仿学习自动生成双手灵巧操作数据
    3. robosuite ，数据集都是hdf5格式
    4. actions
  13. DexArt: Benchmarking Generalizable Dexterous Manipulation with Articulated Objects
    1. 用铰接物体对通用灵巧操作进行基准测试
    2. 没有数据集
  14. DexVIP: Learning Dexterous Grasping with Human Hand Pose Priors from Video
    1. 没有数据集
  15. DexGraspVLA: A Vision-Language-Action Framework Towards General Dexterous Grasping
    1. DexGraspVLA：面向一般灵巧抓取的视觉-语言-动作框架
    2. 没有机器数据集
  16. RoboDexVLM: Visual Language Model-Enabled Task Planning and Motion Control for Dexterous Robot Manipulation
    1. RoboDexVLM：视觉语言模型支持的灵巧机器人任务规划与运动控制
    2. 这个连代码都没有，但是思路或许可以学习
  17. 宇树的开源数据集
    1. https://www.unitree.com/cn/opensource
  18. AnyTeleop: A General Vision-Based Dexterous Robot Arm-Hand Teleoperation System
    1. 基于视觉的灵巧机器人远程操作系统
    2. 没有dataset
  19. DEXTERITYGEN:Foundation Controller for Unprecedented Dexterity
    1. 没有数据集
  20. DexTOG: Learning Task-Oriented Dexterous Grasp With Language Condition
    1. DexTOG-80K 但是没发布，丫就是DexGraspNet 2.0的作者之一啊
    2. 有语言，任务，动作
  21. SemGrasp : Semantic Grasp Generation via Language Aligned Discretization
    1. dataset:CapGrasp
    2. 基于语义的抓握生成方法，称为SemGrasp，它通过将语义信息纳入抓握表示中生成静态的人类抓握姿势
    3. about 260k detailed captions and 50k diverse grasps
    4. 但它的数据集没用
  22. DexDiffuser: Generating Dexterous Grasps with Diffusion Models
    1. 有data google driver
    2. 这个数据集不是很想用
  23. DextAIRity: Deformable Manipulation Can be a Breeze
    1. 软体的
    2. no dataset
  24. Video Prediction Policy:A Generalist Robot Policy with Predictive Visual Representations
    1. no dataset
    2. 学习视频生成机器人策略的
  25. DexMV: Imitation Learning for Dexterous Manipulation from Human Videos
    1. no dataset now
  26. DexPoint: Generalizable Point Cloud Reinforcement Learning for Sim-to-Real Dexterous Manipulation
    1. no dataset ，只有training方法
  27. DexGANGrasp: Dexterous Generative Adversarial Grasping Synthesis for Task-Oriented Manipulation
    1. dataset expired

找了上面这24个论文之后总结，因为我没有仔细阅读论文，我还是需要先找到数据集，如果有人类示例直接变成robot操作的数据集也不错。

数据集

从一些综述里面找

  1. Generative Artificial Intelligence in Robotic Manipulation: A Survey 2025年3月
    1. Learning robust real-world dexterous grasping policies via implicit shape augmentation
      1. no dataset
    2. Graingrasp: Dexterous grasp generation with fine-grained contact guidance
      1. no dataset
    3. Learning diverse and physically feasible dexterous grasps with generative model and bilevel optimization
      1. nodataset
    4. Ffhnet: Generating multi-fingered robotic grasps for unknown objects in real-time
      1. yes
      2. 什么形式，抓取给的是物体的什么，输出机器人手的什么，我怎么感觉它这个不像是输出机器人手，二是单纯的人手？看看论文里面有没有说
      3. In this work we aim to equip the DLR-HIT Hand II, a 15 degrees of freedom (DOF) anthropomorphic hand ok这个格式的
      4. 输入什么：We generate a new synthetic grasp dataset containing 180k grasps for 129 household objects from the BIGBIRD [28] and KIT [29] datasets
      5. 输出什么：抓取姿势（只有抓取姿势吗？要求的是能抓握还是怎么回事，怎么判断是否抓取成功？直接ai速读）抓取参数
      6. 做什么的？FFHNet：实时生成未知物体的多指机器人抓取
    5. Unidexgrasp: Universal robotic dexterous grasping via learning diverse proposal generation and goal-conditioned policy
      1. yes 只有抓取的数据啊
      2. 做什么：通用机器人灵巧抓取，给模型生成抓取姿态
      3. 输入：object
      4. 输出：shadowhand
      5. Our dataset contains more than one million grasps for 5519 object instances from 133 object categories
  2. 换关键词搜，dexterous manipulation dataset检索得到
    1. DexH2R: Task-oriented Dexterous Manipulation from Human to Robots
      1. no dataset
    2. RoboTurk: Robotic Manipulation Dataset through Human Reasoning and Dexterity
      1. yes，但不是灵巧手
    3. Refer and Grasp: Vision-Language Guided Continuous Dexterous Grasping
      1. yes
      2. RefGrasp数据集，该数据集具有不同的室内环境和机器人抓取任务的语言挑战性表达
      3. 语言描述+
      4. 一个参考表达理解/分割数据集生成引擎，能够生成合成的照片和表达的语言条件的把握。基于Blender和BlenderProc。
    4. RoboMIND: Benchmark on Multi-embodiment Intelligence Normative Data for Robot Manipulation
      1. RoboMIND建立在统一的数据收集平台和标准化协议之上，涵盖四种不同的机器人实施例：Franka Panda，UR5e，AgileX双臂机器人和具有双灵巧手的人形机器人。
      2. 它这个灵巧的是放在人形机器人上
      3. hdf5格式
      4. 不清楚，有空再调研
    5. RP1M:A Large-Scale Motion Dataset for Piano Playing with Bimanual Dexterous Robot Hands
      1. 我们的RP 1 M数据集是第一个使用灵巧机器人手进行动态双手操作的大规模数据集。 它包括双手机器人钢琴演奏运动数据的~ 1 M专家轨迹覆盖~2k音乐作品。
      2. 只会弹钢琴
    6. DexFuncGrasp: A Robotic Dexterous Functional Grasp Dataset Constructed from a Cost-Effective Real-Simulation Annotation System
      1. yes
      2. 具有丰富姿势注释的灵巧功能抓取数据集
      3. npy格式，怪怪的
    7. Task-oriented Tool Manipulation with Robotic Dexterous Hands: A Knowledge Graph Approach from Fingers to Functionality
      1. no data

整理了之后开始分类：

  1. 只有抓取动作
    1. DexGraspNet2.0
      1. gym平台
      2. LEAP Hand（DoF=16）
      3. 1,319个多样化物体（训练集60个，测试集1,259个新物体）
    2. Unidexgrasp
      1. shadowhand
      2. 5519 object instances
    3. Ffhnet
      1. DLR-HIT Hand II, a 15 degrees of freedom (DOF) anthropomorphic hand
      2. 129 个物体

只有抓取的数据集大多用模仿学习/力闭合等方式求出，这一环节的重点在于成功抓取物体并抓稳。可以改进的问题： 1. 用于抓握姿势生成的视觉（如点云）信息中无法提供物体材质的摩擦力，抓握的力度无法控制。 2. 缺少抓取软体对象的数据

  1. 可以实现任务
    1. DexMimicGen
      1. robosuite平台
      2. 数据集涵盖 ​9种仿真任务
      3. ​GR1人形机器人，2个6自由度的Inspire灵巧手
    2. DexCap
      1. 手部动作捕捉系统，利用这个丰富的数据集，DexIL采用逆运动学和基于点云的模仿学习来用机器人手复制人类动作。
      2. 包含用于擦除任务的30分钟的mocap数据和用于打包任务的60分钟的实际mocap数据
      3. LEAP robot hand
    3. RP1M只会弹钢琴的动态双手操作数据集
    4. 宇树的开源数据集 包含双手倒咖啡/叠衣服
      1. 该数据集是用lerobot生成的，lerobot的可视化有一些示例模型。
  2. 包含语言指令
    1. Refer and Grasp
      1. 该数据集具有不同的室内环境和机器人抓取任务的语言表达（功能只包含抓取）
      2. 基于Blender和BlenderProc
    2. DexFuncGrasp
      1. 具有丰富姿势注释的灵巧功能抓取数据集
      2. npy格式

论文涉及“有语言指导的灵巧手操作”开源数据集较少，并集中在明确的任务。针对刚体，我的思路是 1. 一般任务分解成几个基础的，抓握，改正位置，改正角度，张开手等。 2. 对这些基础任务计算轨迹。