robotic grasp相关文献整理

发表于 分类于

开始看文献了，2025/2/24-2025/3/2。

  1. OCRTOC: A Cloud-Based Competition and Benchmark for Robotic Grasping and Manipulation
    1. IEEE Robotics and Automation Letters（2021）
    2. mujoco,baseline,simple arm
    3. 如果我还能研究panda这样的简单抓头或许可以看看它的任务类型和解决方案
  2. Review of Deep Learning Methods in Robotic Grasp Detection
    1. Multimodal Technol. Interact. 2018,
    2. 深度学习在抓取上的综述，时间太久了，简单的夹持器，没有涉及到灵巧手，之前的研究对灵巧手都不适用
    3. 确认一下，grasp这个动作有没有数学描述
    4. 分成了三个系统
      1. grasp deection最重要
        1. 从图像中检测抓取表示
        2. 定义成功的抓取：这篇文章认可的是rectangle representation
      2. grasp planning
      3. control
    5. 数据集Cornell Grasp Dataset，Washington RGB-D dataset，Dex-Net
  3. Dexterous Functional Grasping
    1. CoRL 2023 Poster
    2. 灵巧手，结合真实数据和模拟数据的
    3. 模拟数据哪来的？只有模拟数据能不能做？模拟数据啥样
    4. 先移动到需要运动的上方（这个可以搞定）也就是pre-grasp。视觉提示
    5. grasp用的人类数据+受限的动作空间内的RL Eigengrasp是啥
    6. pre-grasp
      1. 通过DINOViT这种functional affordance model 给robot提供抓取物体的合适位置
        1. functional affordance model的概念有点抽象，以后再整理
        2. DINOViT输入：图像输入，多视角；输出：抓取区域的功能性赋能（Affordance region）和预抓取的位置和角度（2D）
      2. 用DETIC模型来获取3d位置
    7. grasp
      1. sim2real，没法抄袭
      2. eigengrasps action space 通过压缩动作空间，使得机器人能够在一个较小的、符合物理现实的空间内进行高效抓取​。
  4. Dexterous Grasping via Eigengrasps: A Low-dimensional Approach to a High-complexity Problem
    1. 很老了，2017年
    2. PCA提取出低维的手势姿势
    3. 听起来不错，为什么现在没人用
  5. Dexterous Imitation Made Easy: A Learning-Based Framework for Efficient Dexterous Manipulation
    1. (ICRA 2023)
    2. 观察人类的，方法没法学
    3. 人手演示的图像/视频 通过mediapipe 抽象化，2d数据映射成目标需要的空间位置，然后逆运动学和pd控制变成关节角度
  6. GenDexGrasp: Generalizable Dexterous Grasping
    1. (ICRA 2023)
    2. 没有用真手，hand-agnostic
    3. 可以参考https://www.zhihu.com/question/597646804?write
    4. 又学到一个新概念contact map(中文说接触面更容易理解)
    5. 方法
      1. 收集数据集MultiDex
      2. GenDexGrasp：将物体上的接触热力图(Contact Map)作为统计模型的表示，利用生成式模型(CVAE)生成在物体上合理的接触热力图。以当前与目标接触热力图上的差距作为优化目标，利用动态优化算法优化机械手关节旋转角参数，最终得到合理的抓握姿势。用一致距离度量接触热力
  7. 其它的过了一遍，总结一下：用真人辅助的比较多，我能用的也就GenDexGrasp这种了