DexGraspNet

发表于 分类于

DexGraspNet，灵巧抓取数据集，我需要用它的数据辅助我的机械臂面对物体生成抓取姿态(dof)然后配置torchSDF的时候失败

复现

quick_example

  1. 根据要求
    1. conda create -n simpletest python=3.7
    2. conda activate simpletest
    3. conda install pytorch cpuonly -c pytorch
    4. conda install ipykernel
    5. conda install transforms3d 提示PackagesNotFoundError
      1. conda config --append channels conda-forge
      2. 再conda install transforms3d试试
      3. 但是用forge之后下载其它的会比较慢，用完之后还是删除吧
        1. conda config --show channels 列出所有频道
        2. conda config --remove channels NOT_WANTED
      4. 刚看到一个更好的解决方案：conda config --append channels conda-forge这样默认的还是在第一个
    6. conda install trimesh 要添加forge channel，很慢
    7. pip install pyyaml
    8. pip install lxml
    9. cd thirdparty/pytorch_kinematics
    10. pip install -e .
  2. quick_example是随机选结果来可视化的。
  3. 可视化包含
    1. hand_file，随便机械臂
    2. grasp_code 定位到一个物体 ->grasp_data 对一个物体的抓取（多种方式）
    3. grasp_data[index]里包含qpos和scale，scale是物体的scale
  4. 搞到genesis上
    1. hand模型
      1. 一些微妙的问题，这个xml模型不能直接导入，在mujoco里试了下提示unknown mesh file type
        1. 先看看genesis支持的mesh type是？支持mesh file=xxx.obj啊
        2. gs view DexGraspNet的shadow hand xml问题
          1. DexGraspNet的shadow hand文件从哪来的
          2. 提交issue
        3. qpos倒是可以引入genesis，就是对应顺序有点鬼畜，DexGraspNet给的LFJ4对应little_finger_joint1，以此类推，另外6个参数先不用管
  5. 进阶版
    1. conda create -n dexgraspnet python=3.7 # isaac requires python < 3.9
    2. conda activate dexgraspnet
    3. 用cuda安装pytorch，要求pytorch 1.10 cudatoolkit 11.3
      1. 尝试 conda install pytorch==1.10.0 cudatoolkit=11.3 -c pytorch
    4. conda install pytorch3d
    5. conda install transforms3d
    6. conda install trimesh
    7. conda install plotly
    8. pip install urdf_parser_py
    9. pip install scipy
    10. pip install networkx # soft dependency for trimesh
    11. conda install rtree
    12. cd DexGraspNet/thirdparty git clone https://github.com/wrc042/TorchSDF.git cd TorchSDF git checkout 0.1.0 bash install.sh出现问题，无法import torch 尝试conda install mkl==2024.0，然后又报错，我怀疑是这个系统有问题 卡在这里

不知道有没有时间完善这个了，感觉不行，试试docker？有点困难

感觉这个失败了啊，耗时3.5天，emm