DIFFTACTILE: A PHYSICS-BASED DIFFERENTIABLE TACTILE SIMULATOR FOR CONTACT-RICH ROBOTIC MANIPULATION

发表于 分类于

2夹，tactile，精细操作(其实也就4种)。(19/100)

阅读之前的问题

  1. 这个平台能将触觉传感器显示到什么程度
  2. 有没有force/torque相关的显示》好像没有力传感器
  3. 给一个物体施加力，它能感受到吗》
  4. 多材质模拟器🆗，材质会表现成什么样，传感器接收到什么效果
  5. 这个项目有完成什么任务，how to

no need 了解具体怎么实现这个的，只要知道怎么用，是否满足我的需求？

  1. 触觉反馈什么样
  2. 可以微分，这是什么概念
  3. 这篇论文(对我来说)重点从4开始的
  4. 有两组任务，触觉感应可以实现更安全、更具适应性的抓取，以处理水果等易碎物体。（哇）
  5. 四要素
    1. State
      1. 每个触觉传感器都表示为具有 N 个节点和 M 个四面体元素的 FEM 实体。
        1. 每个节点都是6D vector=(3 for position,3 for velocity)
        2. 每个元素联系从元素到其关联的四个节点的 4D 索引映射
      2. 基于 MPM 和基于 PBD 的对象都用粒子表示，同样，每个粒子 oi 也有一个 6D 状态向量 oi（t） = {pi（t）， vi（t）}。
    2. Observation
      1. 我们为每个仿真步骤 t 定义了两种类型的观察，即状态观察和触觉观察。
      2. 状态观察包括触觉传感器和物体的位姿 Ts（t）、To（t） 以及每个节点或粒子的状态 si（t）、oi（t）。
      3. 对于触觉观察，我们可以将传感器的表面三角形网格输出为变形图、传感器的表面力分布或聚合的三轴力矢量。
    3. action
      1. 在每个时间步 t 处，从控制器查询末端执行器（触觉传感器或带有运动链的夹爪到触觉传感器）的动作，表示为速度矢量 vs（t） = {∆Rs（t）， ∆ts（t）}，以更新 FEM 节点的速度。
    4. reward/loss
      1. 分为状态奖励和触觉奖励
  6. 4.5节grasping可能符合我的需求
    1. 我们评估了我们的模拟器在抓取具有各种对象属性（包括不同形状、大小、重量和材料属性）的物体方面的作用。如图 2 所示，我们从 EGAD数据集中选择了四个具有不同形状复杂性的物体，并为每个物体分配了两种不同的材料属性，即弹性和弹塑性。
      1. EGAD是什么数据集? 用于机器人操作的多样性和再现性的进化抓取分析数据集。貌似没有强调灵巧手，一时半会儿看不出来里面有什么，
      2. 图2的tactile view表示什么???
        1. 3.3 OPTICAL SIMULATION里面的
        2. 输入为表面法线和视角方向，输出为RGB像素值
        3. 用数据驱动的方法重建基于视觉的触觉传感器对接触的光学响应。​Tactile View 是触觉传感器物理变形的可视化表征，通过高保真光学模拟生成，为机器人提供接触几何、力学特性等密集反馈。
        4. 一句话解释就是用二维的RGB值表示处决信息
    2. 我们的目标是通过基于梯度的轨迹优化来稳定、自适应地抓取物体，以避免滑倒和损坏物体。在这里，我们使用两个触觉传感器作为指尖，并将它们安装在一个平行的钳口夹持器上。在每个轨迹中，抓手首先抓住物体，然后抬起它。根据我们的目标，我们定义了三种类型的损失目标
      1. 位置损失 Lpos：我们设定了一个 3D 目标位置，以便在lift后到达;
      2. 变形损失 Ldeform：我们的目标是利用物体的符号距离场和当前物体与目标物体之间质量分布的 L1 距离来惩罚变形，从而在抓取过程中保持物体的形状the L1 distance of the mass distribution between the current object and the target one
        1. 变形损失有两个：1是物体的sign distance field(SDF);2是 当前物体与目标物体之间的mass distribution的L1距离
        2. 只用第一个不够？（1只能看形状，2考虑内部）
      3. 滑移损失 Lslip：我们利用在指尖和物体之间检测到的剪切力来惩罚抓取过程中的滑移。
        1. slip是什么？摩擦力不足
        2. 剪切力(shear force)
    3. 我们根据三个指标评估有或没有触觉反馈的抓取情况。我们对这两种类型的对象都使用 Lpos，并且我们只对弹塑性对象使用 Ldeform。此外，我们测量物体相对于传感器的两组物体的滑移距离，滑移距离表示为 Dslip。我们在表 4 中表明，触觉反馈大大提高了抓取质量。
      1. elastoplastic 这个属性怎么附加到物体上的
      2. 怎么根据触觉反馈进行抓取来着，我怎么好想没看过
  7. 用触觉做操作是不是就用那个tactile view？
  8. 怎么给object设定材质的？

最终从这篇文章get到的

  1. 3.3节用图像表示传感器信息（虽然我没看懂怎么转换的）
  2. deform的loss设计：用到SDF和mass distribution
  3. 想做细微的操作离不开触觉传感器吧，只用视觉没法做-.-