Generative Artificial Intelligence in Robotic Manipulation: A Survey

发表于 更新于 分类于

(16/100)

what i want to get

  1. 了解其所描述的通用机器人操作是否和我想的一样：qpos of robot
  2. 找里面有没有我想要的数据集：text-guided robotic video task
  3. 只要看dexterous部分

综述论文看得好累。(/100)。粗略看了一遍味同嚼蜡，我还是需要看更多的论文，先满足需求：找dexterous相关。

论文说了什么

看了一遍之后大致了解将ai in robotic manipulation分成好几层

what i need

正文

  1. 在正文中检索dexterous
    1. ISAGrasp [78] 提出通过对应感知生成模型进行隐式形状增强抓取，以推断人类对灵巧作的演示 no dataset
      1. FOUNDATION LAYER,data generation,Data Augmentation using Generative Model part
      2. 用于证明：扩散模型通常用于修改或编辑纹理和形状以执行增强过程。
    2. 除了纯粹的机器人抓取之外，Wu等[192]将VAE的用途扩展到人类抓取的产生，重点关注全身交互。 不符合dexterous手抓取，pass
      1. POLICY LAYER,Grasp Generation，VAE-based methods.
      2. 该模型采用条件 VAE （CVAE） 共同生成静态抓取姿势和详细的接触图。
      3. 这种集成能够合成逼真和多样化的全身抓取动作，捕捉灵巧的手指运动和全身动态。
    3. 在灵巧抓取的背景下，Zhao et al. [194] 提出的 CVAE 框架预测每个手指的单独接触图，利用这些详细的表示来优化抓取配置。Wu等[195]将基于VAE的采样与双层优化相结合，以应对多样性和物理可行性的双重挑战。从 VAE 中采样初始抓取配置，捕获多模态抓取分布。然后，这些示例将构建一个双层优化框架，该框架强制执行碰撞避免、扳手闭合和摩擦稳定性等约束。总体而言，将 VAE 集成到抓取综合中强调了它们通过嵌入特定于任务的约束和利用潜在变量建模来有效捕获机器人和人类抓取任务的多模态和不确定性的能力。
      1. POLICY LAYER,Grasp Generation，VAE-based methods.
    4. 上述工作主要将扩散模型应用于两指抓取任务，而最近的研究也广泛探索了使用多指末端执行器（包括灵巧的手）进行抓取。具体来说，Weng et al. [188] 使用基于去噪扩散概率模型 （DDPM） 的条件扩散模型来生成对部分点云的灵巧抓取。他们进一步利用Mayer等[200]进行质量评估，并采用改进策略来提高成功率。Zhang等[189]还使用DDPM在杂乱的场景中生成灵巧的抓取姿势，而条件基于从场景中提取的局部特征，目标是代表手腕姿势的12D向量，结合了平移和扁平旋转矩阵。为了将该方法推广到不同的硬件设备，Freiberg 等人 [64] 提出了一种使用等变扩散模型的抓取不可知的抓取方法，该方法对具有可抓取物体的场景进行编码，并通过集成抓手几何来解码抓取姿势，展示了从平行下颚到灵巧手的多个抓手的泛化性。
      1. OLICY LAYER,Grasp Generation，Diffusion-based methods.
  2. 根据引用找对应的参考文献，问：是否有数据集。记录在其它log里面了

引用

  1. 引用中检索dexterous，还有什么已经漏掉的？

看综述不能纯从头都尾看，先确定需求。这篇综述的重点在于将目前的研究按照ai的用法分成几个部分，然后对用法进行分析，因为是用法所以有点太深奥了。