Shared Control【共享控制】-Controlling Assistive Robots with Learned Latent Actions

本博文介绍一篇2020年发表在IEEE Robotics & Automation Letters (RA-L) 和International Conference on Robotics and Automation (ICRA)上关于共享控制的文章。文章思路新颖，实现较为简单清晰，具有一定的启发性。

图1.方法流程示意图

一、动机

实际机器人（文中以机械臂为例）操控维度比人习惯的操纵维度（如手柄）要高很多。

二、思路

设计一个模型，通过学习一个包含（状态，动作）对的数据库，将高维动作空间映射映射到低维度动作空间。

三、贡献

• 公式化隐式动作的需求特性
  特性的目标主要是为了用户友好。 这包括可控性、一致性等，会在第五节详细介绍。
• 通过自编码器来学习隐式动作
  文中使用五种不同的自动编码器模型学习潜在动作。比较一下这些模型在我们期望的属性上的综合表现。发现以机器人的当前状态为条件的自动编码器，可以从人控制的、低自由度输入的动作精确重构高自由度机器人动作。
• 通过被试试验评估隐式动作

四、方法分类

本质上需要维护一个状态与动作相对应的数据库，实现监督学习，训练一个条件变分自编码器（cVAE）

五、方法介绍

这部分将介绍本文方法的问题定义以及具体实现

5.1 问题定义

文章在这部分首先介绍了问题背景，即视一个机械臂完成任务的过程为离散时间马尔可夫决策过程，但文中方法训练并未依赖任务与环境奖励。该部分同时列举了作者认为隐式动作（Latent actions）应具备的三个性质：

• 隐式可控（Latent Controllability）
  任意两个状态空间中的状态对可以通过一系列隐式动作来引导转移。
  

• 隐式一致（Latent Consistency）
  相近的隐式动作z会产生在相似状态s下的相似的高维动作
  这里使用特有的物理的测量量来衡量这一特性。例如，测量机器人末端执行器的姿态。 应用这个指标，一致的潜在动作应该满足:
  

• 隐式伸缩（Latent Scaling）
  施加大的隐式动作可以实现现实状态s的大幅变化。
  

5.2 模型

模型构建的思路可以由三部分推到，从自编码器AE——隐式动作标准化VAE——引入状态条件cVAE

5.2.1 AE

当用户使用低自由度的操纵杆输入时机器人完成一个高自由度动作。 文中使用autoencoders在这些低自由度和高自由度的动作空间之间转换。
将ψ: S ×A→Z定义为机器人的编码器
将φ0: Z→a定义为解码器，以Z为输入重建一个高自由度的机器人动作$\hat{a}$
为训练此AE引入第一个loss项

来比较输入高维与重建的机器人高维动作的相似度

5.2.2 VAE

当用户稍微倾斜时把操纵杆，机器人不要一下子倒了整个一杯水。为了更好地确保这种一致性（Latent Consistency）和可伸缩性（Latent Scaling），我们在模型的损失中加入了一个标准化函数，将Z引导为一个固定的具有一定期望与方差的分布
文中第二个loss将Z引导为一个标准正太分布

即将AE变为了变分自编码器VAE

5.2.3 cVAE

重要的是，文中提到人类操纵杆输入的意义通常取决于机器人正在做什么。当机器人拿着杯子，按下操纵杆表示机器人应该倒水;但是，当机器人的抓手是空的时候，就不是意味着机器人倒酒了!为了机器人可以将潜在的行为与实际动作的意义联系起来。定义φ:Z ×S→A作为一个解码器，现在z和s统一作为decoder的输入。
即由VAE变为了cVAE，c代表condition，本文中即为状态s。

图2.模型与Loss项

5.3 模型应用

经过训练后，操作者手动操控摇柄来实现低维的隐式动作，即Z，然后结合此刻状态感知量作为模型输入，模型即为上述训练模型中的decoder，输出即为机器人实际运动的高维动作。

图3.模型使用

算法流程和实现较为简单，流程截图如下就不另作翻译了

六、结果

文中通过仿真和实物训练来对比隐式动作与PCA和标准共享控制方法之间的对比

官网介绍

https://iliad.stanford.edu/blog/2019/11/12/controlling-assistive-robots-with-learned-latent-actions/

论文链接

https://ieeexplore.ieee.org/document/9197197

七、局限与未来展望

主要有两条局限：

• 无法应对数据集没有涉及的状态（本方法其实本质是一种模仿学习，主要问题就在于数据集无法覆盖所有情况）
• 操作者并没有表达出对于本文提出的算法的明显的偏好，即使他操作简单，性能更好

未来主要关注将隐式动作与标准控制方法结合，根据任务需要和操作者的意愿灵活切换。

今天的文章Shared Control【共享控制】-Controlling Assistive Robots with Learned Latent Actions分享到此就结束了，感谢您的阅读。