使用强化学习在机器人中实现类似人的平衡控制策略

爱丁堡大学的研究人员开发了一种基于深度强化学习(RL)的分层框架，可以获得各种人形平衡控制策略。他们的框架在预先发布在arXiv上并在2017年人形机器人国际会议上发表的论文中概述，可以执行比传统控制器更像人类的平衡行为。

当站立或行走时，人类天生就能有效地使用许多技术来进行欠驱动控制，以帮助他们保持平衡。这些包括脚趾倾斜和脚跟滚动，从而创造更好的脚距离。复制类人机器人中的类似行为可以极大地改善其运动和运动能力。

“我们的研究重点是使用深度RL来解决人形机器人的动态运动，”负责该研究的爱丁堡大学机器人和控制讲师Zhibin Li博士告诉TechXplore。“在过去，运动主要是使用传统的分析方法 - 基于模型来完成的，因为它们需要人力和知识，并且需要高计算能力才能在线运行。”

需要较少的人力和手动调整，机器学习技术可以导致开发比传统工程方法更有效和特定的控制器。使用RL的另一个优点是这些工具的计算也可以离线外包，从而使高维控制系统(如人形机器人)的在线性能更快。

“鉴于越来越强大的深度RL算法，越来越多的研究开始使用深度RL来解决控制任务，因为最近在为连续作用域设计的深度RL算法方面的进展提出了应用强化学习连续控制任务的可能性这涉及复杂的动力学，“李博士解释说。“我们研究的主要目的是探索使用深度强化学习来获得与分析方法相当或更好的多样化控制策略的可能性，同时减少人力。”

李博士与Taku Komura博士和博士合作开发的框架。学生Chuanyu Yang，使用深RL来达到高层控制政策。这些策略不断接收机器人状态的反馈，从而以较低的频率实现所需的关节角度。

“在低级别，比例和微分(PD)控制器用于更高的控制频率，以保证稳定的关节运动，”博士。学生川宇说。“低水平PD控制器的输入是高级神经网络产生的所需关节角度，输出是关节电机所需的扭矩。”

研究人员测试了他们算法的性能并取得了非常有希望的结果。他们发现，将人类知识从控制工程方法转移到RL算法的奖励设计，可以实现类似人类使用的平衡控制策略。此外，随着RL算法通过反复试验过程得到改善，自动适应新情况，他们的框架几乎不需要人工调整或人工工程师的其他干预。

两足动物的状态特征。Yang，Komura&Li

“我们的研究表明，深层强化学习可以成为一个强大的工具，可以产生与人工设计的控制器相当的平衡结果，减少手动调整工作和缩短时间，”李博士说。“ 我们开发的深度强化学习算法甚至能够学习类似于人类的行为，例如倾斜脚趾或脚跟，这是大多数工程方法无法执行的。”

李博士和他的同事现在正致力于扩展他们的研究，在三维模拟中将RL应用于全身Valkyrie机器人。在这项新的研究工作中，他们能够将类似人类的平衡策略推广到步行和其他运动任务。

“最终，我们希望应用这种将机器学习和机器人控制结合到真人形机器人以及其他机器人平台的分层框架，”李博士说。