Google的AI教机器人如何看狗运动

谷歌研究人员开发的AI系统，从动物的动作学会给机器人更大的灵活性，揭示了一个预印纸和博客文章本周公布。合著者认为，他们的方法可以促进机器人的发展，该机器人可以完成现实世界中的任务，例如在多层仓库和履行中心之间运输物料。

团队的框架捕获了动物（在本例中为狗）的运动捕捉片段，并使用强化学习（一种训练技术，刺激软件代理通过奖励来完成目标）来训练控制策略。他们说，为系统提供不同的参考动作，使研究人员能够“教”四腿的Unitree Laikago机器人执行一系列行为，从快速行走（每小时最高2.6英里的速度）到跳跃。

为了验证他们的方法，研究人员首先汇编了具有各种技能的真狗的数据集。（训练主要是在物理模拟中进行的，因此可以精确地跟踪参考运动的姿势。）然后，通过在奖励函数中使用不同的运动（描述了行为者的行为方式），研究人员进行了大约200次训练百万采样一个模拟机器人来模仿运动技能。

但是模拟器通常仅提供真实世界的粗略近似。为了解决这个问题，研究人员采用了一种自适应技术，该技术可以随机化模拟中的动力学，例如改变物理量，例如机器人的质量和摩擦力。这些值使用编码器映射到数字表示形式（即编码），该数字表示形式作为输入传递到机器人控制策略。在将策略部署到实际的机器人时，研究人员删除了编码器，并直接搜索了一组变量，这些变量使机器人能够成功执行技能。

该团队说，他们能够在大约50个试验中使用不到8分钟的真实数据来使策略适应实际情况。此外，他们证明了真实世界的机器人学会了模仿狗的各种动作，包括起搏和小跑，以及艺术家动画的关键帧动作，例如动态的跳转。

“我们证明，通过利用参考运动数据，一种基于学习的方法能够自动合成控制器，以实现腿式机器人的各种行为。”该论文的合著者写道。“通过将有效的领域自适应样本技术整合到培训过程中，我们的系统能够学习模拟中的自适应策略，然后可以快速将其应用于实际部署中。”

控制策略不是完美的-由于算法和硬件的限制，它无法学习高度动态的行为（例如大的跳跃和奔跑），并且不如最佳的手动设计控制器那样稳定。（在5种情节中，每种方法总共进行15次试验，在起搏6秒后，向后小跑5秒后，旋转9秒和跳转10秒后，现实世界的机器人平均摔倒了。）留给未来的工作来提高控制器的鲁棒性，并开发可以从其他运动数据源（例如视频剪辑）中学习的框架。