帮助自动驾驶汽车转弯

自动驾驶汽车有一天可以使用该系统来避免与另一辆汽车或行人从建筑物拐角处或停放的汽车之间出现的潜在碰撞。将来，可能会在医院走廊上导航以制作药物或运送物品的机器人可以使用该系统来避免打人。

在下周举行的国际智能机器人与系统国际会议（IROS）上发表的一篇论文中，研究人员描述了在停车场周围驾驶自动驾驶汽车和在走廊上驾驶自动轮椅的成功实验。当感应并停下驶近的车辆时，这种基于汽车的系统击败了传统的LiDAR（后者只能检测可见物体）超过了半秒。

研究人员说，这看起来似乎不多，但是在快速移动的自动驾驶汽车上却占了几分之一秒。

“对于机器人在周围有其他移动物体或人的环境中移动的应用程序，我们的方法可以向机器人发出预警，提醒有人即将来临，因此车辆可以减速，调整其路径并事先做好准备以避免共同作者，计算机科学和人工智能实验室（CSAIL）主任以及电机工程和计算机科学的Andrew and Erna Viterbi教授合着。“最大的梦想是为在街上快速行驶的车辆提供各种’X射线视觉’。”

当前，该系统仅在室内设置中进行了测试。在室内，机器人的速度要低得多，照明条件也更加一致，这使系统更容易检测和分析阴影。

与Rus一起发表在论文上的有：第一作者Felix Naser SM ’19，前CSAIL研究员；CSAIL研究生Alexander Amini；CSAIL博士后Igor Gilitschenski；刚毕业的克里斯蒂娜·廖19岁；丰田研究院的Guy Rosman；麻省理工学院航空与航天专业副教授Sertac Karaman。

扩展ShadowCam

对于他们的工作，研究人员建立在他们称为“ ShadowCam”的系统上，该系统使用计算机视觉技术来检测和分类地面阴影的变化。麻省理工学院的教授威廉·弗里曼（William Freeman）和安东尼奥·托拉尔巴（Antonio Torralba）并非IROS论文的合著者，他们合作开发了该系统的早期版本，该版本在2017年和2018年的会议上进行了介绍。

对于输入，ShadowCam使用来自摄像机的视频帧序列，这些摄像机针对特定区域，例如拐角处的地板。它可以检测不同图像之间光强度随时间的变化，这可能表明某些物体在移开或靠近。这些变化中的某些变化可能很难检测到，或者用肉眼看不见，并且可以通过物体和环境的各种特性来确定。ShadowCam计算该信息，并将每个图像分类为包含静止的对象或动态的运动对象。如果它变成动态图像，它会做出相应的反应。

使ShadowCam适应自动驾驶汽车需要一些进步。例如，早期版本依赖于用称为“ AprilTags”的增强现实标签来衬砌区域，该标签类似于简化的QR码。机器人扫描AprilTags来检测和计算相对于标签的精确3D位置和方向。ShadowCam将标签用作环境的特征，以在可能包含阴影的特定像素补丁上归零。但是，使用AprilTags修改现实环境是不切实际的。

研究人员开发了一种结合了图像配准和新的视觉测距技术的新颖方法。图像配准通常在计算机视觉中使用，本质上会覆盖多个图像，以显示图像中的变化。例如，医学图像配准与医学扫描重叠，以比较和分析解剖学差异。

用于火星漫游者的视觉测距法通过分析图像序列中的姿势和几何形状来实时估算相机的运动。研究人员专门采用“直接稀疏测距法”（DSO），它可以在类似于AprilTags捕获的环境中计算特征点。本质上，DSO在3D点云上绘制环境的特征，然后计算机视觉管线仅选择位于感兴趣区域（例如拐角处的地板）的特征。（感兴趣的区域是事先手动注释的。）

由于ShadowCam会获取感兴趣区域的输入图像序列，因此它使用DSO图像配准方法来覆盖机器人同一视点上的所有图像。即使机器人在移动，它也可以将阴影精确定位在相同的像素点上，以帮助其检测图像之间的细微偏差。

接下来是信号放大，这是第一篇论文中介绍的技术。可能包含阴影的像素的颜色增强，从而降低了信噪比。这使得来自阴影变化的极其微弱的信号更容易被检测到。如果增强信号达到某个阈值（部分基于其与附近其他阴影的偏离程度），则ShadowCam将图像分类为“动态”。根据该信号的强度，系统可能会告诉机器人减速或停止。

“通过检测到该信号，您可以小心。纳瑟说：“这可能是某些人从拐角处跑来跑去的影子或停着的汽车，因此自动驾驶汽车可能会减速或完全停止。”

无标签测试

在一项测试中，研究人员使用AprilTags和新的基于DSO的方法评估了系统在对移动或静止物体进行分类方面的性能。当人们将拐角变成轮椅的路径时，自动轮椅转向各个走廊的拐角。两种方法都达到了相同的70％分类准确度，这表明不再需要AprilTags。

在另一项测试中，研究人员在停车场的自动驾驶汽车中安装了ShadowCam，该汽车的前大灯被关闭，模仿了夜间驾驶条件。他们将汽车检测时间与LiDAR进行了比较。在一个示例场景中，ShadowCam检测到汽车绕柱转弯的速度比LiDAR快0.72秒。此外，由于研究人员已针对ShadowCam专门针对车库的照明条件进行了调整，因此该系统的分类精度约为86％。

接下来，研究人员正在进一步开发该系统，以在不同的室内和室外照明条件下工作。将来，可能还会有一些方法可以加快系统的阴影检测速度，并自动为阴影感应标注目标区域的过程。