Uber ATG开源Neuropod DL 推理引擎

Rideshare巨头Uber继续探索深度学习的潜力，以提供更安全，更可靠的自动驾驶技术。本周，Uber高级技术小组（ATG）发布了Neuropod，这是一个开放源代码库，它提供了一个统一的接口，用于从C ++和Python的多个框架中运行深度学习（DL）模型。

Uber ATG高级自主工程师Vivek Panyam在公司博客中写道：“随着我们的自动驾驶软件的发展，我们一直在寻找改善模型的新方法，有时这意味着尝试不同的深度学习框架。”

在过去的几年中，Uber ATG研究人员使用了诸如Caffe2，TensorFlow，PyTorch和TorchScript之类的DL框架，他们还希望尝试新的开源框架，例如JAX，Trax，Flax，Haiku和RLax。

尽管尝试新框架非常简单，但实际上在所有系统和流程中为新的DL框架添加生产支持非常耗时，Uber开发了Neuropod来简化该流程。Neuropod充当现有深度学习框架之上的抽象层，为运行不同的DL模型提供统一的界面。

每个Neuropod模型都实现问题定义-对问题的正式描述，供模型解决。结果，解决相同问题的任何模型即使使用不同的框架也可以互换。现有模型可以包装在Neuropod软件包中，该软件包包含原始模型以及元数据，测试数据和自定义操作（如果有）。

自2019年初内部发布以来，已在Uber ATG，Uber AI和Uber核心业务中部署了数百种Neuropod模型-包括需求预测模型，乘车预计到达时间（ETA）预测模型，Uber Eats菜单转录，以及自动驾驶汽车的对象检测模型。

该公司表示，Neuropod使研究人员可以轻松地在他们选择的框架内构建模型，同时还可以简化这些模型的产品电离。Neuropod当前支持TensorFlow，PyTorch，TorchScript和Keras。