英伟达在首个MLPerf推理基准测试中名列前茅

MLPerf联盟的第一个基准测试结果已经发布，Nvidia显然是推理性能的赢家。

对于那些不知道的人，推理采用深度学习模型并处理传入的数据，但是经过训练。

MLPerf是一个联盟，旨在为推理性能提供“公平且有用的”标准化基准。可以将MLPerf视为推断SPEC在基准测试CPU和总体系统性能方面所做的工作。

该联盟已经发布了首个基准测试结果，这是一项艰苦的工作，涉及30多家公司以及200多名工程师和从业人员。MLPerf的首次征集征集活动导致对14个公司和44个系统进行了600多次测量。 

但是，对于数据中心推断，只有四个处理器在商业上可用：

• 英特尔至强P9282
• 哈瓦那·戈雅（Habana Goya）
• 谷歌TPUv3
• Nvidia图灵

Nvidia毫不犹豫地在服务器和离线情况下击败各种神经网络中的其他三个处理器击败其他三个处理器：

在这种情况下，英伟达再次凭借其Titan RTX GPU在每个处理器上拥有最佳性能。尽管使用8个Intel Skylake处理器提交了2倍的Google Cloud TPU v3-8，但其性能却与使用4枚Titan RTX卡的SCAN 3XS DBP T496X2 Fluid相似（65,431.40 vs. 66,250.40输入/秒）。

NVIDIA总经理兼加速计算副总裁Ian Buck说：

“人工智能正处于转折点，因为它已从研究迅速迁移到实际应用的大规模部署。

AI推理是一个巨大的计算挑战。NVIDIA将业界最先进的可编程加速器，CUDA-X AI算法套件以及我们在AI计算方面的深厚专业知识相结合，可以帮助数据中心部署庞大且不断增长的复杂AI模型。”

但是，值得注意的是，Titan RTX不支持ECC内存，因此尽管具有出色的性能，但这种遗漏可能会阻止它在某些数据中心中的使用。

将Cloud TPU结果与Nvidia进行比较时，另一个有趣的收获是从脱机到服务器方案的性能差异。

• 离线Google Cloud TPU v3：32,716.00
• Google Cloud TPU v3服务器：16,014.29
• Nvidia SCAN 3XS DBP T496X2离线流体：66,250.40
• Nvidia SCAN 3XS DBP T496X2流体服务器：60,030.57

如您所见，在服务器方案中使用时，Cloud TPU系统性能降低了一半以上。相比之下，SCAN 3XS DBP T496X2流体系统性能仅下降约10％。