机器学习加速器的调查和基准测试
摘要：多核处理器和加速器的进步为机器学习技术在各种应用中的探索和应用打开了大门。这些进步以及摩尔定律的倒退，促使了处理器和加速器的迅猛增长，承诺提供更强大的计算和机器学习能力。这些处理器和加速器以多种形式出现，从CPU和GPU到ASIC、FPGA和数据流加速器。本文对公开宣布的、具有性能和功耗数据的这些处理器和加速器的当前状态进行了调查。性能和功耗数值绘制在散点图上，并对该图的趋势进行了多维度和观察分析。例如，关于功耗、数值精度和推理与训练等方面有趣的趋势在图上展现出来。然后，我们选择并评估了两个商业上可用的低尺寸、重量和功耗(SWaP)加速器，因为这些处理器对于嵌入式和移动机器学习推理应用最为有趣，而这些应用最适用于DoD和其他受到SWaP限制的用户。我们通过实际图像和神经网络模型来确定它们的实际性能，将这些结果与报告的性能和功耗数值进行比较，并将其与一种在某些嵌入式应用中使用的Intel CPU进行评估。
作者：Albert Reuther, Peter Michaleas, Michael Jones, Vijay Gadepally, Siddharth Samsi and Jeremy Kepner
论文ID：1908.11348
分类：Performance
分类简称：cs.PF
提交时间：2019-12-03