面向深度神经网络的资源受限平台的性能景观
摘要：在最近几年中，已经开发了大量复杂的深度神经网络，用于各种应用，包括语音和人脸识别、医疗领域的计算机视觉、自动翻译、图像分类等。此外，越来越多地需要在资源受限的边缘设备上部署这些网络。随着这些模型的计算需求不断增加，将目标设备推向极限，观察到了针对这些工作负载开发新硬件系统的不断发展。由于这些多样化和复杂化平台的可编程性，以及新DNN模型的快速发展，是一个重大挑战，平台供应商已经开发了专为机器学习量身定制的SDK以最大化平台的性能。 本研究调查了一些现代商品嵌入式平台的性能，结合供应商提供的软件支持，当针对图像分类、目标检测和图像分割的最先进的DNN模型时，工作量量化了特定嵌入式平台的相对延迟增益，并提供了关于实现最大吞吐量所需的最小批次大小的见解，结果认为，即使对现代先进的DNN模型采用适度的批次大小，现代嵌入式系统也能够达到最大性能。总体而言，所呈现的结果为一些流行的嵌入式平台在图像分类、检测和分割领域上的一些最先进的DNN提供了预期性能指南。
作者：Panagiotis Miliadis, Christos-Savvas Bouganis, Dionisios Pnevmatikatos
论文ID：2107.10047
分类：Performance
分类简称：cs.PF
提交时间：2021-11-04