基于FPGA的高效Swin Transformer加速器
摘要：针对Swin Transformer，提出了一种高效的基于FPGA的硬件加速器，通过使用不同的策略处理非线性计算并有效处理MAC计算，实现最佳加速结果。将LN替换为BN，并设计了适用于Softmax和GELU计算的硬件友好架构。此外，还设计了高效的矩阵乘法单元来处理Swin Transformer中的所有线性计算。与CPU和GPU相比，加速器在性能和能效方面都取得了显著的改进，是目前针对Swin Transformer最快的FPGA加速器。
作者：Zhiyang Liu, Pengyu Yin, Zhenhua Ren
论文ID：2308.13922
分类：Hardware Architecture
分类简称：cs.AR
提交时间：2023-08-29