替代损失函数能够提升人工神经网络的性能
摘要：机器学习算法使用损失、成本、效用或奖励函数来编码学习目标并监督学习过程。这个监督学习的函数是一个常常被忽视的超参数，它决定了如何惩罚错误的输出，并可以进行调整以提高性能。本文表明，神经网络的训练速度和最终准确性可能会极大地依赖于用于训练神经网络的损失函数。特别是，在不同的损失函数情况下，导数值可能会有显著不同，从而导致梯度下降的反向传播（BP）训练后性能显著不同。本文探讨了相对于流行的交叉熵损失在惩罚错误输出方面更加自由或严格的新损失函数对性能的影响。提出了八个新的损失函数，并对不同损失函数的性能进行了比较。这篇论文中提出的新损失函数在计算机视觉和自然语言处理基准测试中表现出优于交叉熵损失的性能。
作者：Mathew Mithra Noel, Arindam Banerjee, Geraldine Bessie Amali D
论文ID：2303.09935
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2023-03-20