前向和反向基于梯度的超参数优化
摘要：使用两种方法（反向模式和正向模式）来计算任何迭代学习算法（如随机梯度下降）的超参数与验证误差之间的梯度。这些方法对应于计算循环神经网络梯度的两种方法，并且在运行时间和空间需求方面有不同的权衡。我们对反向模式的形式化与Maclaurin等人[2015]的先前工作相关联，但不需要可逆动力学。正向模式适用于实时超参数更新，可以显著加快在大型数据集上的超参数优化。我们通过数据清理和学习任务交互的实验展示了这些方法，并提供了一个使用以前基于梯度的方法是禁止的大规模实验。
作者：Luca Franceschi, Michele Donini, Paolo Frasconi, Massimiliano Pontil
论文ID：1703.01785
分类：Machine Learning
分类简称：stat.ML
提交时间：2017-12-13