自动微分并非系统发生梯度计算的灵丹妙药
摘要：概率模型似然对其参数的梯度在现代计算统计学和机器学习中至关重要。通过在通用的机器学习库（如 TensorFlow 和 PyTorch）中实施的自动微分，可以轻松地计算出任意模型的梯度。尽管这些库经过了高度优化，但还不清楚它们的通用性是否会限制它们在系统发生学案例中相对于特定于系统发生学的代码的算法复杂性或实现速度。在本文中，我们比较了系统发生学似然函数的六种梯度实现，单独和作为变分推理过程的一部分。我们发现，尽管自动微分可以近似线性地扩展到树的规模，但它比为树的似然和比率转换操作精心实施的梯度计算要慢得多。我们得出结论，将系统发生学库与机器学习库相结合将为提供速度和模型灵活性的最佳组合。
作者：Mathieu Fourment, Christiaan J. Swanepoel, Jared G. Galloway, Xiang Ji, Karthik Gangavarapu, Marc A. Suchard, Frederick A. Matsen IV
论文ID：2211.02168
分类：Populations and Evolution
分类简称：q-bio.PE
提交时间：2023-06-06