隐函数的高效自动微分
摘要：基于导数的算法在统计学，机器学习和应用数学中普遍存在。自动微分提供了一种算法方式，可以从执行相关函数的计算机程序中高效地计算这些导数。然而，对于包含隐函数（如代数或微分方程的解）的程序实施自动微分需要特别注意。当代应用通常采用隐函数定理的应用，或者在某些情况下采用专门的伴随方法。在本文中，我们展示了这两种方法如何推广到任何隐函数，尽管广义伴随方法通常对于自动微分更为有效。为了展示这两种方法的相对优势和局限性，我们在一套常见的隐函数上演示了它们的应用。
作者：Charles C. Margossian, Michael Betancourt
论文ID：2112.14217
分类：Computation
分类简称：stat.CO
提交时间：2022-03-01