张量微积分简化黑塞和高阶导数的链式规则

摘要:计算矩阵式表达式的多元导数以紧凑且无坐标的方式对于理论和应用计算(如优化和机器学习)都非常重要。这样计算的关键组成部分是导数的链式法则和乘法法则。虽然它们在简单场景中早早地被教授,但在实际应用中涉及高维数组;在这种情况下,很难找到易于理解和紧凑的解释。本文讨论了如何基于张量的概念(简化为应用计算机科学中的形式)相对简单地进行这样的导数推导。文中提供了现代Python库的数值示例。这个讨论简化和说明了Manton(2012)的早期论述。

作者:Maciej Skorski

论文ID:1911.13292

分类:Symbolic Computation

分类简称:cs.SC

提交时间:2019-12-02

PDF 下载: 英文版 中文版pdf翻译中