逻辑回归和惩罚逻辑回归的参数扩展ECME算法
摘要：逻辑回归中的参数估计是一个经过充分研究的问题，牛顿-拉夫逊方法是实践中最常用的优化技术之一。一些单调优化方法，包括最小化最大化（MM）算法、期望最大化（EM）算法和相关的变分贝叶斯方法，提供了一系列有用的替代方案，可以保证在每次迭代中增加逻辑回归似然函数。在本文中，我们提出了一种改进的逻辑回归EM算法的修改版本，可以在保持EM的单调性和EM参数更新的简单性的同时显著提高计算效率。通过引入一个额外的潜在参数，并选择此参数以在每次迭代中最大化受惩罚的观测数据对数似然函数，我们的迭代算法可以解释为参数扩展的期望条件最大化（ECME）算法，并且我们演示了如何使用任意选择的权重和惩罚函数来使用参数扩展的ECME。此外，我们描述了我们的参数扩展的ECME算法的广义版本，可以针对特定高维问题中遇到的挑战进行定制，并研究了该广义算法与其他知名方法之间的几个有趣的联系。使用一系列基于真实和合成数据集的模拟研究，我们展示了我们的方法、EM算法和其他几种优化方法之间的性能比较。
作者：Nicholas C. Henderson and Zhongzhe Ouyang
论文ID：2304.03904
分类：Computation
分类简称：stat.CO
提交时间：2023-04-11