通过期望最大化法估计两个线性回归的混合系数
摘要：使用期望最大化（EM）算法估计对称混合两线性回归的系数，我们提供公约束条件，确保算法收敛。特别地，我们证明了经验EM迭代在参数速率下收敛于目标参数向量，条件是算法在一个无界锥体中初始化。具体来说，如果初始猜测与目标参数向量的余弦角足够大，样本分割版本的EM算法在高概率下收敛于真实的系数向量。有趣的是，我们的分析借鉴了解决用EM算法估计两个高斯混合的中心问题的工具。我们还证明，如果输入向量与目标参数向量之间的余弦角太小，对于两个回归混合的全局EM算子是从目标参数向量反收缩的，从而建立了我们锥体条件的必要性。最后，我们给出了支持这个理论观察的实证证据，这表明当初始猜测按相应分布生成时，基于样本的EM算法的性能不佳。我们的模拟研究还表明，即使在模型错误规范化下（即，当协变量和误差分布违反模型假设时），EM算法的表现也良好。
作者：Jason M. Klusowski and Dana Yang and W. D. Brinda
论文ID：1704.08231
分类：Machine Learning
分类简称：stat.ML
提交时间：2018-10-17