多目标学习中的三方交换：优化、泛化和冲突避免
摘要：多目标学习（MOL）问题通常在新兴的机器学习问题中出现，当存在多个学习标准或多个学习任务时。最近的研究已经开发出了各种针对MOL的动态加权算法，如MGDA及其变种，其核心思想是找到一个更新方向，以避免目标之间的冲突。尽管其吸引人的直觉，经验证明动态加权方法并不总是优于静态方法。为了理解这种理论与实践之间的差距，我们关注MGDA的一种新的随机变体 - 基于动态加权的多目标梯度和双抽样（MoDo）算法，并通过算法稳定性的视角研究动态加权的MoDo算法的泛化性能及其与优化的相互作用。令人惊讶的是，我们发现MGDA背后的关键原理 - 沿着避免冲突的方向进行更新 - 可能会阻碍动态加权算法达到最优的${cal O}(1 / sqrt{n})$种群风险，其中$n$是训练样本的数量。我们进一步展示了动态权重在优化、泛化和冲突避免之间的三方权衡的可变性，这在MOL中是独特的。
作者：Lisha Chen, Heshan Fernando, Yiming Ying, Tianyi Chen
论文ID：2305.20057
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-15