基于张量化支持向量机和最小二乘支持向量机的低秩多任务学习
摘要：多任务学习（MTL）利用任务相关性来增强性能。随着多模态数据的出现，任务现在可以通过多个索引来引用。在本文中，我们采用高阶张量，其中每个模态对应一个任务索引，以自然地表示通过多个索引引用的任务，并保留它们的结构关系。基于这种表示，我们提出了一种使用张量化支持向量机（SVM）和最小二乘支持向量机（LSSVM）的低秩MTL方法的通用框架，其中CP分解被部署在系数张量上。我们的方法允许通过由任务特定因子加权的共享因子的线性组合来建模任务关系，并推广到分类和回归问题。通过交替优化方案和Lagrange函数，每个子问题被转化为一个凸问题，在对偶形式中被表述为二次规划问题或线性系统。与先前的MTL框架相比，我们对偶中的决策函数引出了一个加权核函数，其中包含由任务特定因子的相似性所表征的任务耦合项，更好地揭示了MTL中任务之间的明确关系。实验结果验证了我们提出的方法相比MTL中现有的最先进方法的有效性和优越性。代码实现将在https://github.com/liujiani0216/TSVM-MTL上提供。
作者：Jiani Liu, Qinghua Tao, Ce Zhu, Yipeng Liu, Xiaolin Huang, Johan A.K. Suykens
论文ID：2308.16056
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-31