对于多模态情感分析的对比性知识注入：ConKI
摘要：对于多模态情感分析，利用多模态信号来检测发言者的情感。以往的方法集中于基于预训练模型获取的通用知识进行多模态融合和表示学习，忽视了领域特定知识的影响。本文提出了一种名为Contrastive Knowledge Injection（ConKI）的方法，用于多模态情感分析。在这种方法中，可以通过适配器结构进行知识注入，学习每种模态的特定知识表示和通用知识表示。此外，ConKI使用分层对比学习过程，在每个模态内的知识类型之间、各样本之间的模态之间以及各个样本之间执行对比学习，以促进所提出表示的有效学习，从而改进多模态情感预测。在三个常见的多模态情感分析基准测试上的实验证明，ConKI在各种性能指标上优于之前的方法。
作者：Yakun Yu, Mingjun Zhao, Shi-ang Qi, Feiran Sun, Baoxun Wang, Weidong Guo, Xiaoli Wang, Lei Yang, Di Niu
论文ID：2306.15796
分类：Artificial Intelligence
分类简称：cs.AI
提交时间：2023-06-29