MetRoBERTa：利用传统客户关系管理数据发展一种具备公交主题意识的语言模型
摘要：通过乘客的反馈，包括乘客调查、客户关系管理渠道和最近的社交媒体，对公交机构来说至关重要，以更好地衡量其服务和举措的有效性。要通过这些反馈在各种工具中获得对乘客体验的全面理解通常是具有挑战性的，主要是由于文本反馈的开放性和非结构化性质。在本文中，我们提出利用传统的公交客户关系管理反馈来开发和部署一个能够将开放式文本反馈分类到相关的公交专题的大型语言模型（LLM）。首先，我们利用半监督学习来构建一个训练数据集，其中包含6年间提供给华盛顿都会区交通局（WMATA）的顾客反馈中检测到的11个广泛的公交主题。然后，我们使用这个数据集来训练并深入评估一个基于RoBERTa架构的语言模型。我们将我们的LLM，MetRoBERTa，与基于关键词和词汇表表示的经典机器学习方法进行比较。我们的模型在所有评估指标上都表现出色，提供了平均主题分类准确率达到90\%。最后，我们提供了这项工作的价值主张，展示了语言模型和其他文本处理工具如何应用于为Twitter等开放式文本反馈来源添加结构。我们提出的框架和结果为自动化、可推广的方法提供了一个路径，以实现规模化地摄取、可视化和报告公交乘客的反馈，从而使机构能够更好地了解和改善客户体验。
作者：Michael Leong, Awad Abdelhalim, Jude Ha, Dianne Patterson, Gabriel L. Pincus, Anthony B. Harris, Michael Eichler, Jinhua Zhao
论文ID：2308.05012
分类：Artificial Intelligence
分类简称：cs.AI
提交时间：2023-08-10