ChatGPT自动文本到操作的增强现实维修任务
摘要：操作和维护任务中的增强现实 (AR) 和大型语言模型如GPT在各个领域取得了显著进展，并且越来越多地被应用于不同领域中。其中之一就是在操作和维护领域中的应用。操作和维护任务通常涉及复杂的程序和顺序，对于初学者或在高压情况下来说，记忆和正确执行这些程序可能是困难的。通过将虚拟物体与物理世界相结合，并使用GPT生成类似人类的文本，我们可以彻底改变操作和维护操作。本研究介绍了一个结合了增强现实、光学字符识别 (OCR) 和GPT语言模型的系统，以优化用户在操作和维护任务中的表现，同时提供可信的交互并减轻工作负荷。该系统通过Unity游戏引擎提供一个交互式虚拟环境，促进虚拟和物理现实之间的无缝交互。通过进行一个案例研究 (N=15) 来说明研究结果和回答研究问题。结果表明，使用我们提出的增强现实和人工智能系统，用户可以在更短的时间内完成类似具有挑战性的任务。此外，收集的数据还显示，使用增强现实和人工智能系统执行相同操作时，认知负荷减轻，信任感增加。
作者：Fang Xu, Tri Nguyen, Jing Du
论文ID：2307.03351
分类：Human-Computer Interaction
分类简称：cs.HC
提交时间：2023-07-10