让虚拟现实中的对话代理发声
摘要：通过虚拟现实中的多模态和沉浸式互动，可以极大地提升与会话代理的对话体验。在本文中，我们提出了一个开源框架，旨在简化在虚拟环境中运行的会话代理的开发。该框架提供了插入不同域的会话代理以及添加自定义或基于云的语音转文本和文本转语音模型以实现基于语音的交互的可能性。利用这个架构，我们在Unity中开发了两个在数字健康领域运行的会话原型，适用于非沉浸式显示和VR头显。
作者：Michele Yin, Gabriel Roccabruna, Abhinav Azad, Giuseppe Riccardi
论文ID：2308.02665
分类：Artificial Intelligence
分类简称：cs.AI
提交时间：2023-08-08