通过文本和涂鸦搜索移动应用屏幕
摘要：使用现有仓库的搜索特定移动应用程序屏幕受到基本关键字搜索的限制，如Google图像搜索，或者需要完整的查询屏幕图像，如Swire的情况。然而，基于部分草图的交互式解决方案（如PSDoodle）存在精度和无法考虑屏幕上出现的文本的局限性。一种可能有效的解决方案是实现一个系统，提供交互式部分草图功能，用于有效构建用户界面元素。此外，该系统应该结合文本查询，进一步提升其功能。我们的方法TpD，是通过结合交互式草图和关键字搜索技术来实现屏幕的迭代搜索的开创性努力。TpD基于Rico仓库（约58k个安卓应用屏幕）和PSDoodle的组合构建而成。我们与第三方软件开发人员的评估表明，与最先进的Swire相比，PSDoodle提供了更高的前10个屏幕检索准确性，并且查询所需的时间更短于其他交互式解决方案。
作者：Soumik Mohian, Christoph Csallner
论文ID：2305.06165
分类：Information Retrieval
分类简称：cs.IR
提交时间：2023-05-15