用户界面的永无止境学习
摘要：通过机器学习模型，我们可以预测用户界面(UI)的语义信息，从而使应用程序更易于访问、更易于测试和自动化。目前，大多数模型依赖于由人类众包工作者进行收集和标记的数据集，这个过程对于某些任务来说既费时又容易出错。例如，可以通过屏幕截图(即基于视觉标志符)或可能不可靠的元数据(例如视图层次结构)来猜测UI元素是否可点击，但要确切地知道的一种方法是通过编程点击UI元素并观察效果。我们构建了永不停止的UI学习器，这是一个应用程序爬虫，它可以自动从移动应用商店安装真实的应用程序并对其进行爬取，以发现新的和具有挑战性的训练示例。永不停止的UI学习器已经爬取了5000多台设备小时，在6000个应用程序上执行了超过50万个动作，以训练三个计算机视觉模型，分别是i)可点击性预测，ii)可拖动性预测和iii)屏幕相似度。
作者：Jason Wu, Rebecca Krosnick, Eldon Schoop, Amanda Swearngin, Jeffrey P. Bigham, Jeffrey Nichols
论文ID：2308.08726
分类：Human-Computer Interaction
分类简称：cs.HC
提交时间：2023-08-21