面向移动应用自动化测试的同构用户界面视觉判断方法

当前快速增长的移动应用程序迫切需求自动化测试技术以保证其质量。移动应用的自动化测试与其图形用户界面(GUI)的识别与判断紧密相关,但移动应用却通常存在大量的样式与内容有差异而结构与功能相类似的同构GUI。在自动化测试中,同构GUI容易引发应用状态空间的爆炸问题,进而导致测试的低效或失败。针对传统自动化识别同构GUI的局限性,提出一种基于视觉特征信息的GUI相似度判断方法。通过目标检测技术识别GUI组件元素进而抽象出GUI结构框架;采用卷积自编码器提取出GUI结构视觉特征;对比GUI视觉特征的相似度完成同构GUI判断。经过实验验证,所提方法能够屏蔽GUI的样式、内容等影响,从而更精确地完成同构GUI识别,优化自动化测试效率。