面向安卓自动化测试工具综合评估

自动化测试工具是安卓应用质量保障的主要手段.随着安卓版本多样性、底层硬件差异性(碎片化)以及逻辑复杂性增加,自动化测试迎来新的挑战.为解决这些问题,近年来,业界开发出大量自动化测试工具.但是现有工具数量多,并且测试重点多样,测试人员选择工具时存在一定的困扰.为帮助测试人员选择最佳测试工具,实现对自动化测试工具的统一评估,提出了面向安卓自动化测试工具多特征综合评估方法(comprehensive evaluation of Android automated testing, CEAT),并将其实现为便于测试人员使用的平台. CEAT在引入测试领域广泛接受的3个评估指标,即代码覆盖率、异常检出率、融合多版本兼容度得分的基础上,进一步基于变异测试的思想引入变异杀死率,并从用户体验出发引入UI控件覆盖率.以上5个指标构成CEAT整个体系,从而实现安卓自动化测试工具的综合多维评估.为验证CEAT的效果,生成了1 089个变异应用的待测应用集,在包含6个移动设备的真机集群中部署实验,对5个自动化测试工具适配并执行5 040次测试任务.最终结果表明:i) 5个指标从不同角度对自动化测试工具进行评估,更加多维地反映不同工具的测试效果,验证了CEAT的有效性;ii) CEAT支持测试人员为5个指标分配不同的权重,根据实际测试需求得到综合评估结果,具有一定的灵活性;iii) CEAT可自动改造APP获得变异应用,同时为工具设置特定平台用于测试,操作具备简单性. CEAT可以有效地根据不同测试需求为测试人员选择最佳的安卓自动化测试工具提供参考依据.