基于文字识别与页面布局的APP控件识别算法

在移动应用的开发周期中,使用图形用户界面(GUI)自动化测试技术可提高APP的开发测试效率。针对基于录制回放的GUI自动化测试方法存在不适用黑盒测试场景或识别正确率较低等不足,提出基于图像文字识别和应用页面布局的控件识别算法。根据移动应用的页面布局结构和手势操作坐标精确识别控件,采用控件树遍历的方式解决遍历过程中的页面布局重叠问题。分别在Android和iOS2个平台进行实验,结果表明,与基于坐标和源代码的控件识别算法相比,该控件识别算法具有更高的正确率。

基于图像识别的移动端应用控件检测方法

为解决在浮窗等页面和控件重叠场景下,目前移动端应用常用的自动化测试技术无法准确识别待测控件的问题,基于计算机视觉和目标检测技术,提出一种新的移动端应用控件识别方法,将控件识别任务变换为目标检测任务。其次,采集应用的交互界面并标注其中的待测控件位置及类型,并使用多种主流目标检测模型在该数据集上进行训练和验证。最后,实现目标检测结果至Appium测试脚本的自动转换,使得基于目标检测技术的测试工具完全自动化运行成为可能。实验表明,所提方法可以有效识别待测控件,体现了对应用运行平台(Android/iOS)的鲁棒性,最高可取得0.634的平均精度均值(mAP)。

一种软件输入容错处理正确性的检测方法

介绍一种检测软件非法输入处理正确性的方法,采用类编译原理技术,分析源代码词法语法,获取源代码中的输入类控件信息。对输入类控件进行识别,找出未对非法情况进行处理的控件。该方法能检测软件是否对非法输入进行处理,帮助软件开发人员、测试人员发现软件漏洞,提高软件质量。

一种OpenHarmony操作系统的UI界面自动化测试方法

基于最新发布的OpenHarmony 3.1 Release版本提出了一种OpenHarmony操作系统UI界面自动化测试与控制方法,包括如何获得OpenHarmony的UI界面截图及控件对象信息,如何在OpenHarmony上模拟点击、滑动、按键等操作用于控制设备自动化测试。