基于自然语言需求的SCADE模型测试用例自动生成方法

随着安全关键软件规模和复杂性不断增加,模型驱动开发方法在安全关键领域得到了广泛应用。SCADE作为一种重要的建模方法和工具,能够表达确定性并发行为且具有精确时间语义等特性,适用于安全关键软件的建模、测试与验证。目前,已有方法主要采用手工方式构造SCADE模型测试用例,存在需求与测试用例不一致、成本代价高且容易出错的问题。文中提出了一种基于自然语言需求的SCADE模型测试用例自动生成方法。首先,给出了基于模型检测的测试用例自动生成方法,通过自然语言需求处理生成原子命题,用于生成前提假设Assume和观察者模型,同时给出了陷阱性质(Trap Properties)生成规则来生成陷阱性质用于模型检测;其次,给出了基于覆盖分析和变异测试的测试用例质量评估方法,并在SCADE模型上进行变异测试;最后,设计和实现了原型工具,并基于一个工业界案例飞行员弹射座椅控制系统进行了案例分析,验证了所提方法的有效性。

一种基于威胁模型的安全测试用例生成框架和工具

近年来,软件系统安全问题正引发越来越多的关注,系统存在的安全威胁容易被攻击者所利用,攻击者通常采用各种攻击技术诸如口令暴力破解、网络钓鱼、SQL注入等对系统进行攻击.威胁建模是一种结构化分析、识别并处理威胁的方法,传统的测试主要集中在测试代码缺陷,处于软件开发后期,不能很好地对接前期威胁建模分析成果以构建安全的软件,业界威胁建模工具缺少进一步生成安全测试的功能.为了应对此问题,提出一种从威胁模型生成安全测试用例的框架,并设计和实现工具原型.为了便于测试,对传统的攻击树模型进行改进,对构建的模型进行规范性检查,从该模型中可以自动生成测试线索.根据攻击节点发生概率对测试线索进行评估,优先检测概率较高的威胁的测试线索.对防御节点进行评估,选择收益性较高的防御方案缓解威胁,以改进系统安全设计.通过为攻击节点设置参数可以将测试线索转换成具体的测试用例.在软件开发早期阶段以威胁建模识别出的威胁作为输入,通过框架和工具可以生成测试,指导后续的安全开发和安全测试设计,将安全技术更好地嵌入到软件设计和开发之中.案例研究部分将该框架和工具运用于极高危风险的安全测试生成,并说明了其有效性.

基于元素树模型的GUI软件自动化测试用例生成

随着计算机技术飞速发展,软件行业展现出蓬勃的生机与活力,软件测试作为软件开发流程中不可或缺的一环,是软件质量保证的关键。但GUI软件的结构日益复杂,其手工测试也受限于人力资源、测试效率、测试成本等因素。因此,本文针对GUI软件自动化测试需求,对控件元素进行分类,提出一种元素树模型,用于测试用例生成,以实现自动化测试。通过实例证明该元素树模型可以增加自动化测试用例推荐的准确性,有效地节约测试成本和时间,为GUI软件自动化测试用例生成提供了可行的方法。

结合SVM与XGBoost的链式多路径覆盖测试用例生成

机器学习方法可很好地与软件测试相结合,增强测试效果,但少有学者将其运用于测试数据生成方面.为进一步提高测试数据生成效率,提出一种结合SVM(support vector machine)和XGBoost(extreme gradient boosting)的链式模型,并基于此模型借助遗传算法实现多路径测试数据生成.首先,利用一定样本训练若干个用于预测路径节点状态的子模型(SVM和XGBoost),通过子模型的预测精度值筛选最优子模型,并根据路径节点顺序将其依次链接,形成一个链式模型C-SVMXGBoost(chained SVM and XGBoost).在利用遗传算法生成测试用例时,使用训练好的链式模型代替插桩法获取测试数据覆盖路径(预测路径),寻找预测路径与目标路径相似的路径集,对存在相似路径集的预测路径进行插桩验证,获取精确路径,计算适应度值.在交叉变异过程中引入样本集中路径层级深度较大的优秀测试用例进行重用,生成覆盖目标路径的测试数据.最后,保留进化生成中产生的适应度较高的个体,更新链式模型C-SVMXGBoost,进一步提高测试效率.实验表明,C-SVMXGBoost较其他各对比链式模型更适合解决路径预测问题,可提高测试效率.并且通过与已有经典方法相比,所提方法在覆盖率上提高可达15%,平均进化代数也有所降低,在较大规模程序上其降低百分比可达65%.

面向MC/DC覆盖的白盒单元测试用例自动生成技术

在航空航天、医疗、交通等需要保证严格安全的领域,软件测试过程中通常需要利用修正条件判定覆盖(modified condition/decision coverage,MC/DC)替代传统覆盖准则,以此生成更高质量的测试用例。基于此,提出了一种面向MC/DC覆盖的白盒单元测试用例自动生成方案,该方案以MC/DC覆盖到分支覆盖的映射为理论依据,基于符号执行引擎KLEE和底层虚拟机(low-level virtual Machine,LLVM)基础技术框架设计了多款工具,从而自动生成满足测试代码MC/DC最高覆盖的测试用例,以此检测出由于设计导致的MC/DC无法达到100%覆盖的代码缺陷。

中文文本纠错软件测试用例的选择生成方法

针对目前尚无有效的中文文本纠错软件测试用例生成方法的情况,为了服务于软件纠错性能的测量并为软件提供优化方向,设计了一种面向多用户的、工程化的中文文本纠错软件测试用例选择生成方法(SGMT-CCS)。定义了两种不同的可供用户选择的用例评判标准:错误数量密度和错误种类密度。设计了三个模块:测试用例自动化生成模块、测试用例选择模块以及测试用例优先级排序模块。在SGMT-CCS中,用户可以:1)在测试用例自动化生成的过程中自定义错误最小间隔和用例集大小;2)在测试用例选择的过程中自定义错误最小间隔和期望值;3)在测试用例选择和优先级排序的过程中选择不同的用例评判标准进行自定义操作,以适应不同数据集的要求。实验结果表明,SGMT-CCS能够在较短的时间内获得有效的测试用例,选择模块实验在模拟的需求情况下都能满足用户自定义目标,优先级排序模块实验验证了相较于排序前,在不同评判标准下的不同时间段内都能有效提高测试效率。

基于有效状态覆盖的测试用例自动生成方法

为执行反应堆保护系统工厂测试阶段的确认测试,通常由测试工程师手动编写测试用例,耗费大量人力和时间成本,且可能出现错误、冗余或遗漏。该研究以保护系统确认测试中测试用例生成过程为研究对象,以功能图为依据,提出一种基于有效状态覆盖的测试用例自动生成方法。该方法以保护系统功能逻辑为约束,实现对模块功能和链路的有效状态覆盖,生成充分且高效的测试用例。实验表明,相比常用的测试用例生成方法,该研究提出的方法可在满足测试充分性的情况下尽可能减少用例数量,提高测试效率。

基于遗传算法与LightGBM融合的测试用例生成方法

随着互联网技术不断发展,各类商务软件功能需求不断增加,且其复杂性逐渐提高,软件的可靠性与安全性受到了越来越多的关注,软件测试是软件质量保障的关键技术。由于现代商务软件产品具有需求变化频繁、版本迭代过快等特点,为其手工编写测试用例会耗费大量人力成本,尤其敏捷开发过程中,回归测试等需要产生大量重复用例。采用机器学习技术,基于遗传算法和LightGBM模型,提出了一个测试用例自动生成模型,创新贡献表现在:①将测试步骤抽象为有向图模型,简化测试用例数据;②采用遗传算法求解有向图可达路径,替代人工生成测试路径;③采用LightGBM模型加快遗传算法收敛速度,实验验证了所提出方法的有效性,满足测试覆盖准则。该模型可减少测试人员工作,加快测试速度,对提升项目质量、加快项目进度具有重要意义。

基于众测操作记录的Web测试用例自动生成方法

众包测试是软件测试领域的一种新兴趋势,具有更加可靠、成本更低和效率更快的优点。但是由于众测工人专业水平不同,提交的测试用例报告缺乏规范性,为报告的审核、缺陷的复现都增加了困难。该文提出了一种通过众测工人的操作记录自动生成文本测试用例的新方法,并实现了该测试工具。首先,对测试工人的操作进行录制从而获取录制信息,录制信息可以划分为三大模块,包含静态页面信息、动态页面信息和交互信息;其次,通过深度优先遍历算法获取组件名称、组件类型、交互动作和交互数据,并按照众测工人的实际操作步骤生成测试序列;对于测试序列中存在组件名称匹配错误的问题,通过YOLOv5目标检测和OCR文字识别技术设计了n元组生成算法,用于生成组件名称与其选项的对应关系,并对匹配错误的组件名称进行自动修改;最后,通过自定义规则集将测试序列转换为文本测试用例。该方法自动生成统一规范的测试用例,降低了众测的门槛,提高了测试效率,并且有利于众测服务平台的质量评估工作。为了验证该方法的有效性,针对不同开发技术的Web系统进行了测试,并与目前最新版本的UFT,Selenium IDE和Katalon Recorder三款工具进行了对比。实验结果表明,该方法生成的测试用例在测试步骤完整性、测试用例信息完整性和时间性能方面具有较好的表现。

典型测试用例推荐与用例期望结果生成系统

测试领域在对公司产品质量的把控中至关重要,但不同测试人员在面向同一个测试产品时,会由于测试人员本身缺少经验以及对产品功能的不熟悉,导致测试不具备系统性和全面性;同时测试团队在长时间针对公司相关业务产品,或者开发人员在系统联试过程中,会形成大量具有典型意义的测试用例;但目前传统的做法并没有将该具有价值的测试用例深度分析;只是形成相关文档后汇总,就将该数据尘封;因此文章以典型测试用例为数据,以知识图谱为展现形式与存储形式,Bert实体提取为技术基础的推荐系统;根据用户输入,推荐出相关的典型测试用例;同时在某些行业,测试人员在实际工作业务中,需要花费大量时间对测试用例的输入和期望结果进行描述,形成正式文档用于保存记录;该系统可实现根据用例输入自动生成对应的期望结果,以提升测试人员的工作效率。

基于需求的自动化测试用例生成系统设计实现

本文提出了一种基于需求的自动化测试用例生成系统,该系统能够从需求文档、任务书和接口协议中自动提取信息,生成相应的测试用例。系统包括四个模块:测试计划库、测试用例库、测试记录库、软件问题库,均支持Excel格式的导入导出,同时支持上传包含多个Excel文件的ZIP压缩包,实现批量导入。

基于Web应用前端行为模型的测试用例生成

基于Web应用前端模型的测试用例生成是Web应用测试的重要过程,但现有的大多数针对Web应用的模型都只关注Web页面及其事件,忽略了事件触发条件和后续动作。为了更准确地描述现代Web应用程序的动态行为,文中定义了一种新的Web应用前端行为模型(Front-end Behavior Model, FBM)。由于模型中迁移的触发条件可能存在内部变量,即迁移之间存在依赖关系,使得生成的测试用例不能按照输入序列执行,从而影响测试效果。为此,提出了一种优化分组遗传算法来实现可执行迁移路径FTP的自动生成,该算法考虑FTP生成问题的特点,对染色体初始化和适应度函数做出合理的设计,加入修补算子调整个体长度生成了满足迁移覆盖的FTP,并且通过引入自适应的遗传算子和模拟退火接收机制来减少迭代次数,从而加快求解速度。实验结果表明,该算法能够在更高的求解效率的基础上有效保证迁移路径的可行性以及覆盖率。

基于依赖模型的REST接口测试用例生成方法研究

REST接口中普遍存在依赖关系,导致生成合理的接口调用序列与输入参数变得十分困难。现有的大多数方法只考虑了其中一种依赖关系,并需要人工执行繁杂的前置操作,生成的测试用例有效性仍然较低。针对以上问题,文中提出了一种基于依赖模型的测试用例生成方法。通过解析OpenAPI文档,该方法提取了接口内的操作间依赖关系与参数间依赖关系,并据此建立了两种依赖模型,从模型生成测试用例,最后从3方面确定测试预言。实验结果表明,该方法的输入度量覆盖率达到了100%,状态码类别、状态码、响应资源类型的覆盖率分别达到了100%,91.67%,83.33%,并能在限定时间内检出接口内部缺陷;与RESTler和RESTest相比,该方法的输出度量覆盖率最大提高了36%,触发了最多次的异常响应状态码,检测到接口异常响应的比例最大提高了10%。该方法为REST接口的测试用例生成问题提供了有价值的参考。

求解测试用例自动生成问题的多因子回溯搜索优化算法

路径覆盖测试用例自动生成(ATCG-PC)问题是自动化软件测试领域的热点。ATCG-PC问题中群智能进化算法常用的适应度函数之间具有高度的相似性,然而现有的解决ATCG-PC问题的群智能进化算法尚未考虑这一相似性特征。受相似性特征启发,将两个相似的适应度函数看作两个任务,从而将ATCG-PC问题转化为多任务ATCGPC问题,并提出了一种新的解决多任务ATCG-PC问题的群智能进化算法,即多因子回溯搜索优化算法(MFBSA)。所提算法通过多因子选择Ⅰ的记忆种群功能提高全局搜索能力,并通过选型记忆交配使得相似任务之间能够通过知识转移提高彼此的优化效率。在6个雾计算测试程序和6个自然语言处理测试程序上对所提算法性能进行了评价。与回溯搜索优化算法(BSA)、免疫遗传算法(IGA)、收敛速度控制器粒子群优化(PSO-CSC)算法、自适应粒子群优化(APSO)算法和超立方体差分进化(DE-H)算法相比,MFBSA覆盖12个测试程序上的路径所使用的测试用例总数分别减少了64.46%、66.64%、67.99%、74.15%和61.97%。实验结果表明,所提算法能够有效降低测试成本。

基于模型的软件测试用例生成方法比较研究

随着软件系统的规模和复杂度的增加,软件测试的自动化提上日程,软件测试用例的自动化生成成为降低测试成本的重要途径。模型检测技术和工具的出现,使得软件测试用例的生成更加自动化。本文对基于模型检测技术的测试用例自动生成方法进行评估,与传统的基于有限状态机(FSM)模型的测试用例自动生成方法进行比较,采用系统文献综述和可控实验的方法,进行定性和定量的比较分析。结果显示,基于模型检测技术的测试用例自动生成方法在自动化程度、测试覆盖率、测试成本等方面都具有优势,是一种可以应用和进一步研究的测试用例自动生成方案。

利用改进遗传算法的软件故障定位辅助测试用例生成方法

在软件故障自动化定位过程中,如果在给定的测试用例集合情况下故障在故障疑似度列表种排名不高,比较有效的方法为补充新的测试用例。如何在较小的代价下提升故障的可疑度排名是一项具有挑战的工作。提出一种基于改进遗传算法(IGA)的测试用例生成方法,利用软件故障定位的疑似故障排名,来辅助生成软件故障定位过程中的测试用例。依次对所提方法进行阐述和分析,在6个C程序和2个Python程序上开展实验,实验结果表明:所提方法自动生成的测试用例能够有效地帮助提高故障定位的效率。

中文文本纠错软件测试用例的最小化方法

针对目前尚未存在有效的中文文本纠错软件测试用例最小化方法的情况,设计了两种中文文本纠错软件测试用例集最小化方法:基于多目标遗传算法的中文文本纠错软件测试用例集最小化方法(Minimization Method based on Multi-objective Genetic Algorithm of Test case for Chinese text error Correction Software,MMG-CCS)和基于TextRank模型的中文文本纠错软件测试用例最小化方法(Minimization Method based on TextRank of Test case for Chinese text error Correction Software,MMT-CCS).MMG-CCS基于问题特点设计了一种中文文本纠错软件测试用例集覆盖度模型,并将测试用例集大小及覆盖度作为目标函数,为了高效求解该问题,MMG-CCS同时对遗传算子进行了改进.此外,MMT-CCS方法能将测试用例集最小化问题映射为图解问题,并根据问题特点对TextRank模型进行了针对性改进.实验结果表明,MMG-CCS和MMT-CCS对测试用例集的缩减程度高,且在不同中文文本纠错软件上对于不同中文文本纠错软件测试用例集均能保持相同的测试效果.

基于模型检测工具NuSMV的功能测试用例生成方法

对现今已有的基于模型检测的测试用例生成方法以及覆盖准则进行了研究,在此基础上设计一个基于模型检测工具Nu SMV生成功能测试用例的方法。首先,从被测系统状态图入手,经过抽象映射成Nu SMV支持的模型验证器(SMV)模型;其次,将测试覆盖标准以CTL时序逻辑公式给出,并设计出陷阱性质;最后,利用Nu SMV进行模型检测,自动获得反例集,在去除冗余后,自动生成能够满足变换覆盖和状态覆盖的功能测试用例集。实验结果表明,该方法能够生成满足变换覆盖和状态覆盖的功能测试用例集,与传统方法相比,减少了测试用例生成的工作量,简化了测试用例集。

基于安全策略模型的安全功能测试用例生成方法

实施第三方安全功能独立测试是信息安全产品测评中的一个重要环节,对于以安全数据库管理系统为代表的信息安全产品,其系统规约的测试并不能完全真实反映系统行为,还需要满足系统安全策略.提出了基于安全策略模型的安全功能测试用例自动生成方法,该方法包括基于语法的划分、基于规则的划分、基于类型的划分等步骤,依据形式化安全模型生成正确描述系统行为的操作测试用例集.该方法有助于提高测试质量,发现手工测试中难以发现的缺陷,并有助于减少测试过程中的重复劳动,实现测试自动化并提高测试效率.

基于UML活动图模型的测试用例生成技术研究

为了设计和生成系统工作流程的测试用例 ,引入测试大纲模型的概念 ,设计出从UML(UnifiedModelingLanguage)活动图模型到测试大纲模型 ,再到测试用例模型的三级转换过程和一组消除活动图模型中的非结构化特征、将其转化为模块化的测试大纲模型 ,以及把并发子过程实例化为一组典型测试场景的基本规则 .还研究了针对每一个输入操作 ,选择基本输入数据集 ,并将其赋予测试大纲模型之上 ,从而构造测试用例模型的方法 ,以及最终基于测试用例模型生成完备的测试用例集合的方法 .