基于数据变异的神经网络测试用例选择方法

深度神经网络目前已被广泛应用于自动驾驶、医疗诊断、语音识别、人脸识别等安全攸关领域,因此深度神经网络测试对于保证其质量非常关键.然而,为判断DNN模型预测是否正确而对测试用例进行标注的成本很高.因此,筛选出能够揭示DNN模型错误行为的测试用例并优先对其进行标注,能够尽快修复模型缺陷,从而提升DNN测试的效率、保证DNN模型质量.提出一种基于数据变异的测试用例选择方法DMS.该方法设计并实现数据变异算子生成变异模型,以模拟模型缺陷并捕获测试用例揭错时的动态模式,从而评估测试用例的揭错能力.在25个深度学习测试集和模型的组合上进行实验,结果表明,无论是筛选出的样本中揭错用例的比例还是揭错方向的多样性,DMS都要显著优于现有的测试用例选择方法.具体来说,以原始测试集作为候选集时,在选择10%的测试用例时,DMS能够筛选出候选集中53.85%–99.22%的揭错用例,在选择5%的测试用例时,DMS筛选出的测试用例已经几乎能覆盖所有的揭错方向.相较于8种对比方法,DMS平均多找出12.38%–71.81%的揭错用例,证明了DMS在测试用例选择任务中的显著有效性.

回归测试用例选择技术研究综述

回归测试用例选择(Regression Test Case Selection,RTS)问题是回归测试研究中的一个热点,旨在从已有测试用例集中选择出所有可检测代码修改的测试用例。但迄今为止,国内研究人员并未对RTS问题的已有研究成果进行系统总结和比较。首先在回归测试活动和测试用例划分基础上,引出RTS问题和相关假设。随后从源代码和模型角度对已有RTS技术进行分类,从源代码角度出发,又进一步将其细分为线性规划法、数据流分析法、图遍历法、程序切片法和防火墙法等。接着对常见评测数据集和评测指标进行总结,最后对该问题的未来研究方向进行了展望。

构件软件回归测试用例选择策略

软构件技术虽被广泛应用于软件系统的开发中,但其测试问题并未得到很好地解决.系统构建者对外部提供的构件内部结构及其变更信息缺乏了解,很难选择出与构件变更相关的用例用于下一轮的测试.分析已有回归测试技术的不足,提出了两种改进的回归测试策略一种是基于增强的构件版本变更信息的方法;另一种则是基于内建式测试设计的方法.通过对几个实例程序的实验分析,初步证实了所提出的方法在实际应用中的可行性与有效性.

划分测试用例选择的风险决策方法

研究了划分测试中划分方案确定情形下,如何在各个子域中合理选择测试用例问题。在充分利用测试者对待测软件导致错误输入分布信息了解的基础上,提出了一种基于风险决策的测试用例选择模型,给出测试用例选择的期望风险准则,并证明了该方法选择的测试用例集具有较高的缺陷检测能力。最后采用蒙特卡罗方法进行仿真模拟,结果表明该方法明显优于划分测试用例的其他选择策略。

基于运行剖面的测试用例选择改进算法

首先,阐述了软件测试标准的相关概念,揭示了测试标准在获取测试需求中的作用;然后,在分析测试用例启发式选择算法的基础上,结合实例给出了算法在保证需求覆盖率以及减少测试用例方面的优势;同时,根据算法存在的不足,提出一种基于软件运行剖面的测试用例改进算法——T estSelection算法,分析了该算法的可行性及有效性;最后,对基于运行剖面的测试用例生成及选择技术进行了展望。

基于函数调用路径的回归测试用例选择排序方法研究

针对在回归测试过程中,因为不断修复软件中存在的缺陷所造成的测试工作量大、测试效率低等问题,将测试用例选择与优先级排序技术相结合,以面向函数调用的路径覆盖生成方法为基础,提出了一种面向函数调用路径(functions calling path,FCP)的测试用例选择与排序方法。根据函数调用关系图,对程序中被修改函数与其他函数的关联性进行分析,从初始测试用例集中选择测试用例,形成回归测试用例集;然后对这些测试用例进行优先级排序,并动态地调整优先级排序结果;最后对优先级排序结果进行再次选择,确定最小的回归测试用例集。实验结果表明,测试用例选择与排序方法对优化回归测试用例是有效的,大大减少了回归测试用例数量,降低了回归测试成本。

基于正交试验设计的测试用例选择方法

随着传感器技术的发展,运行在各种移动设备上的上下文感知应用也迅速增加。这些应用软件不断地捕获移动设备周围的环境信息作为上下文,然后自动地调整设备的状态来适应上下文的变化。然而它们适应的过程中可能会由于触发了错误的适应规则而出错,因此,对这些上下文感知应用进行测试是保证其发展的至关重要的先决条件。由于上下文状态的多样性,在设计测试用例的时候可能会存在组合爆炸问题。论文了提出了一种基于正交试验设计的测试用例选择方法,并开发了一个普通的上下文感知应用来证明该方法对测试用例选择的有效性。此外,该文还对实验数据进行分析来展现该方法所特有的错误定位能力。实验结果表明,该方法不仅能够有效地选择出高效的测试用例,而且还能够利用这些测试用例来定位一个上下文感知应用的程序错误。

面向错误定位的基于分支聚类的测试用例选择方法

已有的面向错误定位的测试用例选择方法大多数仅考虑了测试用例的语句覆盖信息,不能为错误定位选择合适的测试用例,从而导致不能有效提高错误定位的准确性。针对这一问题,提出了一种新的测试用例选择方法。文中方法分析了测试用例的执行路径信息,根据测试用例动态执行时的分支特征,采用分支聚类方法对测试用例进行选择。实验表明,提出的方法可以有效减少测试用例数量,降低错误定位的复杂度,并提高错误定位的准确性。

一种提高错误定位效率的测试用例选择方法

为提高错误定位的效率,提出了多种测试用例约简与选择的方法,然而,过度的约简与不适的选择造成了部分测试信息丢失,引起了错误定位有效性的损失。本文提出了一种相似测试用例选择方法,用以约简测试集。该方法能消除偶然测试用例对错误定位准确性造成的偏差,通过为每个失败测试用例选择执行轨迹与其相似的成功测试用例的方式,最大限度地保留测试的全部信息;基于选择出的测试用例信息,利用已有的错误定位方法输出程序语句的可疑值列表。以Siemens程序集作为实验对象,证明了本文测试用例选择方法能显著提高错误定位的有效性。

基于半监督聚类方法的测试用例选择技术

回归测试的目的是保证软件修改后没有引入新的错误。但是随着软件的演化,回归测试用例集不断增大,为了控制成本,回归测试用例选择技术应运而生。近年来,聚类分析技术被运用到回归测试用例选择问题中。将半监督学习引入到聚类技术中,提出了判别型半监督K-means聚类方法(Discriminative Semi-supervised K-means clustering Method,DSKM)。该方法从回归测试的历史执行记录中挖掘出隐藏的成对约束信息,同时利用大量的无标签样本和少量的有标签样本进行学习,优化聚类的结果,并进一步优化测试用例选择的结果。实验表明,相对于ConstrainedKmeans方法和SSKM方法,DSKM方法能够更好地提高约简率并保持覆盖率。

多准则优化的规模约束型测试用例选择

软件修改之后可以重新测试之前的所有用例来发现错误,但是这种方法耗费巨大,为了减少测试用例数量,优化测试工作,本文提出了一种全新的用例选择方法,即从现有的测试用例集中挑选一定数量的用例并进行重新排序。该方法塑造了一个线性规划问题,采用两个代码覆盖准则并放宽约束来发现接近最优方案的用例,然后对这些用例使用投票机制获得最优用例集,最后采用最大化最小覆盖的贪心算法进行迭代排序。实验表明在大部分案例中,新方法的性能相比现有方法有显著的改进,而且一致性更好。

基于交叉熵方法的测试用例选择策略

基于交叉熵方法提出了一种启发式划分测试用例选择策略。该策略在待测软件参数已知的条件下,以总的测试费用最小为目的,利用交叉熵方法通过调整各个子域中测试用例选择的概率来选择测试用例。

基于反馈结果的测试用例选择策略

测试用例的质量决定了软件测试的成本和有效性。本文提出了一种基于反馈结果的测试用例选择策略,该策略类似于测试用例集约简,能以较小的代价选择出查错能力较强的测试用例。执行每组测试用例,得到每组的查错率作为结果,而后依据该结果产生一个反馈结果集来对测试用例进行重新分组,直到当其中有分组的查错率达到设定的比例。

基于运行剖面的测试用例分配与选择方法

基于运行剖面的测试是在软件实际运行中找出高发生率失效的测试方法,但其不适用于已排除高发生率失效而可靠性要求较高的系统。为此,对传统的运行剖面测试技术进行改进,提出一种基于运行剖面的测试用例分配与选择方法。利用自适应的重要性抽样方法在每次迭代中动态改变测试用例的概率,并根据测试结果进行自动调整,选择更有效率的测试用例,以提高测试的有效性和软件的可靠性。针对5个子域的测试用例的分析结果验证了该方法的有效性。

回归测试用例优化选择研究综述

回归测试是软件生命周期中一项频繁进行且又开销巨大的测试过程。回归测试用例的优化选择是为了达到良好的回归测试覆盖率,提高回归测试效率。首先对测试用例优化选择研究的背景和基本概念进行介绍,然后对当前的研究工作现状和进展进行了全面而深入的综述,同时对比分析了各种优化算法适用的环境和实验研究结果,进一步指出了目前研究成果中存在的不足和对H算法的改进思路及设想,为后续研究改进算法工作的展开奠定了基础,最后对该领域内值得进一步研究的问题进行了讨论。

基于AspectJ的面向方面自动化选择测试用例算法研究

为了对面向方面软件进行自动化测试,本文对面向方面软件自动化选择测试用例进行研究。通过对引入案例进行分析,提出面向方面软件自动化测试框架及自动化选择测试用例算法,并实现了自动化选择测试用例系统。实验结果在案例中的应用表明文中提出的算法及开发的自动化测试工具在面向方面系统中有一定的实用价值,并且在一定程度上提高了测试效率。

测试用例演化研究进展

由于功能增加、性能调优、错误修复等原因,软件常常动态演化.现有测试技术难以满足软件演化过程中变化的测试需求,因此需要系统的测试用例演化技术,以有效保障演化软件的质量.回顾测试用例演化技术的研究现状,分别对测试用例选择、测试用例修复和测试用例集扩增这3部分内容进行了详细的比较和分析.最后提出测试用例演化技术领域存在的挑战和未来的研究方向.

持续集成测试用例集优化综述研究

基于互联网的软件开发要求产品快速迭代,同时保持产品的质量,其关键的环节就是持续集成.持续集成通过自动化测试来保证集成到主干的代码质量.持续集成时的测试用例选择是一个非常有挑战性的问题.如果运行所有的测试用例,需要消耗大量的计算资源,并造成测试反馈周期过长.如果选择的测试用例集不合适,又不足以覆盖必要的测试代码以保证待集成代码的质量.持续集成测试用例集优化的目的是平衡测试资源和测试质量,在尽可能不影响测试质量的情况下,减少持续集成的资源需求.对近年来国内外学者在该领域的研究工作进行了系统的分析、提炼和总结.为此,首先从研究主题、影响因子、研究方法、研究对象以及性能评价等方面提出5个研究问题;然后从电子文献数据库搜索最近10年的研究工作,经过仔细审查和筛选后选择39篇文献作为研究对象;最后,从选择文献中收集数据,通过定量分析和可视化展示来回答提出的研究问题.总的来说,回顾了持续集成测试用例集优化的研究进展,为该领域的研究者提供了一些有用的发现,并总结了面临的问题和挑战.

文档转换器变更影响分析与测试用例优化方法

针对办公文档功能点数量繁多、测试用例集庞大、回归测试重复工作量大的问题,提出了一种文档转换器回归测试用例优化选择方法。对利用可扩展式样单语言转换(extensible stylesheet language transformation,XSLT)技术来实现不同文档格式间转换的转换器,提出通过创建测试功能点和转换器式样单模板的映射关系,对转换器两个版本的XSLT式样单进行变更分析,提取变更影响域信息并映射到具体测试功能点,回归测试基于变更功能点选择测试用例。实验表明,基于XSLT式样单变更域信息选择转换器测试用例的方法在保障测试充分性的同时,可显著减少回归测试用例的数量,提高测试效率,这对转换器的回归测试工作有启发意义和实用价值。

基于传统H算法改进的回归测试用例优化算法

回归测试用例的优化选择是为了达到良好的回归测试覆盖率,提高回归测试效率。根据回归测试用例优化问题的性质和自身条件,针对五种经典传统启发式算法存在的不足,论述了如何改进传统H算法得到回归测试用例优化选择的局部更优解,并给出了算法的框架、程序、结构流程及具体实现。最后,通过大量算法分析和实例研究对改进后的H算法和其它算法求得的子集总代价进行对比,结果表明:新算法比传统经典算法和目前流行的一些智能算法能求得更优的解,证明了算法的可行性。