蜕变测试技术综述

蜕变测试作为一种新兴的软件测试技术,近年来得到蓬勃发展,并成功应用于多个领域。文章系统地梳理了自2016年以来蜕变测试技术的相关研究工作。首先,介绍了蜕变测试技术的基本概念、原理及其具体实施过程。其次,阐述了蜕变关系的研究现状,并在此基础上总结出6种蜕变关系模式,为测试人员识别有效的蜕变关系提供了思路和参考。再次,从不同角度汇总了蜕变测试在各个领域的应用。最后,对蜕变测试技术未来的发展方向进行了展望。

蜕变测试研究进展及其在并行程序测试中的研究展望

在软件测试过程中,待测程序的预期输出是判断软件是否存在缺陷的重要因素.蜕变测试技术是利用被测软件的属性来检查程序输出,从而有效地解决程序预期输出难以构造的问题.近年来,蜕变测试在软件测试领域取得了蓬勃的发展,许多研究人员将蜕变测试技术进行优化,将其运用到各个领域,有效提高了软件质量.从原理、过程及其优化,应用领域3个方面,总结蜕变测试的研究工作,着重分析了近5年的研究进展,进一步展望了蜕变测试用于并行程序时,可能的研究主题.首先,介绍蜕变测试的基本概念和蜕变测试过程;接着,从蜕变关系、测试用例、测试执行过程以及蜕变测试工具4个角度,总结蜕变测试优化技术;然后,汇总了蜕变测试的应用领域;最后,基于已有研究成果,讨论蜕变测试在并行程序测试领域面临的问题,为蜕变技术在并行程序测试领域的研究提供可能的思路.

基于浮点计算程序的复合蜕变测试方法研究

IEEE754标准下的浮点数在计算时总是伴随着舍入,增加了浮点计算结果不精确甚至出现异常的可能性,并且在实际应用中,无论采用什么样的计算方法、设置多高的精度,都无法完全避免浮点计算异常对计算结果的干扰。论文提出用蜕变测试技术来测试遥测数据处理程序中遇到的这种不可测的FPC程序,针对这类FPC程序的特征构造复合蜕变关系来缓解Oracle问题,以此提高浮点计算的准确性,进一步确保软件的可靠性。

蜕变测试技术综述

软件测试是一种重要的、不可缺少的软件质量保证技术,用于发现和纠正软件中存在的缺陷和错误,但在很多情况下待测程序的预期输出难以确定。蜕变测试技术通过检查程序的多个执行结果之间的关系来测试程序,可以有效地解决上述问题。经过近十年的研究,蜕变测试技术已经在测试过程的优化、与其他验证或测试方法的结合等方面取得了巨大的进展,并被广泛地应用于各个领域中。对当前蜕变测试技术的研究进行了综述,针对已有方法的不足之处,对未来的研究方向进行了展望,包括蜕变测试充分性研究、实用蜕变关系构造技术、实用原始测试用例选取技术、新型软件中蜕变测试技术的研究、蜕变测试工具的开发等。

关于蜕变测试和特殊用例测试的实例研究(英文)

提出了基于蜕变测试方法的集成测试环境MTest,进而为检验蜕变测试方法的能力和效率,以稀疏矩阵乘法程序为例设计了一组实验.该实验基于变异分析技术,分别以mutationscore和错误发现率为度量指标,定量地分析和对比了特殊用例测试,以特殊测试用例和随机测试用例为源测试用例的蜕变测试这3种方法的测试能力和效率.该实验可在MTest测试环境下自动完成.实验结果表明,蜕变测试与特殊用例测试之间是互补的,而且就蜕变测试的源测试用例而言,随机测试用例在测试能力和效率上优于特殊测试用例.

基于程序路径分析的有效蜕变测试

蜕变测试对于预期输出难以构造的程序是实用和高效的.作者在系统研究已有蜕变测试方法和路径分析技术的基础上,首先针对使用二元蜕变关系的测试提出了一组蜕变测试准则,以在多个不同的层次上定义蜕变测试用例集的充分性;然后给出了3种能够生成相应测试用例集的算法;最后通过变异分析的方法证实这些算法的有效性.实验结果表明,蜕变关系和测试准则的选取直接影响到测试的效果,另外,使用蜕变关系全路径覆盖可满足性算法(APCEMST)可以快速准确地发现待测程序中的错误,而生成的测试用例的数量却比传统技术要少.

坡度坡向量算程序蜕变测试方法

坡度、坡向量算是地理信息系统的主要功能之一。然而,由于截断误差、舍入误差以及误差传播的影响,导致测试判定难以获取。基于此,提出将蜕变测试应用于坡度、坡向量算程序的测试中,通过分析坡度、坡向量算程序功能的几何属性、数值计算特性以及具体实现算法等提出蜕变关系,并通过分析蜕变关系的适用范围,形成坡度坡向量算程序蜕变测试方法。最后,通过实例研究,验证了提出的蜕变关系在消除不同类型变异方面的有效性。实验结果表明,该方法可有效解决坡度、坡向量算程序的测试判定问题,同时也为解决地理信息系统中其他空间度量程序的测试判定问题提供了借鉴,进一步拓展了蜕变测试技术的应用范围。

基于基准题的中子扩散程序蜕变测试验证方法

基准题计算是核电设计与安全分析软件验证测试的主要方式之一,但其存在研制成本高、周期长、题量少的问题。本文针对中子扩散程序提出一种新型测试方法,即以基准题作为原始测试用例,依据物理模型蕴含的蜕变关系,生成衍生测试用例,进行蜕变测试验证。实例表明该方法不但可扩充基准题数量,还能提高测试的充分性,是一种很有应用前景的验证测试方法。

面向服务软件的蜕变测试方法

在面向服务软件的测试过程中,由于在服务发现之前不可知的交互对象和同一个服务可能会有不同实现,往往出现程序执行结果不能提前预知的Oracle问题。为了有效地解决面向服务软件测试中的Oracle问题,基于面向服务架构(SOA)的特点,提出将蜕变测试方法用于面向服务软件的单元测试和集成测试过程中,依据面向服务软件每个服务的自身性质构造蜕变关系,设计蜕变测试类执行测试用例并验证蜕变关系是否保持,如果蜕变关系被违反了,则发现和报告缺陷,从而有效地支持面向服务软件的测试。

基于蜕变测试的热传导程序的验证测试研究

核电设计与分析软件的数值计算程序的验证测试过程,受制于代码中数值算法执行的正确性,但存在Oracle问题,即测试人员很难构造或者得到程序的预期输出来验证程序计算结果是否正确。蜕变测试无需程序预期值来验证结果,已应用于软件测试领域,其蜕变关系是关键。本文应用蜕变测试技术,以堆芯燃料元件热传导程序为例,从数值计算模型中导出蜕变关系,实例初步验证该蜕变关系的有效性,也表明蜕变测试技术可以在核电设计与分析软件验证测试中发挥作用。

基于蜕变测试的区块链智能合约漏洞检测方法

针对现有测试方法的缺陷,提出了一种基于蜕变测试的区块链智能合约漏洞检测方法,其能针对区块链智能合约中具体的功能生成针对性的测试用例,从而检测区块链智能合约中存在的漏洞。针对可能出现的安全漏洞,设计了不同的蜕变关系并进行蜕变测试。通过验证源测试用例和后续测试用例之间是否满足蜕变关系,判断智能合约是否存在相关的安全漏洞。实验结果表明,所提方法可以有效地检测出智能合约中存在的安全漏洞。

蜕变测试在机器学习领域的应用

机器学习的普遍应用引起了人们对其信任度的关注,利用蜕变测试技术研究机器学习程序质量逐步成为软件测试领域的研究热点之一。为了对蜕变测试技术在机器学习领域的应用相关研究工作进行总体评价,并对蜕变测试技术进行了一些展望,首先,通过筛选得到多篇文献并对研究主题进行了分类,梳理了近年来蜕变测试在机器学习领域的应用和发展概况;其次,从应用场景、蜕变关系识别、蜕变测试度量和蜕变测试框架等方面分别对蜕变测试进行分析和讨论;最后,展望了蜕变测试在机器学习领域应用的未来研究热点。

空间分析程序的蜕变测试框架

本文针对GIS空间分析程序特点,提出了一套由原始测试用例生成、蜕变关系构造、测试结果判定和测试充分性判定等组成的集成化的适用于空间分析程序的蜕变测试框架,并且给出了每个组成部分的实现方法,具有很好的实践意义。

基于蜕变测试的点燃耗程序验证研究

由于核素数量庞大,并且存在短半衰期核素和闭环燃耗链,难以构造预期输出,点燃耗程序验证面对测试预言问题。这使得高度依赖于测试预言的传统测试方法不可用,甚至无效。蜕变测试虽然是解决测试预言问题一种有效方法,因蜕变关系难以识别,因此尚未能在核设计软件验证中广泛应用。在分析燃耗计算物理性质的基础上,识别蜕变关系,并将蜕变测试应用于点燃耗程序的验证。实验表明在没有测试预言的情况下,通过比较程序的多次输出,蜕变测试能有效地检测出程序缺陷。此外,即使原始程序以及TTA检测失效,蜕变测试仍然揭示了代码缺陷。本研究为蜕变测试在核设计领域的应用提供有益参考。

旅行商问题求解程序的蜕变测试研究

随着计算机硬件运算性能的不断提升和分布式算法的应用,通过计算机进行求解复杂的数学问题变得可能。近些年,大数据、智能算法的兴起,计算机求解复杂的数学问题的速度和效果越来越成熟,相关的算法也成为一些软件的核心部分,测试实现这些算法的复杂程序的实现是否正确成为一个难点,也是当前的研究热点。以旅行商问题为例,构建了问题模型的蜕变关系,研究了蜕变测试的逻辑和实现,并通过变异分析测试蜕变关系的有效性,最后分析了不同蜕变关系检错的效能。

面向神经机器翻译系统的多粒度蜕变测试

机器翻译是利用计算机将一种自然语言转换成另一种自然语言的任务,是人工智能领域研究的热点问题之一.近年来,随着深度学习的发展,基于序列到序列结构的神经机器翻译模型在多种语言对的翻译任务上都取得了超过统计机器翻译模型的效果,并被广泛应用于商用翻译系统中.虽然商用翻译系统的实际应用效果直观表明了神经机器翻译模型性能有很大的提升,但如何系统地评估其翻译质量仍是一项具有挑战性的工作.一方面,若基于参考译文评估翻译效果,其高质量参考译文的获取成本非常高;另一方面,与统计机器翻译模型相比,神经机器翻译模型存在更显著的鲁棒性问题,然而还没有探讨神经机器翻译模型鲁棒性的相关研究.面对上述挑战,提出了一种基于蜕变测试的多粒度测试框架,用于在没有参考译文的情况下评估神经机器翻译系统的翻译质量及其翻译鲁棒性.该测试框架首先在句子粒度、短语粒度和单词粒度上分别对源语句进行替换,然后将源语句和替换后语句的翻译结果进行基于编辑距离和成分结构分析树的相似度计算,最后根据相似度判断翻译结果是否满足蜕变关系.分别在教育、微博、新闻、口语和字幕这5个领域的中英文数据集上对6个主流商用神经机器翻译系统使用不同的蜕变测试框架进行了对比实验.实验结果表明,所提方法在与基于参考译文方法的皮尔逊相关系数和斯皮尔曼相关系数上分别比同类型方法高80%和20%,说明提出的无参考译文的测试评估方法与基于参考译文的评估方法的正相关性更高,验证了其在评估准确性上显著优于同类型其他方法.

基于变异分析的蜕变测试充分性条件

变异分析是研究软件测试的一种有效手段,在蜕变测试的研究中也经常采用这种方法。测试数据杀死变异需要满足一定的条件,但在蜕变测试中,测试用例满足变异测试中的条件不一定能够杀死变异,需要比一般的变异测试更严格的测试数据才能杀死变异。从变异测试中杀死变异的三类条件出发,探究蜕变测试数据杀死变异的条件。通过三角形实验分析蜕变测试用例满足的条件以及测试结果,总结蜕变测试用例杀死变异的规律,提出蜕变测试用例杀死变异的一种充分性条件。

蜕变测试和断言检查的比较与实验研究(英文)

在软件测试中,测试预言是一种用于检查程序在测试中是否正常运行的机制.然而在某些实际情况下,还无法制定测试预言或者难以有效地应用测试预言.针对此类测试预言问题,蜕变测试于近年应运而生,但蜕变测试的效率问题还没有被充分地加以研究.作者用控制实验的方法研究了使用蜕变测试的成本及效率,进而将蜕变测试和常用的断言检查两种方法的错误检测率和时间成本进行了比较和分析.实验结果表明,相比于断言检查方法,蜕变测试具有检测到更多错误的潜力.通过分析蜕变测试的效率和性能,与断言测试相比,蜕变测试的错误检测率更高效而效率有待提高,可适用于较为粗粒度的测试需求.

分类算法应用程序的蜕变测试方法研究

数据分类是实现海量数据高效组织与有效利用的基础,随着大数据技术的发展,数据分类应用程序正确性测试日益受到重视。针对数据分类应用程序在正确性测试方面存在的"Oracle"问题,将蜕变测试方法应用到数据分类应用程序评测中,以KNN算法为例构造了一系列蜕变关系并进行实验验证。结果表明,蜕变测试能够拓展应用程序测试用例集,实现程序正确性测试,同时也能对程序的实现起到指导作用。

面向条件筛选搜索系统的蜕变测试方法

为缓解拥有庞大数据信息的条件筛选搜索系统搜索结果时带来的Oracle问题,提出蜕变测试方法。通过识别程序多次输入输出之间的关系是否违反蜕变关系,可有效缓解Oracle问题。因此,有效识别蜕变关系是完成蜕变测试的前提。根据条件筛选搜索系统的自定义条件,设计两种蜕变关系模式帮助简化蜕变关系的识别,提高蜕变测试的故障检测质量。实验结果表明,利用改进的蜕变关系模式在条件筛选搜索系统中执行蜕变测试提高了14%的精确率,验证了该方法识别蜕变关系的简洁性和有效性。