超参数优化对跨版本缺陷预测影响的实证研究

在机器学习领域,超参数是影响模型性能的关键因素之一。已有研究表明,超参数优化能够显著提升版本内缺陷预测和跨项目缺陷预测性能,而对跨版本缺陷预测性能的影响尚不明确。选取五种经典缺陷预测模型(决策树、K-近邻、随机森林、支持向量机和多层感知机)以及四种常用超参数优化算法(基于TPE的贝叶斯优化、基于SMAC的贝叶斯优化、随机搜索和模拟退火),在PROMISE数据集上进行实验,探究超参数优化对跨版本缺陷预测性能的影响。研究结果表明:决策树、K-近邻和多层感知机模型超参数优化后,跨版本缺陷预测AUC值得到显著提升;超参数优化后的模型仍保持与默认超参数设置下相当的稳定性;除了较为复杂的多层感知机模型,其余模型超参数优化的时间平均为1~2 min,在跨版本缺陷预测实验中优化模型超参数是可行的。上述结果表明,跨版本缺陷预测应考虑优化模型超参数以提升预测性能。

基于相似性度量的软件缺陷预测训练集推荐

在软件缺陷预测过程中,训练集质量是影响预测结果的关键因素。近几年,训练集选择也成为跨项目缺陷预测和跨版本缺陷预测等场景下的研究热点。然而,现有研究大多针对单一预测场景,可能会在一定程度上影响训练集质量。基于跨项目缺陷预测和跨版本缺陷预测两个场景,从数据分布角度提出一种基于相似性度量的训练集推荐(similarity-based training set recommendation,STSR)方法。采用聚类将候选源项目与目标项目划分为相同个数的簇,计算簇心之间的欧氏距离衡量数据集的相似度,对目标项目进行抽样,计算候选源项目与抽样目标项目缺陷率的差值,并计算干扰类比率,最终实现训练集推荐。在PROMISE数据集的11个项目共40个版本上进行实验验证,采用F1和AUC指标评价STSR方法的性能。实验结果表明,与跨版本缺陷预测相比,STSR方法的F1更优,在AUC指标上两者相当;在时间代价方面,STSR方法的最长推荐时间为5.09 s,是可接受的。