Experience report:investigating bug fixes in machine learning frameworks/libraries

Machine learning(ML)techniques and algorithms have been successfully and widely used in various areas including software engineering tasks.Like other software projects,bugs are also common in ML projects and libraries.In order to more deeply understand the features related to bug fixing in ML projects,we conduct an empirical study with 939 bugs from five ML projects by manually examining the bug categories,fixing patterns,fixing scale,fixing duration,and types of maintenance.The results show that(1)there are commonly seven types of bugs in ML programs;(2)twelve fixing patterns are typically used to fix the bugs in ML programs;(3)68.80%of the patches belong to micro-scale-fix and small-scale-fix;(4)66.77%of the bugs in ML programs can be fixed within one month;(5)45.90%of the bug fixes belong to corrective activity from the perspective of software maintenance.Moreover,we perform a questionnaire survey and send them to developers or users of ML projects to validate the results in our empirical study.The results of our empirical study are basically consistent with the feedback from developers.The findings from the empirical study provide useful guidance and insights for developers and users to effectively detect and fix bugs in MLprojects.

缺陷报告质量研究综述

在软件开发和维护过程中,缺陷修复人员通常根据由终端用户或者开发/测试者提交的缺陷报告来定位和修复缺陷.因此,缺陷报告本身的质量对修复人员能否快速准确定位并修复缺陷具有重要的作用.围绕缺陷报告质量的刻画及改进,研究人员开展了大量的研究工作,但尚未进行系统性的归纳.旨在对这些工作进行系统性地梳理,展示该领域的研究现状并为未来的研究方向提供参考意见.首先,总结了已有缺陷报告存在的质量问题,如关键信息缺失、信息错误等;接着,总结了对缺陷报告质量进行自动化建模的技术;然后,描述了一系列对缺陷报告质量进行改进的方法;最后,对未来研究可能面临的挑战和机遇进行了展望.

基于分治法的神经网络修复方法

神经网络作为一种求解复杂问题的有效方法已经广泛应用于医学影像,自动驾驶等领域。然而,神经网络十分脆弱,对一个样本添加一点肉眼难以察觉的微小扰动就可能导致神经网络做出错误的判断。当神经网络出现了错误的行为,常用的修复方法是对神经网络进行重训练或者微调,然而这些方式需要较高的代价而且无法保证完全修复错误行为。在本文中,我们关注神经网络的完备修复问题,给定一个待修复的神经网络和一个目标样本集合,该问题要求修复后的神经网络在目标样本集合上表现出100%的正确率。在本文中,我们基于分治法的思想提出了一种神经网络修复方法。在该方法中,我们将目标样本集合不断划分为更小的集合,直到样本集合达到可接受的规模,之后对于划分得到的每一个集合逐个进行修复得到一个局部补丁,最后所有的局部补丁进行整合得到对于整个特征空间的补丁。在两个公开数据集上的实验表明我们的方法优于当前最先进的神经网络修复算法。针对对抗攻击和后门攻击生成的目标样本集合,我们的方法不仅完全修复了神经网络在目标样本集合上的行为,而且将网络在相同攻击方式生成的测试集上的准确率分别提高了55.79%和60.59%。同时,我们的方法可以避免修复后网络在标准测试集上的准确率大幅度降低。

终极控制人性质、内部控制缺陷与企业风险

以2008~2014年上市公司为研究对象,考察转型经济环境下终极控制人性质如何影响内部控制缺陷及其修复与企业风险之间的关系。研究发现,内部控制缺陷越大,企业风险越高,但缺陷修复能显著降低企业风险;进一步研究发现,国有企业比民营企业的风险程度显著更小,但相对央企而言,地方国有企业更容易出现风险,尤其在治理环境差的地区,地方国企的风险程度显著更高。研究表明,不同的终极控制人性质导致了企业内部控制缺陷对企业风险的不同影响,这既为深化国有企业改革提供经验证据,也进一步昭示强化企业内部控制风险免疫功能的重要性与紧迫性。

基于高斯过程的缺陷定位方法

在软件系统中,缺陷定位是缺陷修复的一个关键环节,如果能将缺陷自动定位到很小的范围,将会极大地降低缺陷修复的难度.基于高斯过程提出了一种缺陷定位方法(GPBL),即针对每个缺陷,向开发人员推荐这个缺陷可能存在于哪些源文件中,从而帮助开发人员快速修复缺陷.为了验证方法的有效性,采集了开源软件Eclipse和Argouml中的数据,实验结果表明,高斯过程缺陷定位的查全率和查准率平均分别为87.16%和78.90%.与基于LDA的缺陷定位方法进行比较,表明高斯过程更能准确定位缺陷的位置.

多属性加权模糊贝叶斯的复杂网络故障自修复技术

为了提高对复杂网络进行故障诊断时的准确率,以及实现故障节点的有效自修复,提出一种多属性加权模糊贝叶斯的复杂网络故障自修复机制。建立贝叶斯网络结构模型,针对故障网络和故障节点进行条件概率估计,实现故障类别诊断。在该模型的基础上引入了多属性值和模糊集合理论进行扩展,提出了一种多属性加权模糊贝叶斯,提升模型对节点进行故障诊断时的灵敏度和准确度。对网络和节点进行故障诊断后,采用网络故障自修复机制,在查找出节点故障类型,采取有效的能量分配方法来修复节点。实验仿真及对比表明,该方法相比基于神经网络的故障诊断方法、基于半监督聚类的故障诊断方法以及基于隐马尔可夫模型的故障诊断方法具有更好的故障诊断和修复性能。

基于遗传编程的学生程序修正方法

学生程序的自动修正是程序设计类大规模网络公开课亟需解决的关键问题。结合学生程序在线评测的需求,提出了基于遗传编程的学生程序修正模型,设计并实现了基于Web的便于教师和学生使用的程序自动修正系统。基于测试用例集实现程序在线评测,对评测结果中满足自动修正条件的学生程序进行错误定位,在此基础上实现自动修正。应用结果表明,该系统可以有效管理和测试学生程序,并为学生修正含有缺陷的程序提供参考,减轻了教师的负担。

软件缺陷报告严重性属性分析

软件缺陷报告的严重性对缺陷的解决具有关键作用。随着软件规模的不断扩大,使用开源的软件缺陷跟踪系统成为海量缺陷信息数据的主要处理方法。分析缺陷报告严重性在数据仓库中的作用,是处理软件缺陷的重要内容。通过对Bugzilla缺陷跟踪系统数据的研究和分析,发现不同项目的属性特征差异较大,同时在修复率、解决时长、开发者、组件等属性上的统计特征具有一致性。对Mozilla项目和Eclipse项目的数据进行系统分析,并根据不同组件和项目中严重性程度分布情况,认为软件缺陷报告严重性程度的提升会导致缺陷修复率的提高,同时严重性程度为normal级别的缺陷解决时长最短,开发者持有缺陷的数量越高其修复率越低。

Mozilla项目缺陷修复追踪关系研究

软件可追踪性为软件工程的很多活动提供了非常重要的支持,如变更影响分析、回归测试、版本控制以及一致性检验等。在开源软件项目中,缺陷数据和版本数据之间的缺陷修复关联是一种重要的软件追踪关系。研究开源软件项目缺陷和版本两种制品间的缺陷修复关联,选取大型开源项目Mozilla作为研究对象,在深入了解所获得数据的整体分布情况后,针对Mozilla项目的产品Firefox浏览器,利用Fellegi-Sunter模型挖掘缺陷数据与commit数据之间的缺陷修复关联并建立二者之间的追踪关系,最后对挖掘出的缺陷修复追踪关系进行结果分析。该项工作为开源项目制品间追踪关系的研究提供了经验参考。

众包协作流程的恢复方法

众包是一种应用群体智慧的分布式问题求解机制,目前广泛存在于以人工智力活动为基础的互联网应用场景中,利用互联网上大量用户的群体协作来解决单人无法解决的复杂问题。众包协作机制对开源领域的发展起到了很大的作用。以开源软件的开发维护过程为例,参与人员通过特定平台共同完成代码编写、bug修复等关键任务。与传统业务过程管理(Business Process Management,BPM)不同,众包场景下的协作流程存在流程结构无法预先确定、协作参与者数量无法预知、协作时间与结果无法提前预测等挑战,这给众包协作的效率与质量控制带来了极大的困难。针对众包协作过程中多个参与者按时间次序产生的一系列协作行为(体现为自然语言形式的文本),利用自然语言处理和人工智能等方法,提出了众包协作过程恢复算法,并以开源软件开发领域bug修复过程中的人员合作为案例进行了实证研究,尝试用3种方法对协作流程进行恢复,分别是文本近似度、关键词汇匹配以及神经网络意图理解恢复算法;然后定量对比了各个流程恢复算法的准确度,得出应用关键词匹配算法进行协作流程恢复的准确度最高、效果最好的结论;最后实现将需要分析的协作流程进行协作流程恢复以及可视化的工作。该研究有助于众包流程的协调者(例如开源项目管理者)更直观地理解众包协作中的问题求解过程,从中发现协作的典型模式,从而可为新的众包任务的协作过程的性质作出准确预测。

基于模板的软件缺陷修复推荐方法

软件中长期累积的历史遗留问题导致软件产品的规模和复杂性逐渐增大.为了有效提高软件缺陷修复的效率,本文针对源代码文件中的修复前代码版本和修复后代码版本之间的差异,根据预定义的细粒度更改操作提取缺陷修复模板,并基于此修复模板提出了一种缺陷修复推荐方法.结果表明,模板的覆盖范围可达67.11%,并且5位参评者评估其有效,认为此修复模板适用于软件缺陷并且能够解决部分缺陷问题.

Firefox缺陷跟踪系统中的用户反馈

缺陷追踪是软件项目管理的一个重要环节,是保证现代大规模开源软件开发顺利进行并持续提高软件质量的必要手段.目前,大部分开源软件都使用开放的缺陷跟踪系统进行软件缺陷的管理.它允许用户向开发者提交系统故障(即defect类型缺陷)以及系统改进建议(即enhancement类型缺陷),但是这些用户的反馈所起的作用尚未得到充分研究.针对这一问题,对Firefox的缺陷跟踪系统进行实证研究,收集了2018年和2019年提交的19474份Firefox Desktop以及3057份Firefox for Android缺陷报告.在此基础上,对比分析了普通用户和核心开发者提交的缺陷在数量、严重性、组件分布、修复率、修复速度以及修复者上的差别,并调查了缺陷报告的撰写质量与缺陷处理结果和修复时间的关系.主要发现包括:(1)当前缺陷追踪系统中普通用户人数众多,但参与程度较浅,86%的用户只提交过一个缺陷,其中,高严重等级的缺陷不超过3%;(2)普通用户提交的缺陷主要分布在和用户交互相关的UI组件上(例如地址栏、音频/视频等),然而还有43%的缺陷由于缺乏充分描述信息而难以准确地定位到具体的关联组件;(3)在缺陷处理结果上,由于查重系统以及缺陷填报系统在设计上过于简单,致使普通用户提交的大量缺陷被处理为“无用”缺陷,缺陷修复率低于10%;(4)在缺陷修复流程上,由于普通用户难以准确、充分地描述缺陷,导致系统对其重视程度不足,普通用户提交缺陷的处理流程也比核心开发者提交的复杂,平均需要多花至少8天的时间进行修复.上述研究结果揭示了当前缺陷追踪系统在用户参与激励机制、缺陷自动查重以及缺陷报告填写智能辅助等方面的不足,能够为缺陷跟踪系统开发者和管理者改进系统、提高普通用户对开源软件的贡献提供参考.

SQL注入攻击与防范实验的设计与实现

介绍了SQL注入的原理、攻击和防范技术,并通过设计具体实验方案演示了SQL注入攻击与防范的全过程及细节。通过搭建存在SQL注入漏洞的Web网站并对其进行SQL注入攻击,观察被攻击的效果,进行漏洞修复。对漏洞修复后的系统进行攻击,并对比修复漏洞前后的现象,以此得出SQL注入漏洞的原理、产生原因、对应攻击原理及如何防范漏洞,加深对SQL注入的理解。

基于FARM降低系统性偏差的缺陷修复时间预测方法

缺陷修复时间预测能够帮助开源社区管理者精确地估计缺陷修复工作量,实现缺陷修复人员的优化分配。缺陷追踪库Bugzilla是开源社区缺陷修复数据的主要来源。在实际使用中,缺陷追踪库除被用作记录缺陷之外,还被用于记录用户对软件产品不足之处的投诉,以及软件功能相关讨论。缺陷追踪库的混合使用给缺陷修复时间预测带来系统性偏差。为降低系统性偏差对预测结果的影响,给出基于模糊关联规则挖掘FARM(Fuzzy Association Rules Mining)降低系统性偏差的缺陷修复时间预测方法。该方法通过分析历史数据生成模糊关联规则来过滤系统性偏差。实验结果显示经过该方法处理后的新预测模型结果优于原有模型。

通过挖掘关联规则探索代码修改和错误修复之间的关系

本文通过分析各种不同的软件项目中产生的源代码修改记录,探索代码修改和错误修复之间的关系来更好地理解代码修改之间的关联并挖掘它们之间的关联规则,从而得到代码修改和错误修复之间的因果关系,找出修复错误的方法以更好地降低代码修改所引起的错误。

虚拟补丁防护系统的设计及部署

内蒙古电力(集团)有限责任公司各大业务信息系统上线后,安装部署虚拟补丁防护系统,对服务器进行安全防护,以解决传统补丁无法在第一时间对漏洞进行修补的缺陷。本文主要介绍了虚拟补丁技术的原理,对电力信息系统存在的安全风险进行了总结,并确定了虚拟补丁针对系统漏洞的解决方式。虚拟补丁防护系统在内蒙古电力(集团)有限责任公司信息机房已经完成安装部署,将对服务器设备起到积极的防护作用。

政府网站运行的安全性问题研究

本文以政府部门计算机网络和网站在运行中碰到的安全问题,阐述了如何建设相对安全的网控中心,并对因特网上发布信息的网站所受到的各种攻击作出了说明,以及如何采用各种技术方法和措施填补漏洞、防范攻击,保障网站安全。

论计算机网络及网站的安全性

本文以政府部门计算机网络和网站在运行中碰到的安全问题，阐述了如何建设相对安全的网控中心，并对因特网上发布信息的网站所受到的各种攻击做出了说明，以及如何采用各种技术方法和措施填补漏洞、防范攻击，保障网站安全。

计算机网络及网站的安全性研究

本文以政府部门计算机网络和网站在运行中碰到的安全问题,阐述了如何建设相对安全的网控中心,并对因特网上发布信息的网站所受到的各种攻击作出了说明,以及如何采用各种技术方法和措施填补漏洞、防范攻击,保障网站安全。

计算机网络及网站的安全性研究

本文以政府部门计算机网络和网站在运行中碰到的安全问题，阐述了如何建设相对安全的网控中心，并对因特网上发布信息的网站所受到的各种攻击做出了说明，以及如何采用各种技术方法和措施填补漏洞、防范攻击，保障网站安全。