基于加权KNN与代价敏感多分支深度神经网络的审计数据异常检测

面对日益提高的审计客观性和不断增长的审计任务,提升审计的效率和质量正成为一种势在必行的趋势。选取电力行业某企业的财务凭证数据为研究对象,针对财务凭证数量多、数据类型多样和数据正负样本比例严重失衡的问题,提出一种基于加权KNN与代价敏感多分支深度神经网络算法。该算法能够有效地缩小核查范围,且得到的支出存在审计疑点的财务凭证中涵盖尽可能多的审计问题,从而更有助于帮助审计人员提高工作效率。通过对比实验,验证了该算法能够有效发现审计疑点及涵盖审计问题,结果优于现有其他方法。

基于代价敏感卷积神经网络的加密流量分类

针对加密流量分类中由于不平衡数据导致的分类偏差和少数类识别率低的问题,提出一种基于代价敏感卷积神经网络的加密流量分类方法。鉴于传统卷积神经网络在处理不平衡数据时容易偏向多数类,该方法引入动态权重调整策略,使其在每次迭代中根据代价敏感层的反馈来重新评估并自适应调整每个样本的权重。当少数类样本被模型误分类时,其权重会增加,促使模型在后续训练中更加关注它们。随着训练的进行,这种动态权重调整策略持续驱使模型改进并提高对少数类样本的识别能力,从而有效地应对类别不平衡问题。为了避免过拟合,该方法还采纳早停策略,当验证集性能连续下滑时及时终止训练。实验结果表明,本文所提出的网络模型在处理类别不平衡的加密流量分类问题上具有显著的优势,准确率和F1值均达到0.97以上。本文研究为加密流量分类提供了一种更为有效且适应于类别不平衡问题的解决方案,为网络安全领域的研究与应用提供了有益的探索。

代价敏感概率神经网络及其在故障诊断中的应用

针对传统的分类算法大多以误分率最小化为目标,忽略了误分类型之间的差别和数据集的非平衡性的问题,提出代价敏感概率神经网络算法.该算法将代价敏感机制引入概率神经网络,用期望代价取代误分率,以期望代价最小化为目标,基于期望代价最小的贝叶斯决策规则预测新样本类别.采用工业现场数据和数据集German Credit验证了该算法的有效性.实验结果表明,该算法具有故障识别率高、泛化能力强、建模时间短等特点.

基于代价敏感卷积神经网络的遥感影像分类

遥感影像分类中,由于数据集不平衡问题,模型倾向于导致高错分损失的样本学习,而忽略稀有困难样本,使模型的性能降低。针对此问题,提出一种自适应样本分布特征的代价敏感(SCoSen)卷积神经网络算法。该算法为每个类别分别建立损失函数,并且在训练的过程中,通过统计训练数据的样本特征,对样本添加平衡因子,赋予少数类更大的权重,解决训练样本比例不平衡问题。将代价敏感信息嵌入到深度学习框架中,使模型具有代价敏感性,更加关注稀有困难样本的学习。实验结果表明,该算法在不平衡遥感影像数据集上,能够有效提升深度学习模型的分类能力。

基于代价敏感神经网络集成模型的类别不平衡问题研究

在解决类别不平衡问题的过程中,传统分类模型往往偏向对大类别样本的学习,影响模型分类效果。基于此,文章从数据采样、模型选择2方面入手,给出代价敏感神经网络集成(cost-sensitive neural network ensemble,CSNN_Ensemble)模型。首先通过随机下采样,得到多组训练数据集;其次对每组训练数据集训练BP神经网络,并结合代价矩阵构造多个代价敏感神经网络;最后以代价敏感神经网络为基学习器构造并行集成模型,并以投票的方式进行最终决策。实验结果表明,该模型在F 1值、AUC值和期望总体代价3种性能方面表现优越,并具有一定的鲁棒性。

多尺度代价敏感卷积神经网络的轴承故障诊断

针对滚动轴承故障诊断过程中因采集数据不平衡而导致诊断精度下降的问题开展研究。面向原始一维振动信号多尺度复杂性的特点,提出一种基于多尺度代价敏感卷积神经网络的不平衡故障诊断方法。构建串并联结构的多尺度一维卷积特征提取层,通过设计不同卷积层的连接方式和选取不同的卷积核大小实现多特征提取;利用注意力机制自适应设置Adacost代价敏感损失函数的代价矩阵,实现权重的自适应分配。通过在多种不平衡比率的西储大学轴承数据集上的实验表明:该方法能有效提升模型在不同不平衡数据集中的分类性能,且具有更强的泛化能力。

基于代价敏感卷积神经网络的扣件缺陷检测算法

为解决扣件数据集不平衡问题,引入代价敏感策略对卷积神经网络算法进行改进,并以此检测断裂、丢失的缺陷扣件。该算法借鉴AdaBoost算法的思路,在训练过程中对整体误差函数中每个样本分配不同的权重,并依据先前模型的错误率不断地加以调整,使算法关注各个类别中的难学习样本,并对调整后的权重按类别进行归一化处理,以增大小类样本的关注度。分别在高速铁路无砟轨道和普速铁路有砟轨道2个扣件数据集上进行对照试验验证算法的有效性。引入G-mean作为评价指标平衡不同类别的召回率。结果表明:将改进后算法应用于高速铁路无砟和普速铁路有砟轨道的扣件数据集,改进后算法的G-mean值比原算法分别提高10%和25%以上;比传统的扣件识别方法分别提高13%和39%以上。

基于代价敏感卷积神经网络的集成分类算法

针对不平衡数据集中少数类样本分类识别率较低的问题,提出一种基于代价敏感卷积神经网络(cost sensitive convolutional neural network,CSCNN)和AdaBoost的分类算法(classification algorithm based on cost sensitive convolutional neural network and AdaBoost,AdaBoost-CSCNN)。设置特定的代价敏感指标来协同卷积神经网络的交叉熵损失函数,从而构建CSCNN。在训练过程中,借助代价赋权机制降低少数类样本关键特征属性的损失度,实现单个CSCNN作为基分类器在AdaBoost中的分类效果。为验证算法的有效性,使用Accuracy、Recall、F1值和AUC这4个评价指标在9个具有不同不平衡率的数据集上开展实验。结果表明,AdaBoost-CSCNN算法处理不平衡数据集分类问题有较好的显示度。

基于代价敏感RBF神经网络的道岔故障诊断系统

针对铁路道岔故障中几种常见类型故障,为尽量减少道岔故障误分类所造成的损失,特建立基于遗传算法的代价敏感RBF神经网络模型以及基于该模型的道岔故障诊断系统。模型通过建立代价敏感适应度函数,实现基于遗传算法的RBF神经网络向代价最优的方向进行随机搜索。利用某车站道岔动作电流监测数据进行验证,证明系统能够提高故障数据的识别精度,降低故障数据的误分类代价。该系统可帮助维护人员快速、准确地对道岔故障进行诊断,缩短故障处理时间,提高铁路行车的安全性。

代价敏感卷积神经网络:一种机械故障数据不平衡分类方法

机械设备实际工作过程中正常样本丰富、故障样本匮乏,卷积神经网络在处理这种分布不平衡的数据时对少数类的识别率很低。为解决上述问题,提出一种代价敏感卷积神经网络,首先经过多层卷积和池化运算学习原始监测数据中的机械设备本征性能状态知识;其次通过全连接层将本征性能状态知识映射为机械设备健康状态;最后利用代价敏感损失函数为少数类样本赋予较大的误分类代价,实现对不平衡的机械故障数据的有效分类。为验证所提方法的有效性,使用具有不同不平衡比的刀具数据集和轴承数据集,利用代价敏感卷积神经网络以及主流的分类算法分别测试其对于不平衡数据的分类性能。实验结果表明,所提方法对不平衡数据集中的少数类样本识别率相对于传统卷积神经网络提升了22%以上。

基于卷积神经网络和代价敏感的不平衡图像分类方法

针对不平衡图像分类中少数类查全率低、分类结果总代价高,以及人工提取特征主观性强而且费时费力的问题,提出了一种基于Triplet-sampling的卷积神经网络(Triplet-sampling CNN)和代价敏感支持向量机(CSSVM)的不平衡图像分类方法——Triplet-CSSVM。该方法将分类过程分为特征学习和代价敏感分类两部分。首先,利用误差公式为三元损失函数的卷积神经网络端对端地学习将图像映射到欧几里得空间的编码方法;然后,结合采样方法重构数据集,使其分布平衡化;最后,使用CSSVM分类算法给不同类别赋以不同的代价因子,获得最佳代价最小的分类结果。在深度学习框架Caffe上使用人像数据集FaceScrub进行实验。实验结果表明,所提方法在1∶3的不平衡率下,与VGGNet-SVM方法相比,少数类的精确率提高了31个百分点,召回率提高了71个百分点。

基于敏感度分析与概率神经网络的液压泵故障诊断方法研究

为了提高液压泵故障诊断的速度与准确性,提出了将敏感度分析与概率神经网络相结合的液压泵故障诊断方法。分析了不同状态下振动信号的时域图与频谱图,得出使用传统方法不易对液压泵进行故障诊断的结论。对各种状态下的振动信号提取特征参数,并对所提取特征参数进行敏感度分析。将敏感度高的特征参数以向量的形式输入概率神经网络进行训练和测试。实验表明:概率神经网络能快速、有效的诊断出液压泵的故障,节约诊断时间。将敏感度分析与概率神经网络相结合能提高概率神经网络诊断的正确率。

基于代价敏感神经网络算法的软件缺陷预测

软件缺陷预测作为软件工程领域的重要研究内容已有近30年。近年来,随着机器学习技术的发展,传统机器学习技术基于静态代码属性的软件缺陷预测领域得到广泛应用。然而,传统的机器学习算法并未考虑软件缺陷预测过程中,常见的代价敏感问题与类不均衡问题。文中将基于过采样技术和阈值移动技术的代价敏感神经网络算法应用于软件缺陷预测领域,从而解决该领域的代价敏感问题与类不均衡问题。在NASA软件缺陷预测标准数据集上的实验证明了其有效性。

基于卷积神经网络的代价敏感软件缺陷预测模型

基于机器学习的软件缺陷预测方法受到软件工程领域学者们的普遍关注,通过缺陷预测模型可一定程度地分析软件中的缺陷分布,以此帮助软件质量保障团队发现软件中潜在的错误并合理分配测试资源。然而,现有多数的缺陷预测方法是基于代码行数、模块依赖程度、栈引用深度等人工提取的软件特征进行缺陷预测的。此类方法未考虑到软件源码中潜在的语义特征,可能导致预测效果不理想。为了解决以上问题,文中利用卷积神经网络挖掘源码中隐含的语义特征,并将其用于软件缺陷预测的任务中。在源码语义特征的有效挖掘方面,采用三层卷积神经网络提取数据抽象特征。在数据不平衡处理方面,采用代价敏感的方法,即分别给予正例与反例不同的权重,平衡正反例对模型训练的影响。在实验数据集方面,选取了开源缺陷标注数据集PROMISE中8个软件中的多个版本,合计19个项目。在模型性能比较方面,将提出的基于卷积神经网络的代价敏感软件缺陷预测模型(Cost-Sensitive Three-Layer Convolutional Neural Network,CS-TCNN)分别与逻辑回归、深度置信网络等模型进行比较,评估指标为在缺陷预测研究领域中普遍使用的AUC和MCC。实验结果充分说明了CS-TCNN能更有效地提取程序代码中的语义特征,进而提高软件缺陷预测模型的预测效果。

基于代价敏感剪枝卷积神经网络的弹道目标识别

为降低弹道目标整体误识别代价,提出了基于代价敏感剪枝(CSP)一维卷积神经网络(1D-CNN)的弹道目标高分辨距离像识别方法。首先,基于彩票假设提出了同时以降低模型复杂度和误识别代价为目标的统一框架;然后,在此基础上,提出了基于人工蜂群算法的网络结构无梯度优化方法,以网络结构搜索的方式自动地寻找1D-CNN的代价敏感子网络,即代价敏感剪枝;最后,为了使代价敏感子网络在微调过程中仍以最小化误识别代价为目标,提出了一种代价敏感交叉熵(CSCE)损失函数对训练进行优化,使代价敏感子网络侧重对误识别代价较高的类别正确分类来进一步降低整体误识别代价。实验结果表明:结合CSP和CSCE损失函数的1D-CNN能在保持较高的识别正确率的前提下,相比传统的1D-CNN具有更低的整体误识别代价,且降低了50%以上的计算复杂度。

基于代价敏感卷积神经网络的非平衡问题混合方法

非平衡问题是数据挖掘领域中普遍存在的一个问题,数据的偏态分布会使得分类器的分类效果不理想。卷积神经网络作为一种高效的数据挖掘工具,被广泛应用于分类任务,但其训练过程若受到数据非平衡的不利影响,则将导致少数类的分类准确率下降。针对二分类非平衡数据分类问题,文中提出了一种基于代价敏感卷积神经网络的非平衡问题混合方法。首先将密度峰值聚类算法与SMOTE相结合,通过过采样对数据进行预处理,降低原始数据集的不平衡程度;然后利用代价敏感思想对非平衡数据中的不同类别给予不同权重,并考虑预测值与标签值之间的欧氏距离,对非平衡数据中多数类和少数类赋予不同的代价损失,构建代价敏感卷积神经网络模型,以提高卷积神经网络对少数类的识别率。选取6个不同的数据集,用于验证所提方法的有效性。实验结果表明,所提方法可以提高卷积神经网络模型对非平衡数据的分类性能。

基于代价敏感神经网络的警告分类研究

静态分析工具可以帮助开发人员在项目编码初期定位可能存在缺陷的代码。然而有研究表明,此类工具往往会报告大量的警告,且其中大部分为误报警告。为了增强静态分析工具的可用性,研究者们通常采用统计和机器学习方法将警告分类为有效警告和误报警告。然而,现有警告分类方法并未考虑大量误报警告造成警告数据类不平衡问题,以及误分类代价不等的问题。鉴于此,分别将BP神经网络和基于过采样、阈值操作、欠采样方法的代价敏感神经网络应用到有效警告的分类中。实验结果对比发现,相比BP神经网络,基于代价敏感神经网络方法在有效警告查全率方面平均提高了44.07%,且当有效警告被误分类的代价高于一定值时,代价敏感分类方法能得到更低的分类代价。

基于声纹压缩和代价敏感的变压器状态检测评估方法

声纹检测技术可以助力巡检人员对变压器状态进行检测和评估。文中提出一种基于声纹压缩和代价敏感的变压器状态检测和评估方法。该方法首先提取变压器音频的声纹特征,然后在频率维度上对声纹特征进行筛选和压缩,最后使用卷积神经网络评估变压器状态,并引入代价敏感损失函数以提高对难检出样本的关注度。以某35 kV变压器为研究对象,通过收集现场音频、模拟实验和样本扩充得到变压器音频数据集。测试结果表明,文中所提方法将声纹维度从1 025维降低到80维,计算量和显存分别降低到1 025维的8.1%和7.7%。同时,所提方法的声纹识别准确率高达83.5%,并将最难检出的短路电流异常状态的召回率从48.2%提升至63.6%。

基于一维卷积神经网络的螺旋铣刀具磨损监测

基于传统机器学习的螺旋铣刀具磨损监测方法需要复杂的特征提取和丰富的经验知识,不同磨损阶段具有相同的错误分类代价,针对这些问题,结合电流信号一维性特点,提出基于一维卷积神经网络(1D CNN)和代价敏感学习的螺旋铣刀具磨损监测方法.采集机器人螺旋铣末端执行器主轴、公转轴和进给轴电流作为监测信号,并采用滑动窗口法进行样本划分,在降低网络容量的同时增加样本数量和多样性;在网络损失函数中引入代价矩阵并增加急剧磨损阶段的错误分类代价,使得1D CNN具有代价敏感性;直接将电流时域信号输入1D CNN,网络可以自动提取刀具磨损特征,并将特征提取和不同磨损阶段分类融合在一起.试验结果表明,在机器人螺旋铣系统中,该方法的刀具磨损监测准确率为99.29%,在急剧磨损阶段的查全率为99.60%.

基于代价敏感性和概率校准的先天性心脏病概率预测模型研究

目的先心病数据存在类别不平衡问题,使先心病预测存在偏差,本文针对以上问题建立基于代价敏感性和概率校准的先心病概率预测模型,以期提高模型概率预测能力,为筛选先心病高危人群给予参考。方法构建调整惩罚权重的加权支持向量机(weighted support vector machine,WSVM)和加权随机森林(weighted random forest,WRF)的Platt和Isotonic regression(Iso)校准模型(WSVM-Platt,WRF-Platt,WSVM-Iso,WRF-Iso),同时与logistic回归模型进行对比。结果通过比较6种模型(WSVM-Platt,WSVM-Iso,WRF,WRF-Platt,WRF-Iso和logistic回归模型)的概率预测效果评价指标AUC(the area under the curves)、RMSE(root mean squared error)及SAR可得,以上6类模型均比较理想。6种模型中,WSVM的Platt校准模型的预测效果最优,logistic回归其次;对于WRF,WRF-Platt和WRF-Iso的预测效果均优于WRF;对于WRF和WSVM,Platt校准的概率预测能力均略优于Iso校准。结论针对极端不平衡数据,本文模型的预测结果较为理想。相比未校准模型,校准模型的预测效果更优,Platt校准预测效果略优于Iso校准,故本文构建的模型可为有效筛选先心病高危人群提供参考。