代价敏感惩罚AdaBoost算法的非平衡数据分类

针对非平衡数据分类问题,提出了一种基于代价敏感的惩罚AdaBoost算法。在惩罚Adaboost算法中,引入一种新的自适应代价敏感函数,赋予少数类样本及分错的少数类样本更高的代价值,并通过引入惩罚机制增大了样本的平均间隔。选择加权支持向量机(Support vector machine,SVM)优化模型作为基分类器,采用带有方差减小的随机梯度下降方法(Stochastic variance reduced gradient,SVRG)对优化模型进行求解。对比实验表明,本文提出的算法不但在几何均值(G-mean)和ROC曲线下的面积(Area under ROC curve,AUC)上明显优于其他算法,而且获得了较大的平均间隔,显示了本文算法在处理非平衡数据分类问题上的有效性。

基于代价敏感卷积神经网络的非平衡问题混合方法

非平衡问题是数据挖掘领域中普遍存在的一个问题,数据的偏态分布会使得分类器的分类效果不理想。卷积神经网络作为一种高效的数据挖掘工具,被广泛应用于分类任务,但其训练过程若受到数据非平衡的不利影响,则将导致少数类的分类准确率下降。针对二分类非平衡数据分类问题,文中提出了一种基于代价敏感卷积神经网络的非平衡问题混合方法。首先将密度峰值聚类算法与SMOTE相结合,通过过采样对数据进行预处理,降低原始数据集的不平衡程度;然后利用代价敏感思想对非平衡数据中的不同类别给予不同权重,并考虑预测值与标签值之间的欧氏距离,对非平衡数据中多数类和少数类赋予不同的代价损失,构建代价敏感卷积神经网络模型,以提高卷积神经网络对少数类的识别率。选取6个不同的数据集,用于验证所提方法的有效性。实验结果表明,所提方法可以提高卷积神经网络模型对非平衡数据的分类性能。

基于改进XGBoost模型的网络入侵检测研究

为了提升传统的网络入侵检测模型的检测准确性和实用性,本文提出一种基于改进梯度提升树(XGBoost)模型的网络入侵检测方法。首先,采用随机森林算法预计关键特征点,在数据的预处理阶段有效地选取了重要性权重最高的特征并构建特征集合;其次,利用卡单方程改进了XGBoost模型的预测方法;最后,在XGBoost优化算法中引入代价敏感函数来提升算法对小样本数据的检测率,应用网格法调参减少模型复杂性。实验结果表明,与其它人工智能算法对比,所提出的模型在具有更高检验精度的情况下降低了50%以上等待时间,并且在噪音环境下具有较强的可扩展性和自适应性,并结合其他模型设置参数消融实验,实验结果表明树深对模型性能影响最大。

基于最优间隔的AdaBoost_(v)算法的非平衡数据分类

为了解决非平衡数据分类问题,提出了一种基于最优间隔的AdaBoost v算法。该算法采用改进的SVM作为基分类器,在SVM的优化模型中引入间隔均值项,并根据数据非平衡比对间隔均值项和损失函数项进行加权;采用带有方差减小的随机梯度方法(Stochastic Variance Reduced Gradient,SVRG)对优化模型进行求解,以加快收敛速度。所提基于最优间隔的AdaBoost v算法在样本权重更新公式中引入了一种新的自适应代价敏感函数,赋予少数类样本、误分类的少数类样本以及靠近决策边界的少数类样本更高的代价值;另外,通过结合新的权重公式以及引入给定精度参数v下的最优间隔的估计值,推导出新的基分类器权重策略,进一步提高了算法的分类精度。对比实验表明,在线性和非线性情况下,所提基于最优间隔的AdaBoost v算法在非平衡数据集上的分类精度优于其他算法,且能获得更大的最小间隔。

基于随机森林和XGBoost的网络入侵检测模型

为提高复杂网络环境中入侵检测模型的准确性和实时性,提出一种基于随机森林和极端梯度提升树(XGBoost)的网络入侵检测模型RF-XGB。首先针对随机森林算法计算特征重要性的特点,设计混合特征选择方法高效筛选出最有价值的特征子集;在XGBoost算法中引入代价敏感函数来提高对少样本类别的检测率,使用网格法调参降低模型复杂度。实验仿真结果表明,与其他机器学习算法相比,所提出的模型在具备更高检测精度的情况下减少了50%以上的处理时间,并在噪声影响下具有较好的鲁棒性和自适应性。

基于深度自编码网络的运动目标检测

针对从动态背景中提取前景效果较差的问题,提出了一种基于深度自编码网络的运动目标检测方法。首先,用一个三层的深度自编码网络从视频图像中提取不包含运动目标的背景图像,将背景图像作为变量构造了深度自编码网络的代价函数;然后,构造了一个分离函数得到了输入图像的背景图像,再用另一个三层的深度自编码网络学习提取出的背景图像;为了使深度自编码网络的学习能够在线地提取运动目标,还提出了一种在线学习算法,通过寻找对代价函数敏感度较低的权重进行合并,从而能够对更多的视频图像进行处理。实验结果表明,所提方法在从动态背景中提取出前景运动目标上相比Lu等的前景检测的工作(LU C,SHI J,JIA J.Online robust dictionary learning.Proceeding of the 2013 IEEE Conference on Computer Vision and Pattern Recognition,Piscataway:IEEE Press,2013:415-422)检测的准确率提高了6%,并且误报率降低了4.5%。在实际的应用中,能够获得更好的前景背景分离效果,为视频分析等方面的研究奠定更好的基础。

基于CS-RF模型的微额信贷风险预测

在金融市场中,互联网征信是规避损失风险的重要参考依据,其中违约用户识别率的准确性对征信来说则更为重要。从这一角度出发,本文提出了改进的随机森林算法(CS-RF)。利用金融公司的实际数据,从随机森林原模型基础上加以改进,在训练样本生成决策树后引入代价敏感函数,为多类样本和少类样本的错误分类赋予不同的代价,搜索出更优的决策树集成。通过实证分析,将预测结果与Logistic回归模型,决策树,传统随机森林,BP神经网络进行对比,得出CS-RF模型预测效果最优。

参数优选残差网络下的井震联合反演方法

声波测井资料在层位标定和储层反演等工作中发挥着重要作用。然而受仪器设备、地质环境等条件的限制,实际得到的声波测井曲线常有失真现象。为了向油气藏勘探提供可靠的数据支持,提高储层预测的准确性,提出一种参数优选残差网络下的井震联合反演方法,对失真的声波测井曲线予以重构。考虑到传统人工神经网络无法表达出井震间的强非线性关系,该方法以深度学习中的残差网络(ResNet)构建智能反演模型,通过网络设计、参数选择以及模型训练,找到井震间更好的映射表达。同时综合考虑测井曲线的特点与均方损失的不足,设计了一种代价敏感损失函数Fusion,进一步提高模型整体的反演精度。在真实地震数据和测井资料上展开实验,并与全连接神经网络(FCNN)和多元回归分析(MLR)的反演结果对比分析,表明所提方法反演的声波测井曲线精度更高,相关系数达到0.912,均方根误差减小到13.399。将所提Fusion损失用于反演声波测井曲线,相关系数增加了2.5%,均方根误差减小了17.4%。

类别不平衡高维数据的最优逻辑斯蒂回归

研究响应变量两类比例不平衡时逻辑斯蒂回归的最优参数估计和代价敏感分类问题.在代价敏感的损失函数下,将不平衡的两类数量之比作为参数,通过等价转换成一个重新加权的类别平衡分类问题,得到了原问题预测的超额风险(excess risk)的上界和逻辑斯蒂回归系数误差上界.同时利用VC维技术得到了正则条件下超额风险的minimax下界.得出结论:在相差一个可忽略常数倍的意义下,非平衡数据在代价敏感损失下得到的惩罚似然估计的误差界可以达到最优,且最优误差与一个可收敛至零的稀有类比例有关.其次,论文还将主要结论推广至损失函数为非凸的情形,并讨论了在两类数量比例需要估计时的误差上界.此外,通过数值模拟比较了给定和待估计类别比例的实际表现,发现主要结论不受影响.

密集卷积神经网络和辅助特征相结合的乳腺组织病理图像有丝分裂检测方法

显微镜下特定大小视野范围内的平均有丝分裂个数是乳腺癌分级的一个重要指标。传统的人工检测方法耗时费力,结果受病理医生主观因素影响大,容易出错。本文提出将密集卷积神经网络(DenseNet)与辅助特征相结合,构建预测模型,以实现有丝分裂的自动检测。本文方法针对训练过程中正负样本严重不均衡问题,使用代价敏感损失函数缓解该问题。利用本文方法与其他算法对乳腺组织病理图像有丝分裂进行检测,实验结果表明,本文方法在独立测试集上的F分数为0. 801 9,高于其他方法,验证了其有效性。