AUCRF算法在信用风险评价中的特征选择研究

目前基于随机森林算法的特征选择方法多以优化总体分类精度为目标。然而,信用风险评价过程中错分代价不对等的不平衡数据广泛存在。此时,用精度作分类性能评价指标不合适。采用ROC曲线下面积AUC值作二分类算法的分类性能指标,构造一个基于随机森林算法的特征选择算法AUCRF,并对UCI机器学习库中的澳大利亚信用数据进行实证分析。结果表明,基于AUCRF算法的模型能以较小的特征子集获得较高的分类性能,AUC=0.934 6。因此,AUCRF算法可用于错分代价不对等的信用风险特征选择。

不平衡数据集梯度提升算法研究

随着机器学习在各个领域的应用不断扩大,处理不平衡数据集的挑战越发显著。不平衡数据集的问题在医学诊断、信用欺诈检测和工业质检等领域广泛存在,提高对不平衡数据集的处理能力至关重要。本文构建XGBoost、LightGBM和CatBoost三种预测分类模型,通过调整参数,使用AUC值作为评分标准,并对比各分类模型在该数据集上的表现情况。

基于多维动态特征验证的社交机器人账号检测

社交机器人账号的存在增加了无关、无效甚至虚假信息的传播机率,影响人类的线上及线下生活。人工识别此类账号需要工作者经验丰富,同时成本高、精度低。从账号动态变化角度出发引入社交关系关注数变化量、粉丝变化率和基于序列匹配的发文相似度特征,建立多维动态特征社交机器人账号检测模型,提出一种改进的基于AUC决策树分类评价指标随机森林优化算法以期解决以上问题。实验结果表明,改进后的算法对于提升检测准确率具有明显帮助,在社交机器人检测更注重的查全率方面也具有一定的优势。

基于改进孤立森林算法的异常用电行为识别方法

针对传统异常用电行为识别方法准确率低、时效性差且人工消耗较高等问题,提出了一种基于粒子群算法的改进孤立森林识别方法。该方法通过总结异常用电行为规律,重构相关行为的特征指标,并侧重于对异常样本的学习与训练,进而在集成算法套袋思想的基础上构建了孤立森林。同时利用粒子群算法的群集寻优能力选择出精准度较高、差异度较大的孤立树形成子集,进一步优化了异常用电行为的识别效果。实验结果表明,改进方法的AUC值和识别效率均高于聚类算法及孤立森林算法,能够对异常用电行为进行准确识别。

ROC曲线形状在生态位模型评价中的重要性——以美国白蛾为例

【目的】生态位模型在生物地理学、入侵生物学和保护生物学中具有广泛的应用,被越来越多地用于预测物种潜在分布和现实分布的研究中。本文以美国白蛾为例介绍pROC方案在生态位模型评价中的应用及其注意事项,以期对物种潜在分布预测进行合理的评价,促进生态位模型在我国的合理运用和发展。【方法】介绍ROC曲线和AUC值基本原理,总结其在生态位模型评价中的应用,从物种存在分布点和不存在分布点的可信度出发,分析AUC值用于模型评价的优点和不足,最后介绍局部受试者工作特征曲线的线下面积方案(pROC方案)来弥补传统AUC值的不足。【结果】AUC值虽独立于阈值,但因其综合灵敏度和特异度,而屏蔽这2个指标各自的特征,不能分别评估预测结果的灵敏度和特异度,同时对遗漏率和记账错率不能进行权衡,会误导使用者对模型的评价。与AUC值相比,ROC曲线的形状更具有价值,蕴含丰富的模型评价信息。【结论】模型评价需要将灵敏度和特异度区别对待,ROC曲线形状比AUC值在生态位模型评价中更为重要,pROC方案相对于传统AUC值具有优势,但容易对过度模拟做出不当判断。模型评价与作者研究目的密切相关:当以预测物种潜在分布为目的时(如入侵物种潜在分布、气候变化对物种分布的影响和谱系生物地理学),模型评价应当给予灵敏度(或者遗漏率)更多的权重;当以预测物种现实分布为目的时(如保护区界定和濒危物种引入),模型评价应当给予灵敏度和特异度同等的权重。

Logistic模型对非平衡数据的敏感性：测度、修正与比较

本文以UCI数据库为研究样本,分析logistic模型对不同程度非平衡数据的敏感性。研究表明:1数据非平衡程度越高,logistic回归对稀有类的识别能力越差。2相对于其他修正方法,OSS方法的改进效果不显著且不稳定;相对于复杂抽样,简单抽样修正结果更优。3AUC值不适宜于非平衡数据条件下的模型选择,因为在非平衡数据条件下,它不能有效区分四种修正方法的优劣,而且修正前后的差异亦不能辨。

未来气候条件下苹果绵蚜在中国的适生区预测

苹果绵蚜是我国苹果主产区一种重要的检疫害虫,预测未来气候条件下苹果绵蚜在中国的适生区,以期为苹果绵蚜检疫监管及科学防治工作提供依据。分别利用主成分分析、相关分析和刀切法,对苹果绵蚜294个分布点的20个环境变量进行筛选,获得7个主导变量。以当前气候、2050年情景、2070年情景作为输入变量,分别运行最大熵模型(MaxEnt),模拟苹果绵蚜的适生性。利用ArcGIS软件对最适模拟结果进行分类,获得苹果绵蚜适生区分布图。结果表明,当前气候条件下,苹果绵蚜在中国的适生区主要集中在华北、华东、西南、华中北部、东北南部、西北东部等地区,适生区总面积576.5×10^(4)km^(2),约占我国国土面积的60.1%,其中高适生区面积102.2×10^(4)km^(2),中适生区面积126.7×10^(4)km^(2),低适生区面积347.6×10^(4)km^(2)。对未来(2050年、2070年)适生区进行预测,表明RCP2.6和RCP8.5这2种外排情景下的总适生区均比当前气候的总适生范围小,但高适生区总面积明显增大。RCP2.6情景下2050年的苹果绵蚜高适生区总面积最大,达我国国土面积的12.0%,比当前气候条件下预测面积多13.0×10^(4)km^(2),其中陕西省和河南省区域显著扩增。

基于MaxEnt模型的阿勒泰金莲花潜在适生区预测

利用最大熵模型(MaxEnt)预测阿勒泰金莲花潜在适生区能够为新疆阿勒泰金莲花的科学规范种植提供有效的理论指导和依据。以12个实际分布数据及42个环境因子为依据,采用MaxEnt模型结合GIS(地理信息系统)空间分析技术预测阿勒泰金莲花潜在适生区,用聚类分析法划分适生区等级,使用百分比贡献率分析其主要环境因子及生态位参数。结果表明:(1)ROC(受试者工作特征)曲线评价显示MaxEnt模型预测阿勒泰金莲花潜在适生区的训练数据集和测试数据集的AUC(ROC下的面积)值分别为0.943和0.994,表明模拟效果优秀。(2)影响阿勒泰金莲花生长的主要环境因子百分比贡献率是日照时数(24.63%)、4月降水量(24.29%)、年平均最高气温(22.89%)和11月降水量(17.91%);阿勒泰金莲花适宜生长在日照时数≥2 868 h、4月降水量≤21 mm、年平均最高气温≤9.1℃和11月降水量≤14.8 mm的环境中。(3)阿勒泰金莲花潜在适生区总面积为46 042.45 km~2,其中最适生区面积7 536.71 km~2,主要分布于阿勒泰市、布尔津县、富蕴县和哈巴河县的北部。阿勒泰金莲花潜在适生区呈北高南低的空间分布格局,降水、日照和气温是影响其分布的主要环境因子。

基于深度神经网络的异常财务数据识别方法

对财务异常数据的准确识别是保障医疗财务系统正常运转的重要途径。传统的检测方法使用统计学方法进行验证,该方法虽可以直观快速地筛选出异常数据,但是无法处理当前海量的数字化数据。针对上述问题,文中对传统随机森林模型进行修正,加入方差项以增强模型效果。同时,使用深度RNN网络对经过随机森林处理后的数据进行训练。实验结果表明,加入方差项的随机森林模型的F1值相较于其他算法均有2%以上的提升。同时,准确率和召回率也维持在较高的水平,测得的AUC值在对比算法中也是最高的。由此证明,文中所提出的深度神经随机森林模型具有良好的识别性能,同时也可对异常财务数据进行有效的校验。

基于Logistic回归的信用大数据处理算法研究

P2P是一种新型的互联网金融借贷方式,近年来P2P平台却频繁出现安全问题。造成此类现象的主要原因是借贷人的个人信用评估不准确而导致的连锁反应,因此对借贷人的信用数据进行有效评估可以直接降低P2P平台的信用风险。经典的信用数据处理方法无法对现代信贷领域的海量信贷数据进行精准分析,且传统的Logistic回归模型在变量较多的情况下会产生线性干扰。文中在对传统Logistic模型进行修正的基础上,加入了Lasso惩罚项以约束函数概率的估计值。实验测试结果表明,加入惩罚因子的Logistic回归模型预测结果最为精确,其AUC值相较于专家评估法与Logistic模型分别提高了6.4%和13.3%,证明文中所提出的改进Logistic模型可以准确地评估个人的信用能力,进而提示P2P平台有效地规避信用风险。

基于BP神经网络的网络小说排行预测

近年来随着"IP"热潮兴起,网络文学市场发展迅速,逐渐成为文化娱乐行业投资热点.本文将机器学习方法引入到小说排行预测方面,通过网络爬虫获取网络小说信息并提取了影响排行的特征,提出了基于BP神经网络模型进行小说排行预测.针对训练数据的不均衡,本文采用ROC和AUC作为预测评价指标;实验结果表明,基于BP神经网络的网络小说排行预测的准确率较高,相比传统的文学定性分析方法,机器学习预测方法可解释性和应用性更高.

基于延迟折扣任务的矿工风险决策实验研究

为探索矿工风险决策冒险倾向,控制矿工不安全行为,提高煤矿作业安全。采用调查问卷和延迟扣风险决策模拟任务的风险决策模拟任务相结合的方法,邀请高平某煤矿部分一线矿工作为被试进行了实验研究,并对实验所得数据通过SPSS 25.0、GraphPad Prism 5.0和EXCEL 19.0等软件进行处理分析。结果表明:金额200元的AUC值小于金额5000元的AUC值。被试的AUC_(200)与特质自我控制和风险偏好显著正相关,而AUC_(5000)与负向情绪显著负相关。金额200元时,被试风险决策的冒险倾向更高,而金额5000元时,被试风险决策更趋于保守。金额较小时,特质自我控制和风险偏好对冒险倾向有正向的影响,而金额较大时,负向情绪对冒险倾向有负向影响。

基于Maxent模型的榆林地区新石器时代遗址预测分布研究

榆林地区新石器时代遗址丰富,同时在中国历史上占有重要地位,为了更有效的保护和发掘榆林地区的遗址,了解古遗址空间分布的不同规律,探讨研究古人类社会发展与自然环境演变的关系,本研究利用Maxent模型结合ArcGIS软件对榆林地区遗址分布进行预测研究,得出榆林地区潜在的遗址分布概率图,并利用Kvamme增益统计对模型精度进行验证。结果表明:①本次实验Maxent模型的AUC值为0.708,表明模型预测准确度较高;②由刀切图得出不同环境变量对遗址分布影响权重从大到小依次为:dem>离水距>剖面曲率>坡度>坡向;③模型的增益值为0.62,说明模型具有较高的精度。

一种与聚类系数相结合的链路预测方法

针对目前的链路预测方法考虑了共同邻居节点的数量,并没有综合考虑局部邻居节点的聚类系数信息,忽略了节点之间的紧密程度对链路预测的影响,故提出一种基于聚类系数的链路预测方法。该方法将共同邻居节点的聚类系数添加到结构相似性的四种链路预测方法中(CN,AA,RA,PA),并将改进的方法在四种数据集上同六种基于结构相似性的链路预测方法进行比较。实验结果证明,基于聚类系数的链路预测方法可以进一步提高链路预测的效果。

GANs结合DNN网络的电力攻击信息识别

为提高电力终端设备攻击信息的识别准确率,利用generate adversarial networks(GANs)生成对抗神经网络和栈式编码器对电力终端设备报文进行增强和判别,再利用深度神经网络(deep neural netwok,DNN)对报文类型进行识别分类。结果表明,所提出的方法可有效识别攻击信息,且相对于LR、KNN和RF算法,识别的AUC值明显较高,具有可行性和有效性。

基于Logistic回归的个人消费贷款预测

研究个人住房贷款与个人消费贷款之间的关系,通过住房贷款业务累积的客户账户信息,作为自变量构建一个Lo-gistic回归模型来预测客户是否会申请消费贷款,以此来精准定位客户群体,实现精准营销。

基于高频词和AUC优化的随机森林文本分类模型

为了针对互联网上的新闻类文档实现对其快速精准地分类,提出一种根据词频先初步降维再进行优化建模的分类思路.先基于高频词汇初步降维,再对降维后的数据以模型AUC值达到最大为目标,采取向后消元的方法构建随机森林分类模型,实现对文档的分类.通过实证分析,发现该方法能够有效地实现对文本的分类,同时减少了建模的运算量,通过AUC值的优化,比单纯依据词频降维构建的随机森林模型分类效果更好.

基于MAXENT模型的黑龙江大兴安岭森林雷击火火险预测

黑龙江大兴安岭是森林雷击火的高发地区,急需研发精确的火险预测模型对该区森林火灾进行预测.本文基于大兴安岭地区森林雷击火灾数据及环境变量数据,采用MAXENT模型进行森林雷击火的火险预测.首先对各环境变量进行共线性诊断,再利用累积正则化增益法和Jackknife方法评价了环境变量的重要性,最后采用最大Kappa值和AUC值检测了MAXENT模型的预测精度.结果表明:闪电能量和中和电荷量的方差膨胀因子(VIF)值分别为5.012和6.230,与其他变量之间存在共线性,不能用于模型训练.日降雨量、云地闪电数量及云地闪回击电流强度是影响森林雷击火发生的3个最重要因素,日平均风速和坡向的影响较小.随着建模数据比例的增加,最大Kappa值和AUC值均有增大趋势.最大Kappa值都大于0.75,平均值为0.772;AUC值都大于0.5,平均值为0.859.MAXENT模型的预测精度达到中等精度,可应用于大兴安岭地区的森林雷击火火险预测.

马铃薯甲虫在中国的适生区

马铃薯甲虫是一种外来的有害生物,已在新疆、黑龙江等地建立种群,危害马铃薯、番茄等农作物,危害范围在中国逐年蔓延扩大。预测马铃薯甲虫在中国的适生区,有利于制定该虫的早期监测预警及控制。根据马铃薯甲虫现有的分布记录,筛选出主要的环境变量,采用MaxEnt模型和ArcGIS软件对其在中国的潜在分布区进行预测和分析。结果表明:用主成分分析法、相关性检验结合刀切法筛选出7个主要环境变量,MaxEnt模型模拟的AUC值为0.917,预测结果与实际拟合度非常高;ArcGIS软件中重分类方法计算出马铃薯甲虫当代适生区总面积为3.72×10^6km^2,占中国国土面积的38.67%;高适生区仅占中国国土面积的0.08%,主要位于内蒙古自治区包头市和呼和浩特市辖区;中适生区面积为1.26×10^6km^2,占中国国土面积的13.07%,包括黑龙江、辽宁和河北的东部,四川的西部,甘肃的西南部,河南的西北部,山西的南部,新疆的北部,江苏、湖北、贵州和安徽的中部地区,山东广大地区以及内蒙古包头市周边;低适生区面积为2.45×10^6km^2,占中国国土面积的25.52%,主要分布在内蒙古中部、新疆北部、东北东部、华北、华中和华南的广大地区;年平均温度、最冷月最低温度和最干季度降水量是影响马铃薯甲虫适生区分布的最主要环境变量。

信用风险模型的贝叶斯改进研究

基于小样本数据和外部先验信息,本文运用贝叶斯(Bayes)估计量来改进信用风险模型的违约预测力。同时,运用中国上市公司财务数据,分别对贝叶斯估计量和标准Logit估计量进行了模拟估计,并通过统计量AUC值和布莱尔分数(Brier Score)对其预测精度进行比较。结果表明,贝叶斯估计量具有更高的预测精度和稳定性。