基于聚类簇结构特性的自适应综合采样法在入侵检测中的应用

基于机器学习的网络入侵检测方法将恶意网络行为(入侵)检测转化为模式识别(分类)问题,因其适应性强、灵敏度高等优点,受到国内外广泛关注.然而,现有的模式分类器往往假设数据集的分布是均衡的,而真实的网络环境中,入侵行为要远少于正常访问,这给网络入侵行为检测带来巨大挑战.因此,提出一种基于聚类簇结构特性的综合采样法(CSbADASYN),通过挖掘少数类样本的内部结构对其进行自适应过采样,以获得样本分布结构特性保持的均衡数据样本,解决因数据不均衡带来的分类偏向.CSbADASYN先采用谱聚类方法对数据集中的少数类样本进行聚类分析,再根据所获得的聚类簇结构自适应插值,将获得样本分布结构保持的均衡样本用于分类器模型学习.在经典的NSL-KDD和KDD99数据集上进行大量的验证性和对比性实验,结果表明,CSbADASYN能使传统分类器模型在不均衡数据集上的分类性能得到明显提升.与传统的未经样本均衡处理和其他的带均衡处理的入侵检测方法相比,该方法能获得更低的误报率和漏报率.

基于数据过采样和深层特征提取的变压器故障诊断

针对变压器故障样本类别不平衡和模型诊断精度低的问题,首先使用自适应综合过采样对训练样本中少数类别进行扩充以平衡样本,然后通过深度信念网络对平衡后样本进行深层特征提取,最后将特征向量输入到XGBoost(extreme gradient boosting)进行故障诊断。算例分析表明,所提出的诊断模型准确率最高达91.94%;在样本类别不平衡条件下,所提故障诊断方法与BP神经网络、支持向量机、随机森林、XGBoost相比更优。

基于变分贝叶斯推断最优高斯混合模型的自适应不均衡数据综合采样法

实际的分类数据往往是分布不均衡的.传统的分类器大都会倾向多数类而忽略少数类,导致分类性能恶化.针对该问题提出一种基于变分贝叶斯推断最优高斯混合模型(varition Bayesian-optimized optimal Gaussian mixture model,VBoGMM)的自适应不均衡数据综合采样法.VBoGMM可自动衰减到真实的高斯成分数,实现任意数据的最优分布估计;进而基于所获得的分布特性对少数类样本进行自适应综合过采样,并采用Tomek-link对准则对采样数据进行清洗以获得相对均衡的数据集用于后续的分类模型学习.在多个公共不均衡数据集上进行大量的验证和对比实验,结果表明:所提方法能在实现样本均衡化的同时,维持多数类与少数类样本空间分布特性,因而能有效提升传统分类模型在不均衡数据集上的分类性能.

基于变分贝叶斯高斯混合模型的自适应不均衡数据综合采样

针对高斯混合模型能有效表征任意空间分布信息的优势,提出一种基于变分贝叶斯高斯混合模型的不均衡数据集的自适应采样处理,以获得相对均衡的数据集用于分类模型学习。首先使用最优化的变分贝叶斯高斯混合模型获得少数类样本的内部空间分布结构,然后基于样本的分布特性自适应生成少数类样本,最后利用Tomek-link对采样后的数据集进行清洗。提出的方法能在实现样本均衡化的同时,维持多数类与少数类样本空间分布特征信息。通过对多个不均衡数据集进行验证性和对比性实验,表明所提方法能有效提升传统分类器对于不均衡数据的分类精度。

基于ADASYN数据平衡化的PSO-BPNN变压器套管故障诊断

变压器套管作为设备重要的绝缘部件,其绝缘性能直接影响着设备的安全运行。为诊断变压器套管绝缘状态,改善变压器套管油中溶解气体的小样本不平衡数据对变压器套管故障诊断结果的影响,使用粒子群优化结合反向传播神经网络(particle swarm optimization combined with back propagation neural network,PSO-BPNN)和自适应综合过采样(adaptive synthetic sampling,ADASYN)算法对变压器套管进行故障诊断。首先收集变压器套管的历史故障数据,建立具有明确故障类别的变压器套管油中溶解气体样本集,并通过ADASYN算法对原始数据中的少数类样本进行合成,得到平衡后的故障数据,然后将平衡后的油中溶解气体作为模型输入,故障状态作为标签输出,通过PSO-BPNN模型对变压器套管进行诊断,最后在原始样本集下使用反向传播神经网络(back propagation neural network,BPNN)、遗传结合反向传播神经网络(genetic combined with back propagation neural network,G-BPNN)算法、布谷鸟搜索结合反向传播神经网络(cuckoo search combined with back propagation neural network,CS-BPNN)算法以及PSO-BPNN模型对套管进行诊断。结果表明,针对变压器油纸套管绝缘状态进行故障诊断的多个模型中,基于ADASYN平衡数据后的PSO-BPNN模型和其他模型相比准确度最高,能有效减小小样本不平衡数据对诊断结果的影响,为判断变压器油纸套管绝缘性能提供了有效方法。

针对不平衡数据分类的改进GBDT算法

许多传统的分类算法在处理不平衡数据时,训练出的分类器对多数类别样本预测准确率较高,而对少数类别样本的预测准确率较低。针对这一问题,提出一种改进的梯度提升决策树(GBDT)算法用于处理不平衡数据的二分类问题。数据层面,用自适应综合过采样(Adaptive Synthetic Sampling)技术增加少数类的样本数量。算法层面,将焦点损失函数(Focal Loss)引入到GBDT二分类算法中,增加模型对少数类样本的关注度。并且通过平衡化GBDT内部迭代时的每一次随机子采样,使基分类器的性能更稳定。在10组KEEL不平衡数据集上进行对比实验,实验结果验证了改进的可行性。并且用提出的改进算法与SMOTEBoost、RUSBoost、CUSBoost这三种流行的不平衡数据分类算法进行比较,实验结果表明所提改进算法在其中7组数据集上F1-measure值取得最高,其中6组数据集上G-mean值取得最高,验证了所提改进算法在处理不平衡数据的二分类问题时具有较好的效果。

基于ADASYN和GRU的电力系统暂态稳定评估方法

随着电力系统的广域互联,结构愈发复杂,电力系统暂态稳定性的准确评估受到了更多的关注。提出了基于自适应综合过采样和门控循环单元的电力系统暂态稳定评估方法。首先,利用自适应综合过采样算法处理电力系统样本类别不平衡问题,合成少数类样本。然后,使用得到的平衡样本集对门控循环单元评估模型进行训练。最后,在线应用时,输入相量测量单元采集的实时数据,通过训练好的门控循环单元快速评估电力系统暂态稳定性。在电力系统仿真软件PSS/E提供的23节点系统上进行仿真测试,仿真结果验证了所提方法的有效性。

基于ADASYN和Swin Transformer的滚动轴承故障诊断研究

针对实际工况下,正常样本丰富、故障样本稀缺的类别不平衡情形,导致基于深度学习的故障诊断模型诊断能力较差这一问题,提出一种基于自适应综合采样方法(ADASYN)和Swin Transformer的故障诊断模型。使用自适应综合采样方法,改善数据分布,解决实际工况中故障样本与正常样本类别不平衡问题;使用Swin Transformer网络模型代替CNN网络,并使用深度迁移学习方法,使Swin Transformer网络模型掌握判别滚动轴承故障所需的浅层权重,深层权重通过反向传播方法训练获得;之后,将模型用于轴承故障测试,并对其进行调试;最后,将模型用于轴承故障实测,检验其实际工况下的诊断能力。实验结果表明:所提模型具有97%的诊断准确率,能够很好地适用于类别不平衡情形下的滚动轴承故障诊断。

考虑误分类约束的电力系统暂态稳定评估

为解决基于机器学习的电力系统暂态稳定评估通常存在误分类,导致系统出现不可预测风险的问题,提出一种考虑误分类约束的电力系统暂态稳定评估方法。首先,通过自适应综合过采样算法对输入数据进行过采样处理。然后,采用群体最大信息系数进行数据降维。最后,基于伞式奈曼-皮尔逊分类器构建电力系统暂态稳定评估模型。在新英格兰10机39节点系统及1 648节点系统上的测试结果表明,所提方法的评估性能强于传统机器学习方法,且对漏判率有更好的限制效果,具有一定的实际应用价值。

我国房地产行业信用风险预测的实证研究——基于Stacking融合模型

为促进房地产行业平稳发展,本文以上市房地产企业数据为背景,融合ADASYN技术及Stacking算法构建性能表现优异、数据集适应度强的预测模型,旨在测度相关信用风险,为我国防范化解房地产重大金融风险尽绵薄之力。创新之处在于:一是从宏观角度引入与房地产业息息相关的经济增长风险(GDP同比-预期GDP同比)、利率风险(10年期国债收益率)、通胀风险(0.3*PPI+0.7*CPI)等指标;二是基于融合模型思想构建预测模型,从实践层面为解决传统信用风险预测模型单一问题提供新思路。实证结果表明:1、Stacking-BPNN均超越单一模型取得性能指标最优结果;2、结果依然存在较高风险值的原因在于房地产相关人口及购买力存在动力不足现象与企业自身“亚健康”现象,风险企业主要集中于财务风险型房企、战略错位型房企以及缺乏竞争力型房企。

战略耦合对区域经济韧性的影响研究——以广东省为例

战略耦合与区域经济韧性分别为关系经济地理学派与演化经济地理学派的关键变量,在当下已有的研究中,前者缺乏区域长期演化的动态视角,后者忽视区域外部的经济联系对区域内部的影响,二者缺乏理论对话;同时,战略耦合在当下缺乏定量研究,成为两个学派之间进行融合的阻碍之一。因此,以广东省21个城市为例,基于回归分析、地理探测器等方法,从区域经济中外资的出口主导、生产主导、技术主导3个维度来测度战略耦合程度对区域经济韧性的影响,以此尝试推动两个学派的互动。研究结论:(1)证实战略耦合对区域的经济韧性有着显著的影响,其中外资的生产主导影响最为显著,其次是外资的技术主导,影响最小的是外资的出口主导;(2)中国港澳台地区投资与其他外资对区域经济韧性的作用机制存在根本性差异,体现在区域韧性变动的过程中,二者在技术主导和生产主导维度上的影响效果相反;(3)GDP、FDI、出口总额等传统的全球化程度的测度指标不适合作为测度战略耦合对区域经济韧性影响的重要变量。本研究通过方法的创新,实现了对战略耦合的一次完整的定量测度,进一步实现了关系经济地理学派与演化经济地理学派在方法上的一次理论互动,为全球生产网络后续更加深入的量化研究奠定了基础。

基于Focal Loss修正交叉熵损失函数的信用风险评价模型及实证

针对信用评价违约、非违约样本比例失衡,容易出现评价模型对非违约样本识别过度,对违约样本、尤其是违约样本中困难样本识别不足的问题,将图像识别中得以广泛应用的焦点损失Focal Loss函数引入信用评价,构建Focal Loss修正交叉熵损失函数的信用风险评价模型,并用三个数据集验证了模型的有效性。创新与特色:一是在信用评价交叉熵损失函数中引入聚焦参数γ构造调节因子(1-y′)^(r),通过增大困难样本在目标损失中的权重,构建ADASYN-BPNN-FocalLoss信用风险评价模型,保证信用评价模型对不均衡数据中违约样本的识别力,弥补了现有深度学习信用评价模型无法有效识别不均衡数据中困难样本的不足。二是通过测算违约样本的K近邻非违约样本占比r_(i),求解需新合成的样本数g_(i),进而利用SMOTE算法合成新的违约样本,既保证了新生成的违约样本s;能够反映原信用评价数据的基本特征,也改变了现有违约、非违约样本不均衡致使评价模型判别能力偏低的现状。三是利用本文所建模型与ADASYN-BPNN-CrossEntropy、决策树、K最近邻、随机森林等5种模型,对中国1298个农户贷款数据和UCI公开的德国、澳大利亚信贷数据集进行分析,实证表明本文所建模型AUC、Type2-error等指标均优于现有模型。该方法可有效提升模型对困难样本的识别能力,改善违约预测性能。