一种基于XGBoost的用户行为异常检测方法

伴随企业业务的不断扩增和电子化发展,企业自身数据和负载数据都开始暴增。然而,作为企业核心资产之一的内部数据,却面临着日益严峻的安全威胁。越来越多以周期长、频率低、隐蔽强为典型特征的非明显攻击绕过传统安全检测方法,对大量数据造成损毁。对此,根据用户、实体、行为关联,提出整合可以反映用户行为基线的各类数据,提取几种最能反映用户异常的基础特征,利用XGBoost的特征选择策略与FCM聚类算法结合,通过异常打分,定位异常风险最大的一批用户。结果显示,新提出的异常检测算法有着82%以上的准确率,以及86%以上的召回率。

基于CNN-PCA-XGBoost的网络异常流量检测方法

网络入侵检测系统是网络安全的关键组成部分,异常流量检测是入侵检测的重要技术。本文针对传统检测模型误报率较高、效率低的问题,提出一种全新的异常流量检测模型CNN-PCA-XGBoost。利用CNN在特征提取上的优势,对流量特征进行初步提取,PCA在保留原数据重要成分基础上做进一步特征降维;结合高精度的XGBoost分类器,解决在CNN中使用softmax分类导致的准确度不高问题,从而提高网络异常流量的检测率。利用在公开数据集上对该方法进行实验评估。实验表明,该方法优于其他异常检测方法,对异常流量的检测准确率高达99.90%。与传统的PCA-XGBoost方法相比,准确率提升了3.6%。

基于改进VMD-XGBoost-BiLSTM组合模型的光伏发电异常检测

光伏发电是我国大力发展的重要新能源发电形式,其异常检测是为系统运维决策提供依据的重要环节。由组件老化、故障或不良因素造成的光伏系统运行状态异常将直接影响发电效率和能力,进而会对系统安全性和经济效益造成影响。然而,现有检测方法存在识别异常类型不全面、对标注数据数量依赖性强、更新模型成本高、对噪声和测量误差敏感等局限性以及不适合大规模推广部署的缺点。为解决这一问题,提出一种基于历史发电量以及气象监测数据的光伏发电异常检测方法。利用基于异常值去除和相关性分析的预处理步骤去除原始数据中的噪声并筛选最佳特征。通过变分模态分解(VMD)将数据分解成多个模态分量以提取光伏发电量的周期和非周期特征。构建改进VMD-XGBoost-BiLSTM组合模型,利用自适应赋权、Attention机制和改进鲸鱼优化算法的特点完成光伏发电量常态预测。在此基础上,通过与实际测量值进行对比,利用设定的规则进行异常判断。实验结果表明,该方法相较于单一BiLSTM和XGBoost模型平均误差下降幅度超过20%,其中约15.67%的性能提升得益于所提改进措施。

基于SSA−LSTM的风速异常波动检测方法

针对传统统计方法对风门开闭导致传感器监测数据异常波动的漏报率和误报率高的问题,通过挖掘风速传感器中时间序列数据中的数据特征,提出了一种基于奇异谱分析法(SSA)与长短期记忆神经网络(LSTM)组合的SSA−LSTM风速异常波动检测方法。首先利用SSA对风速传感器监测数据进行预处理,将风速数据分解为趋势分量、周期分量和噪声分量,通过重组趋势分量和噪声分量去除因湍流脉动产生的数据噪声;然后对LSTM进行参数优化,利用优化后的LSTM模型对预处理数据进行预测并得到重构风速;最后以对数概率密度函数计算监测风速与重构风速的异常分数,通过计算训练集数据样本的异常分数设定阈值对监测风速进行异常检测。试验结果表明:SSA去除因湍流脉动产生的数据噪声效果较好,在不影响数据波动情况下去除噪声分量,有助于提高风速重构效果和异常检测准确率;LSTM在无异常波动时能正确重构因湍流脉动导致的小幅波且与实际数据拟合效果较好,在有异常波动时根据历史波动趋势对异常波动段进行重构,可有效提高异常检测的准确率。通过对比分析,所提方法比ARIMA、BP、CNN模型的重构效果更好,异常检测准确率为99.2%,F1-Score为0.97,验证了所提方法的可靠性。表明本文所提方法在检测因风门开闭导致的风速异常波动上具有一定的应用价值。

面向软件定义网络的异常流量检测研究综述

针对软件定义网络(SDN)较传统网络更易遭受网络攻击的现实,从技术原理和架构特点出发,对近年来面向软件定义网络的异常流量检测研究进展进行综述,分析了SDN可能遭受网络攻击的组织形式,讨论了当前SDN异常流量检测、异常流量溯源、异常流量缓解相关技术的特点、优势及不足;对当前研究中常用的数据集进行了对比分析,并梳理出一些通用的数据预处理方法;总结并展望了未来SDN环境下异常流量检测方法的研究方向。调研结果可以指导实际应用需求中适配方法的选取,提出待解决的问题和矛盾可为后续研究提供引导。

考虑载客状态的改进孤立森林浮动车异常数据检测算法

为提高浮动车数据中异常数据检测能力及不同载客状态下的模型检测分析能力,提出基于S-DTA-IIForest(Summation&Difference Third Order Average&Improvement-Isolation Forest)的浮动车数据异常检测算法。构建由相邻两项求和(S)、三阶求和平均差分(DTA)的二维度空间SDTA特征向量;提出差额累计更新和动态区分辨识的改进孤立森林IIForest算法,通过设置停止阈值参数,避免当出现新样本异常值分数大于停止阈值时,仅更新样本不更新孤立森林模型的问题,设计每个二叉树区分辨识度参数,区分辨识度位于停止区间时停止二叉树生长,提高算法收敛性能,以ROC(Receiver Operating Characteristic)曲线下面积AUC(Area Under ROC Cure)、F1-score为指标对模型精度进行对比分析,并以重庆市中心城区学府大道开展实例验证。结果表明:本文S-DTA-IIForest组合算法AUC、F1-score分别为86.63%、0.89,AUC较传统孤立森林IForest(Isolation Forest)提高32.4%,运行效率提高1.29%,具有收敛速度更快、精度更高的优势,载客条件下模型AUC、F1-score较未载客分别提高7.7%、10.8%,组合算法对载客数据有更高的检测精度,且未载客状态数据异常率较载客状态增加71.4%,未载客数据异常率更高。

基于深度自回归模型的电网异常流量检测算法

针对电网中行为种类复杂多样且数量众多的问题,提出了一种基于自回归模型的电网异常流量检测算法。该算法利用深度自编码网络自动提取网络流量数据的特征,降低异常流量检测的分析周期,并自动挖掘数据的层次关系。通过支持向量机对提取的特征进行分类,实现对异常流量的检测。仿真实验结果表明,所提算法可以分析不同攻击向量,避免噪声数据的干扰,进而提高电网异常流量检测的精度,对于流量数据处理具有重要意义。

基于半监督学习的网络异常检测研究综述

网络流量数据的获取较为容易,而对流量数据进行标记相对困难。半监督学习利用少量有标签数据和大量无标签数据进行训练,减少了对有标签数据的需求,能较好适应海量网络流量数据下的异常检测。文章对近年来的半监督网络异常检测领域的论文进行深入调研。首先,介绍了一些基本概念,并深入剖析了网络异常检测中使用半监督学习策略的必要性;然后,从半监督机器学习、半监督深度学习和半监督学习结合其他范式三个方面,分析和比较了半监督网络异常检测领域近年来的论文,并进行归纳和总结;最后,对当前半监督网络异常检测领域进行了现状分析和未来展望。

基于UNet3+生成对抗网络的视频异常检测

为解决传统视频异常检测方法在不同场景下多尺度特征提取不完全的问题,提出两种方法:一种是用于简单场景的基于UNet3+的生成对抗网络方法(简称U3P^(2)),另一种是用于复杂场景的基于UNet++的生成对抗网络方法(简称UP^(3))。两种方法分别对连续输入的视频帧生成预测,引入多种损失函数和光流模型学习其外观与运动信息,通过计算AUC进行性能评估。U3P^(2)方法以6.3 M参数量在Ped2数据集的AUC提升约0.6%,而UP^(3)方法在Avenue数据集的AUC提升约0.8%,验证其能够有效应对不同场景下的异常检测任务。

基于生成对抗Transformer的电力负荷数据异常检测

电力负荷异常数据将给电力系统规划、负荷预测以及用能分析等带来较大的负面影响,因此亟须对负荷数据异常进行检测与识别。首先,针对电力负荷数据异常分类、原因及其特征开展分析。其次,改进传统Transformer编码器结构,采用多头注意力层代替掩码多头注意力层,同时移除前馈网络,以提高模型对负荷时序序列的全局注意力。基于生成对抗网络(generative adversarial networks,GAN)生成器与判别器的博弈结构,提出一种改进的GAN-Transformer模型,以更好地捕捉趋势性特征并加速模型收敛。然后,引入多阶段映射与训练方法,综合焦点分数打分机制,通过分阶段负荷序列重构帮助模型更好地提取负荷数据异常特征。最后,算例分析结果表明,GAN-Transformer模型在负荷数据异常检测精确率、召回率、F_(1)值以及训练时间方面均具有更优的性能,验证了所提方法的有效性和优越性。文中研究工作为基于深度学习进一步实现电力负荷数据异常分类与数据修复提供了有益参考。

基于特征信息熵与支持向量机的智能网联汽车CAN总线异常检测技术

本文结合CNA报文的结构特点,探究了基于特征、信息熵的异常检测技术和基于支持向量机的异常检测技术。基于特征、信息熵的异常检测技术,将CAN ID作为特征,统计包含该特征的所有报文并计算信息熵。根据信息熵确立阈值标准,对比CAN总线报文的熵值是否在阈值范围内,从而检测是否存在异常。仿真结果表明,在报文数量较少的情况下,该技术的异常检测率可以达到100%。基于支持向量机的异常检测技术,将异常报文预处理后输入到支持向量机中训练,得到异常检测指标。利用该指标与CAN总线报文进行对比,从而检测是否存在异常。实验结果表明,该技术对多种CNA报文的异常检测率在90%以上。

基于ResNet-LSTM的航空发动机性能异常检测方法

为了实现数据驱动的航空发动机性能异常的智能检测,提出了一种基于残差网络(ResNet)-长短期记忆网络(LSTM)的发动机性能异常检测方法。采用发动机性能数据图像化方法,在数据降维的同时,完备保留数据的关联特征和时序特征;以残差单元构建发动机性能异常检测模型,在加深网络结构的同时,消除深层网络梯度消失问题,提高发动机性能图像空间关联特征的提取能力。同时,引入LSTM,提出基于ResNet-LSTM的发动机性能异常检测模型,通过ResNet与LSTM的融合,强化异常检测模型对时序特征的提取,提升发动机性能异常检测的准确率;通过发动机运行数据进行验证。结果表明:在训练集上,该方法的异常检测准确率为94.95%,比基于ResNet18、ResNet34、ResNet50异常检测模型的分别提高10.87%、8.00%、3.23%;在测试集上,该方法的异常检测准确率为92.15%,比基于ResNet18、ResNet34、ResNet50异常检测模型的分别提高11.81%、9.45%、3.78%。

基于多尺度特征信息融合的时间序列异常检测

目前大多数的时间序列都缺少相应的异常标签,且现有基于重构的异常检测算法不能很好地捕获到多维数据间复杂的潜在相关性和时间依赖性,为了构建特征丰富的时间序列,提出一种多尺度特征信息融合的异常检测模型。该模型首先通过卷积神经网络对滑动窗口内的不同序列进行特征卷积来获取不同尺度下的局部上下文信息。然后,利用Transformer中的位置编码对卷积后的时间序列窗口进行位置嵌入,增强滑动窗口中每一个时间序列和邻近序列之间的位置联系,并引入时间注意力获取数据在时间维度上的自相关性,并进一步通过多头自注意力自适应地为窗口内不同时间序列分配不同的权重。最后,对反卷积过程中上采样得到的窗口数据与不同尺度下得到的局部特征和时间上下文信息进行逐步融合,从而准确重构原始时间序列,并将重构误差作为最终的异常得分进行异常判定。实验结果表明,所构建模型在SWaT和SMD数据集上与基线模型相比F1分数均有所提升。在数据维度高且均衡性较差的WADI数据集上与GDN模型相比F1分数降低了1.66%。

超声联合染色体检测在诊断胎儿心脏发育异常中的价值

目的本研究旨在探讨超声联合染色体检测对于诊断胎儿心脏发育异常的临床价值。方法前瞻性选取2022年1月至2022年12月在上海交通大学医学院附属国际和平妇幼保健院进行建档产检的孕妇进行超声检查,将高度疑似胎儿发育异常的96例孕妇纳入研究中。均接受染色体检测,以分娩后新生儿结局或引产诊断结果为金标准,对超声及染色体检测的诊断价值进行探究。结果对纳入研究的96例孕妇进行追踪随访(至分娩完成新生儿接受超声诊断或引产后接受病理诊断止),共追踪到29例胎儿心脏发育表现正常,67例胎儿心脏发育异常。经超声检查,32例产妇未见胎儿心脏发育异常,其他64例诊出胎儿心脏发育异常;经染色体检查,共诊出正常染色体36例,染色体异常64例。以分娩后新生儿结局或引产病理诊断结果为诊断金标准,超声检查真阳性(心脏发育异常)59例,真阴性(心脏发育异常)24例,超声联合染色体检测真阳性(心脏发育异常)63例,真阴性(心脏发育异常)23例。超声联合染色体检测诊断胎儿心脏发育异常的灵敏度、准确率分别为94.03%、89.58%,分别高于单独的超声检查(88.06%、86.46%),AUC值(95%CI)为0.854(0.762~0.946),优于单独的超声检查[0.878(0.773~0.960)]。结论超声联合染色体检测在诊断胎儿心脏发育异常方面具有较高的诊断价值和临床应用前景。相较于单独的超声检查,超声联合染色体检测展现出更高的灵敏度以及更优的准确率,可作为诊断胎儿心脏发育异常的有力工具。

基于概念漂移发现的业务过程异常检测方法

现有的业务过程异常检测方法假定业务过程固定不变,忽视因出现概念漂移而导致业务过程模型变化的情况,以致现有的异常检测方法准确率下降。提出一种使用事件日志、基于概念漂移发现的业务过程异常检测方法。构建结合概念漂移发现方法和基于循环神经网络的业务过程异常检测模型,从事件日志中提取事件序列特征数据集,使用该模型中的事件预测模块来预测事件发生的概率,根据事件发生的概率分布来计算事件日志中每个案例的异常分数。异常分数大于设定的异常评分阈值的事件所在的案例被认为是候选异常案例。使用霍夫丁不等式来判断概念漂移是否已发生,并使用双层滑动窗口机制来获取概念漂移案例的发生位置,从候选异常案例提取概念漂移案例。使用增量学习将概念漂移案例用于更新事件预测模块,使过程异常检测模型能够辨别概念漂移案例与真正异常案例,更准确地检测出真正的业务过程异常。实验结果表明,与主流的业务过程异常检测方法相比,所提异常检测方法可以较准确地发现业务过程中的概念漂移,能够更准确地检测出业务过程中发生的异常,对提高业务过程运行的平稳性有积极意义。

基于深度学习的视频异常检测研究综述

视频异常检测涉及概率统计、机器学习和深度学习等方法.文中旨在综合作者课题组研究成果和其它前沿科研工作,聚焦于基于深度学习的视频异常检测方法,全面探讨该领域的背景、挑战与解决方案.综合领域内的大多数相关论文,对其进行系统分析,以期为学者提供现阶段研究进展的基础认知.对基于深度学习的视频异常检测方法进行分类、分析,总结各类方法的网络模型选择,详细介绍常用数据集和性能评价指标,以性能对比突显各类方法的优势,并对视频异常检测领域的未来研究方向和应用场景进行深入探讨和展望.

面向类重叠日志的一致性异常检测模型

在系统日志异常检测中,决策边界出现的类重叠问题将导致传统分类器很难实现正确分类。为避免耗时的预处理技术或依赖特定算法,提出一致性异常检测模型。该模型计算样本与不同类别的隶属度,根据传统分类器的准确率差值选择最佳模糊度分离出类重叠日志;通过集成分类器的不一致性度量函数得到p值,根据预设置信度得到类重叠日志标签。实验结果表明,相比传统分类器,该模型的召回率和F值等平均提高10百分点左右,验证了该模型在处理类重叠问题的有效性。

网络异常检测领域概念漂移问题研究综述

【目的】随着网络技术的快速发展和广泛应用,网络异常检测作为保护网络安全和维护系统正常运行的手段变得越来越重要。然而,网络中异常行为和攻击手段不断变化,给异常检测带来了新的挑战。其中,概念漂移问题是网络异常检测领域中受到广泛关注的难点之一。【方法】本综述旨在对网络异常检测领域中概念漂移问题进行研究分析和总结。与前人的研究相比,本文将专注于网络异常检测领域的流数据。【文献范围】首先,对概念漂移进行详细介绍,包括定义、产生原因和特点。通过对概念漂移的全面理解,可以为后续的检测方法提供指导。其次,系统性地介绍了概念漂移检测方法,主要包括基于统计的方法、机器学习方法和深度学习方法等,并对比了各类方法的优缺点和适用场景。最后,探讨了概念漂移在未来可能的研究方向。【结论】本文聚焦于网络异常检测领域的概念漂移问题,通过详细介绍概念漂移的定义、产生原因和特点,以及深入分析和总结针对流数据概念漂移的检测方法,为未来研究方向提供了有价值的参考和指导。

DNA无创产前检测及彩色多普勒超声检查在高危孕妇胎儿 染色体异常筛查中的应用价值

目的探讨DNA无创产前检测(NIPT)及彩色多普勒超声(简称彩超)检查在高危孕妇胎儿染色体异常筛查中的应用价值。方法选取2020年1月至2022年12月于该院接受产前检查的5862例高危孕妇作为研究对象,均接受NIPT、彩超检查,以羊水穿刺结果或分娩结局作为诊断胎儿染色体异常的金标准,比较NIPT、彩超检查及二者联合检查对高危孕妇胎儿染色体异常的诊断效能。结果5862例高危孕妇中共检出167例胎儿染色体异常,检出率为2.85%。167例胎儿染色体异常中胎儿染色体数目异常161例,构成比为96.41%;胎儿染色体结构异常6例,构成比为3.59%。彩超检查共诊断出119例孕妇胎儿染色体异常,经一致性分析,彩超检查诊断胎儿染色体异常的灵敏度为0.713,特异度为0.884,准确率为87.96%,Kappa=0.215,P<0.05。NIPT共诊断出133例孕妇胎儿染色体异常,经一致性分析,NIPT诊断胎儿染色体异常的灵敏度为0.796,特异度为0.945,准确率为94.05%,Kappa=0.408,P<0.05。彩超检查联合NIPT共诊断出158例孕妇胎儿染色体异常,经一致性分析,二者联合检查诊断胎儿染色体异常的灵敏度为0.946,特异度为0.986,准确率为98.50%,Kappa=0.775,P<0.05。结论NIPT与彩超检查用于筛查高危孕妇胎儿染色体异常均具有一定价值,二者联合检查可获得更高的灵敏度、特异度和准确率,能有效降低漏诊及误诊风险。

一种改进聚类算法的时间序列异常检测方法

时间序列异常检测被广泛应用于民航领域,对飞机快速存取记录器收集的时间序列数据进行异常检测为识别降低安全裕度的事件提供了有力手段。为了提高时间序列异常检测的准确率,提出一种基于改进聚类算法的时间序列异常检测方法。将K-Medoids聚类算法的欧氏距离度量方法替换为动态时间规整距离度量方法,根据样本点与中心点之间的距离判定异常,研究通过飞机飞行参数超限检测测试时间序列异常检测方法的有效性。实验结果表明,与传统聚类算法相比该方法的异常检测准确率和F1分数更高。聚类算法使用动态时间规整度量距离优化了时间序列相似性度量的精度,可以对形态特点相似的时间序列数据更好地聚类,提高了聚类算法的准确性。