基于eBPF和ConvLSTM的5G-R网络安全审计系统研究

在铁路5G专网快速发展的背景下,铁路网络信息安全关系到铁路运行安全等方面。但当前成熟的铁路网络安全设备多是针对可能存在的非法入侵、外网干预等外部安全隐患,对于内部使用不当或通信异常带来的安全问题,还未有系统性的检测方法。因此,提出一种可同时进行网络内外异常检测、集流量抓取和数据分析为一体的实时性较强的网络安全审计系统成为迫切需要。设计从网络安全审计的三大关键技术出发,分别对应本系统的数据采集、数据解析、流量识别三个模块,并说明系统在网络中部署的环境与位置。具体运用了eBPF技术抓取网络流量数据包,利用深度学习的数据预处理方法提取其中特征信息,并导入已训练好的ConvLSTM模型中进行预测,最终判断是否出现异常流量。通过两个数据集的实验验证并与传统算法进行对比,此网络安全审计系统针对外部攻击流量的预测准确率可以达到0.97,针对内部通信异常预测准确率为0.96,实现了对外部或内部因素导致的网络流量异常问题的监测与排查,以便快速反应采取进一步措施。针对5G-R场景进行的网络安全审计系统设计和研究可以为未来铁路面临的网络安全挑战提供技术支撑和帮助。

融合ConvLSTM和多注意力机制网络的高光谱图像分类

近年来,基于深度学习的模型在高光谱图像(HSI)分类方面效果显著。针对小样本数据基于深度学习的高光谱图像分类方法分类精度不高的问题,提出一种融合卷积长短期记忆(ConvLSTM)和多注意力机制网络的高光谱图像分类方法。该方法分三个分支:光谱分支、空间X分支和空间Y分支分别提取光谱特征、空间X特征和空间Y特征,并将三个方向的特征融合进行高光谱图像分类。由于ConvLSTM在学习有价值的特征和对光谱数据中的长期依赖关系建模方面表现出良好的性能,所以在光谱分支中用了3个隐藏层、卷积核大小为3×3、通道分别为150、100和60提取光谱信息。在空间X分支和空间Y分支,采用基于DenseNet和3D-CNN的Dense空间X块和Dense空间Y块分别提取空间X特征和空间Y特征。为了增强特征提取,在这三个分支中还分别引入了其特征方向的注意力机制,针对信息丰富的光谱波段设计了光谱注意块,信息丰富的像素点分别设计了空间X和空间Y注意块。在三个公开的高光谱数据集上进行了实验,即Indian Pines(IP)、Pavia University(UP)和Salinas Valley(SV)数据集;并对比了其他五种方法:基于RBF径向核的支持向量机模型(SVM)、更深更广的卷积神经网络模型(CDCNN)、快速密集光谱-空间卷积网络模型(FDSSC)、空谱残差网络模型(SSRN)、双分支双注意力机制网络模型(DBDA)。实验中,IP数据集上训练样本和验证样本的大小设为总样本的3%,UP和SV数据集上训练样本和验证样本的大小设为总样本的0.5%。该方法和所有基于深度学习的方法,批处理大小均设置为16,优化器设为Adam,学习率设置为0.0005,并动态调整学习率。由于SVM直接利用光谱信息进行分类,输入样本块像素大小为1×1,其他基于深度学习方法的输入样本块像素均设置为9×9。实验结果表明,该方法能充分利用高光谱图像的光谱和空间特征,在OA、AA、KAPPA等评价标准上均获得了更好的效果,其中,该方法的OA指标比次优的算法平均提高0.12%~2.04%。

基于YOLO和ConvLSTM混合神经网络的暴力视频检测

为解决现有暴力视频检测算法所存在的特征提取繁琐、时空特征信息利用少等问题,提出一种基于YOLO和ConvLSTM混合神经网络的暴力视频检测算法,通过1×1卷积改进DarkNet-53特征提取网络的全连接层,进而结合ConvLSTM根据时空信息序列化建模进行检测,解决了原本全连接层破坏图像结构、输入尺寸固定的问题,更好地保留了暴力视频的特征。经Hockey、RWF-2000和自定义的数据集实验的结果表明,该模型较其他传统模型的分类准确率更高。

基于足底压力和卷积长短期记忆神经网络的前交叉韧带断裂智能辅助诊断

提出一种基于卷积长短期记忆神经网络的深度学习模型PressureConvLSTM,用来提取行走过程中足底压力的空间特征和时序特征,并进行步态分类。通过对前交叉韧带断裂患者的足底压力数据分析,实现智能辅助诊断。结合临床数据的实验结果表明,PressureConvLSTM模型对前交叉韧带断裂的辅助诊断,能够达到95%的预测准确度;与卷积神经网络等其他模型相比,准确度得到大幅度提升。

基于毫米波雷达感知的CNN⁃ConvLSTM多时刻阻塞预测方法

针对当前毫米波雷达辅助无线通信单时刻阻塞预测无法适应高移动复杂场景的问题,提出一种结合卷积神经网络(CNN)和时空序列预测模型(ConvLSTM)的多时刻持续阻塞预测方法。该方法通过构造时间分布层存储CNN提取的热图特征,解决了卷积神经网络单次处理多张雷达热图可能存在的特征缺失问题,实现了连续热图特征的多帧分组。进而,利用ConvLSTM对输入多帧时空序列进行处理实现多时刻阻塞预测。利用DeepSense 6G真实场景数据的实验结果表明,该方法的多时刻预测结果均能达到90%的准确率和80%以上的F1-score,具备多时刻精确阻塞预测能力。本文方法在复杂动态环境下高频段通信的高可靠、低时延QoS保障方面具有重要的理论和应用价值。

基于ConvLSTM的高速公路交通流预测仿真研究

交通流通常具有复杂时空关联性,且易受天气、速度等外部因素的影响。为提高高速公路关键节点交通流预测的准确性,设计一种基于ConvLSTM网络且融合时空关联性和外部因素的交通流预测模型——STE-ConvLSTM。构建交通流、速度、天气时空矩阵,将其延深度方向堆叠,通过滑动窗口模型将其处理为类图像时间序列数据,利用ConvLSTM网络提取交通流的时空关联性和外部因素特征;利用卷积层实现交通流预测多变量多步输出。实验结果表明,相较于传统的交通流预测模型,该模型在交通流多步预测方面的预测准确度有所提升。

基于卷积LSTM的混凝土裂缝图像识别技术

为有效解决混凝土裂缝图像识别出现的断裂和内部空腔问题,提高裂缝整体区域定位识别精度,本文提出了基于卷积长短期记忆网络(Long Short Term Memory networks,LSTM)的裂缝识别方法。通过滑动窗口切分裂缝图像使邻近裂缝间呈现时空延续性;基于编解码的图像分割思想,构建基于VGG(Visual Geometry Group)骨干网络的特征提取编码器,结合卷积LSTM模块学习裂缝的上下文关联特征,通过解码器和分类模型实现裂缝分割,建立编解码特征独立的EDConvLSTM(Encoder‐Decoder Convolutional Long Short Term Memory networks)裂缝分割模型,并进一步构建编码器与解码器特征融合的FEDConvLSTM(Fused Encoder‐Decoder Convolutional Long Short Term Memory networks)模型,将高层特征与底层特征相结合,在保证裂缝完整性的同时充分挖掘裂缝的边缘信息,实现混凝土裂缝的精准分割。利用Github平台Yhlleo提供的开放基准数据集DeepCrack对模型进行训练并测试,结果表明,基于VGG16骨干网络的EDConvLSTM模型在测试集上的召回率可达86%,优化后的基于VGG19的FEDConvLSTM模型分割交并比相较于Segnet、Unet、AttentionUnet模型分别提升了6%、4%、1%。结合卷积LSTM网络的编解码分割算法能够解决裂缝识别完整性问题,并提升裂缝的识别精度。

基于Informer算法的病毒传播预测研究

新冠肺炎病毒等疫情受多种复杂现实因素的影响,因此疫情的发展存在不确定性。为了解决基于传染病仓室模型受自身诸多理想假设条件的限制而导致疫情预测结果误差较大的问题,采用基于深度学习的时序预测模型对疫情发展进行预测,建立了一种基于Transformer模型的Informer模型,并将注意力机制和蒸馏机制应用到疫情数据的时序预测中。以门限自回归(Threshold AutoRegressive, TAR)模型和多种主流的循环神经类时序预测模型作为对比模型,通过仿真实验,对中国、美国和英国的疫情数据当前尚存感染人数进行短期预测,并以均方根误差(RMSE)和平均绝对误差(MAE)为评价指标,选择最佳模型进行了中长期的预测。结果表明,无论是RMSE还是MAE,Informer模型的指标值都是最优的,表明Informer模型对中国、美国和英国疫情的预测精度比其他对比模型高。最后,使用Informer模型对中国、美国和英国的疫情发展进行了中长期预测。

基于C3D和CBAM-ConvLSTM的犯罪事件视频场景分类

随着平安城市项目的不断推进,我国大部分城市已经实现监控全覆盖,并且每天产生海量的监控视频,利用人工智能的方式实现监控视频的自动化处理是目前待解决的问题。针对上述问题,本文提出一种基于C3D和CBAM-ConvLSTM(convolutional block attention module-convolutional long short-term memory network)的视频场景分类算法,对监控中的犯罪事件进行有效分类。首先,使用C3D网络和注意力机制提取监控视频的局部空间特征和局部时间特征;然后,将提取的视频特征序列输入到CBAM-ConvLSTM中提取视频的全局空间特征及全局时间特征;最后,根据全局特征使用分类器对输入视频进行犯罪事件分类。实验在自建的犯罪事件数据集Crimes-mini和公开的暴力行为数据集Hockey两个数据集上进行验证,犯罪事件分类的准确率可达92.19%、F1值可达90.40%;暴力行为分类的准确率可达99.5%、F1值可达99.5%。测试结果表明,论文提出的方法能够较有效地对监控视频中的犯罪事件、暴力行为进行分类。

深度学习提取时空特征的堆石坝变形预测模型

当前堆石坝变形智能预测模型较少关注多测点变形时间序列在时空特征上的不均衡性,因此限制了变形预测精度的进一步提高。为了解决该问题,本文提出了一种结合卷积神经网络、注意力机制和长短期记忆神经网络的堆石坝变形预测模型(CTSA-ConvLSTM),该模型可以提取变形时空特征,对不同时刻和不同位置的测点赋予不同的权重系数,实现对堆石坝整体变形规律的自适应学习。以水布垭面板堆石坝为例,采用该模型和最大断面所有测点的变形监测数据,验证了模型的有效性。模型预测效果优于Holt-Winters等常规时序预测模型,预测精度也优于笔者提出的基于LSTM的变形预测模型。通过深度学习提取监测数据时空特征,进一步提高了大坝变形预测精度,为大坝安全监控模型提供了新的思路。

基于CNN-ATT-ConvLSTM的行人属性识别

针对现有行人属性识别方法忽视行人属性的互相关性和空间信息导致识别性能较低的问题,将任务视为时空序列多标签图像分类问题,提出基于卷积神经网络(CNN)和卷积长短期记忆网络(ConvLSTM)并融合通道注意力机制的模型。用CNN和通道注意力提取行人属性的显著性和相关性视觉特征;用ConvLSTM进一步提取视觉特征的空间信息和属性相关性;以优化序列对行人属性进行预测。在两个常用行人属性数据集PETA和RAP上进行大量实验,取得了最佳性能,证明了该方法的优越性和有效性。

基于Co-LSTM-FC网络的糖尿病伴周围神经病变临床决策支持系统研究

为了实现辅助医生对糖尿病伴周围神经病变(DPN)进行早期诊断与决策,针对DPN早期预测提出一种基于Co-LSTM-FC网络的临床决策支持系统(DPN-CDSS)。Co-LSTM-FC网络模型使用FC-LSTM网络和ConvLSTM网络共同对患者的临床数据进行特征提取,减轻单一模型运算时出现的权重偏差,同时利用全连接神经网络对患病特征进行分类,提高预测模型准确率。本文方法的准确率、特异度、F1值、G-mean值和AUC值分别为95.51%、94.24%、95.06%、95.08%和94.37%,与对比模型相比获得的结果准确度更高。DPN-CDSS用户界面包括用户登录、数据输入和结果显示界面,方便医生和患者进行使用。该系统可提前筛查患者的得病情况,辅助医生进行初期诊断,提升诊疗效率。

基于WCGAN的出租车需求热点预测

出租车空驶影响交通资源分配,同时影响出租车司机收益,准确的出租车需求热点预测可以有效地指导出租车驾驶员对寻客路线进行优化,针对该问题提出了基于条件生成对抗网络的出租车需求热点预测方法。该方法在Wasserstein条件生成对抗网络(WCGAN)的基础上,利用生成器中的卷积长短时记忆神经网络(ConvLSTM)捕捉时间序列的长期依赖关系,分别利用时间判别器和空间判别器提取乘客历史需求分布时空特性。利用兰州市出租车轨迹数据,将提出的方法与长短时记忆神经网络(LSTM)算法、时空残差网络(ST-ResNet)和BP神经网络(BPNN)三种算法进行对比,平均绝对误差分别降低了17.3%、8.4%和10.3%。

基于时空域增强微多普勒谱图的行为识别方法

为缓解新冠疫情下医护人员短缺的现象,实现对住院患者的智能监护,本文基于调频连续波(FMCW)雷达提出了一种新的基于时空域增强微多普勒谱图的行为识别方法。首先,该方法对雷达获取的人体行为数据构造微多普勒谱图;然后利用一种新的直方图均衡化和同态滤波相结合的时空域增强算法用于谱图信息的增强;最后采用一种改进的卷积长短时记忆网络(ConvLSTM)提取谱图的时空域特征,并有效辨识喝水、跌倒等7种住院患者常见行为。实验结果表明,基于本文方法对7种动作的识别准确率能达到94%,可以有效的监护患者的行为。

基于时间注意力机制和EfficientNet的视频暴力行为检测

针对一般的暴力行为检测方法模型参数量大、计算复杂度高、准确率较低等问题,提出一种基于时间注意力机制和EfficientNet的视频暴力行为检测方法。首先将通过对数据集进行预处理计算得到的前景图输入到网络模型中提取视频特征,同时利用轻量化EfficientNet提取前景图中的帧级空间暴力特征,并利用卷积长短时记忆网络(ConvLSTM)进一步提取视频序列的全局时空特征;接着,结合时间注意力机制,计算得到视频级特征表示;最后将视频级特征表示映射到分类空间,并利用Softmax分类器进行视频暴力行为分类并输出检测结果,实现视频的暴力行为检测。实验结果表明,该方法能够减少模型参数量,降低计算复杂度,在有限的资源下提高暴力行为检测准确率,提升模型的综合性能。

基于3D全时序卷积神经网络的视频显著性检测

视觉是人类感知世界的重要途径之一。视频显著性检测旨在通过计算机模拟人类的视觉注意机制,智能地检测出视频中的显著性物体。目前,基于传统方法的视频显著性检测已经达到一定的水平,但是在时空信息一致性利用方面仍不能令人满意。因此,文中提出了一种基于全时序卷积神经网络的视频显著性检测方法。首先,利用全时序卷积对输入视频进行空间信息和时间信息的时空特征提取;然后,利用3D池化层进行降维;其次,在解码层中用3D反卷积和3D上采样对前端特征进行解码;最后,通过把时空信息有机地提取与融合,来有效地提升显著图的质量。实验结果表明,所提算法在3个广泛使用的视频显著性检测数据集(DAVIS,FBMS,SegTrack)上的性能优于当前主流的视频显著性检测方法。

基于空间自适应卷积LSTM的视频预测

在视频预测领域,传统的CNN与LSTM都不能充分表征视频中的时空特征。针对这一问题提出空间自适应卷积LSTM算法。受空间变换网络启发,在卷积LSTM内部的“input-to-state”计算过程中将传统卷积操作改为空间自适应卷积:利用额外卷积层获得自适应卷积所需的位置参数,令自适应卷积根据时空信息选择卷积位置,提升模型捕捉时空变换特征的性能;并针对雷达回波预测提出多分支编码预测的网络架构,根据降水类别训练4个不同的支路,以提升网络的预测性能。在合成数据集与真实数据集上的实验结果表明,该模型取得了有竞争力的结果,单独设计一个模块让网络显式地学习某种特征会使网络有更好的性能。

一种基于ConvLSTM神经网络的TOC含量地震预测方法

TOC(Total Organic Carbon,总有机碳)含量所表征的有机质丰度是评价烃源岩生烃潜力的重要指标之一.地震弹性参数与岩石的TOC含量之间存在一定的相关性,而且这种关系可能是非线性的.由于线性回归和XGBoost(Extreme Gradient Boosting,极端梯度提升)方法的复杂映射能力有限,以致TOC含量预测精度有限.本文提出了一种基于ConvLSTM(Convolutional Long Short-Term Memory,卷积长短时记忆)神经网络的TOC含量地震预测方法,主要包括网络搭建、数据预处理、网络训练和测试四个部分.通过训练具有强复杂映射能力的ConvLSTM神经网络来建立TOC含量与地震弹性参数(纵波阻抗、速度比以及泊松比)之间的非线性关系,以有效地预测TOC含量的区域性分布.L区的数据试算结果表明,相比于线性回归和XGBoost方法,本文方法具有更高的TOC含量预测精度.

5G核心网业务模型的智能化预测研究

核心网业务模型的建立是5G网络容量规划和网络建设的基础,通过现有方法得到的理论业务模型是静态不可变的且与实际网络存在偏离。为了克服现有5G核心网业务模型与现网模型适配性较差以及规划设备无法满足用户实际业务需求的问题,提出了一种长短期记忆(long short-term memory,LSTM)网络与卷积LSTM(convolution LSTM,ConvLSTM)网络双通道融合的5G核心网业务模型预测方法。该方法基于人工智能(artificial intelligence,AI)技术以实现高质量的核心网业务模型的智能预测,形成数据反馈闭环,实现网络自优化调整,助力网络智能化建设。

基于ConvLSTM网络的多源降雨融合方法

针对现有实测和预报降水资料时空误差显著的问题,以雅砻江流域为研究区域,基于全球降雨观测计划(GPM)数据、流域地形资料及国家级气象站降雨观测资料,采用能够同时考虑数据时间和空间特征的ConvLSTM网络构建了多源数据驱动降雨融合模型,并采用该模型得到了雅砻江流域0.05°分辨率的日降雨融合数据集.结果表明:所提模型降雨融合结果与实测面雨量相关系数可达0.91,平均绝对误差和均方根误差较GPM原始降雨数据、地理加权回归方法及长短期记忆网络(LSTM)模型融合降雨数据有所提高.