基于联合注意力机制和一维卷积神经网络-双向长短期记忆网络模型的流量异常检测方法

针对流量数据集中类别不平衡限制了分类模型对少数类攻击流量的检测性能这一问题,该文提出一种基于联合注意力机制和1维卷积神经网络-双向长短期记忆网络(1DCNN-BiLSTM)模型的流量异常检测方法。首先在数据预处理过程中利用BorderlineSMOTE方法对流量数据不平衡训练样本预处理,使得各类流量数据均衡,有助于后续模型对各类数据的充分训练。然后设计联合注意力机制和1DCNN-BiLSTM的模型对流量数据进行训练,提取流量数据的局部和长距离序列特征并进行分类,通过注意力机制将对分类有用的特征按其重要性赋予权值,提高对少数攻击类的检出率。实验结果表明,同几种现有方法相比,该文方法对NSL-KDD和CICIDS2017数据集的检测准确率最高(可达93.17%和98.65%),对NSL-KDD数据集中的提权攻击(U2R)攻击流量的检出率至少提升13.70%,证明了该文方法提升少数类攻击流量检出率的有效性。

基于双向长短时记忆网络和卷积神经网络的电力系统暂态稳定评估

基于机器学习方法的暂态稳定评估已成为电力系统分析与控制领域的热点,由于实际系统中存在不能实现相量测量单位(PMU)的全面覆盖以及数据采集存在噪声的问题,使得传统机器学习方法的评估性能受到较大限制。针对此,构建了一种在PMU最优布点上的时间序列特征,提出了一种将改进卷积神经网络(improved convolutional neural network,ICNN)与双向长短时记忆网络(bidirectional long short term memory network,BiLSTM)进行融合的评估方法。该方法首先利用BiLSTM提取电压、相角以及有功功率三种基本电气量的时间序列特征,随后通过卷积和池化操作对数据进行进一步的数据挖掘,最后利用轻量梯度提升机完成对数据的分类。为了避免出现过拟合现象,该方法还通过正则化、Dropout等方式提升模型的泛化性能。在新英格兰10机39节点上的算例表明,该方法能利用基本电气量数据进行暂态稳定评估,且在复杂条件下仍能保持较好的评估性能。

基于卷积神经网络-双向长短期记忆网络的人体活动识别方法

针对人体活动传感器数据的时序性特点,以及当前机器学习算法过度依赖手工特征提取的问题,提出了一种融合卷积神经网络和双向长短期记忆网络的深度学习模型(convolutional neural network-bidirectional long short term memory network,CNN-BiLSTM)进行人体活动识别(human activity recognition,HAR)。首先对人体活动数据进行样本分割,然后采用卷积神经网络(convolutional neural networks,CNN)自动提取人体活动数据的特征,再通过双向长短时记忆网络(bi-directional long-short term memory,BiLSTM)学习人体活动数据特征在时间序列上前后两个方向的相关性,最后利用softmax分类器实现对人体活动分类。DaLiAc公开数据集上的仿真实验结果表明:基于CNN-BiLSTM网络的人体活动识别方法对13种人体活动的识别准确率达到了97.7%,与仅具备时间特征学习的LSTM网络和BiLSTM网络相比,具有更好的识别分类效果。

基于生成对抗网络和混合时空神经网络的入侵检测

针对网络入侵检测领域存在检测准确率低的问题,研究异常流量样本少和分类器性能不佳时的入侵检测模型,提出一种基于改进生成对抗网络和混合时空神经网络的入侵检测模型。改进生成对抗网络通过学习异常流量样本的分布特性,生成具有特定标签的人工异常流量样本;融合卷积神经网络和双向长短时记忆神经网络提取攻击流量的时空融合特征,利用注意力机制对时空融合特征进行加权,构建混合时空神经网络对网络流量进行分类预测。在UNSW-NB15数据集上对所提模型进行仿真实验,准确率和F1分数分别为92.93%和94.81%,表明所提模型能够有效改善原始数据集中的类别不平衡性问题,提高对异常流量样本的检测能力和网络入侵的检测准确率。

结合密集神经网络与长短时记忆模型的中文识别

文本图像识别是计算机视觉领域一项重要任务,而其中的中文识别因种类繁多、结构复杂以及类间相近等特点很具挑战性.为改善这一问题,使用文本行端到端的识别模型.首次提出利用密集卷积神经网络(DenseNet)提取文本图像底层特征,同时避免手工设计、统计图像特征的繁琐;将整行图像特征直接送入双向长短时记忆模型(BLSTM)进行局部相关性分析,减少字符定位分割这一步骤;最后采用时域连接模型(CTC)解码获得识别的文本信息.实验表明所提出的模型可以高效的进行图像文本行的识别,并对图像的多种形变具有较好的鲁棒性.

基于CNN-BiLSTM混合神经网络的雷达信号调制方式识别

针对具有时频特性的雷达信号,传统的雷达信号识别方法已经无法满足对信号类型精准识别的需求,因此需要通过采集并分析雷达信号脉内的时频特征实现对目标雷达的具体信息进行有效评估。设计了一种卷积-双向长短时记忆(Convolution-Bidirectional Long Short-Term Memory,CNN-BiLSTM)混合神经网络模型,主要通过BiLSTM的时序记忆特性深度挖掘雷达信号的时域特征,结合权值共享特性和CNN层捕获雷达信号的时频特征,再利用二者信号特征联合完成对雷达信号调制方式的识别。通过对比实验验证,所提方法对若干种雷达信号的识别具有较高的准确度,平均值达到95.349%;优于只使用单一特征的网络和传统算法,具有良好的抗噪声能力。

基于多通道卷积双向长短时记忆网络的输电线故障分类

针对单通道故障分类器不能全面表达三相故障特征信息引起分类精度不高的问题,提出了一种基于多通道卷积双向长短时记忆神经网络(MCCNN-BiLSTM)的输电线故障分类方法。该方法可同时输入故障三相信号,并能有效提取故障信号的空间和时间特征,实现了三相故障信号特征的全面提取,有效地提高了神经网络的分类的精度。基于735 kV三相串联补偿输电线模型大量故障数据分析,对三相故障电压信号不采用任何特征提取算法,仅截取故障周期的三相电压幅值数据作为基本故障特征信号输入。仿真实验结果表明:该网络能快速准确地分类识别11种故障,并且不易受故障时刻、过度电阻等因素的影响,具有良好的鲁棒性和适应性。

基于深度神经网络的UHVDC输电系统故障诊断

针对传统特高压直流(UHVDC)故障诊断方法存在阈值整定复杂、灵敏度低以及耐受过渡电阻能力较弱的问题,提出了一种将多尺度卷积神经网络(multi-scale convolutional neural network,MCNN)、双向长短时记忆网络(bidirectional long short-term memory,BiLSTM)和注意力(Attention)机制相结合的UHVDC输电系统故障诊断方法。通过MCNN挖掘标准化后的故障数据不同尺度的空间特征;利用双层BiLSTM获取数据中的时序依赖特征;引入Attention机制为数据的不同特征向量合理分配注意力。结果表明:所提方法在4种评价指标上都优于其他对比算法,能够准确识别UHVDC输电系统的各种区内、外故障和测量故障,并且在面对高阻故障时仍然具有较高的分类精度。

模型误差影响下基于CNN+BiLSTM神经网络的非圆信号目标直接跟踪算法

针对运动观测阵列状态误差与接收频率抖动同时影响下的非圆信号无源跟踪问题,提出了一种基于卷积神经网络(Convolutional Neural Network,CNN)+双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiL⁃STM)的直接跟踪算法.该算法首先利用多运动观测阵列信号各频带间的相关性与辐射源信号的非圆特性,建立模型误差影响下的扩展多站观测矢量;接着利用多个观测时隙内扩展多站观测矢量的信号子空间构造空时特征输入序列;然后设计基于CNN与BiLSTM混合神经网络的直接跟踪模型,通过训练实现对非圆目标的轨迹矢量直接估计.本文算法是从原始数据信号子空间中估计轨迹矢量的直接跟踪模式,相比传统“观测参数估计+滤波轨迹跟踪”的两步估计模式,具有更高的估计精度.由于本文算法在神经网络训练过程中学习到模型误差的信息,因此能够实现对多种误差的校正.仿真结果表明,本文算法较传统两步跟踪算法与现有直接跟踪算法均具有更高的轨迹估计精度,能够明显提升模型误差影响下多站协同跟踪的鲁棒性.

基于CNN-BiLSTM-HAN混合神经网络的高校图书馆社交网络平台细粒度情感分析

[目的/意义]从高校图书馆社交网络平台用户评论数据挖掘角度出发,对用户评论情感极性进行细粒度分析,为高校图书馆了解用户真实情感倾向并提升服务质量提供科学依据。[方法/过程]以国内高校图书馆社交网络平台用户中文评论数据为研究对象,通过Tensor Flow深度学习框架,利用Keras人工神经网络库,将卷积神经网络(Convolution Neural Network,CNN)和双向长短时记忆网络(Bidirectional Long Short Term Memory,BiLSTM)结合,并引入层次化注意力机制(Hierarchical Attention,HAN),构建基于CNN-BiLSTM-HAN混合神经网络的情感分析模型。[结果/结论]利用真实高校图书馆社交网络平台用户评论数据集进行实验,本文方法取得93.38%的准确率,结果表明本文模型的有效性。模型较为复杂,导致模型训练时间上较长,方法模型的普适性有待进一步检验,表情符号信息没有得到有效利用,参数设置尚需进一步研究。

基于相关性分析与CNN-BiLSTM神经网络的PSZ陶瓷磨削表面粗糙度智能预测

部分稳定氧化锆(Partially stabilized zirconia,PSZ)陶瓷因其优越的性能在航空航天工业等领域有广泛的应用。表面粗糙度是评价PSZ陶瓷磨削加工水平的关键指标,为了降低磨削表面粗糙度的预测误差,提出了一种基于相关性分析与卷积-双向长短期记忆神经网络(Convolution-bidirectional long short term memory neural network,CNN-BiLSTM)的PSZ陶瓷磨削表面粗糙度声发射预测模型。通过分析磨削声发射信号特征值与磨削表面粗糙度值之间相关性,筛选出磨削声发射信号与磨削表面粗糙度之间的最相关频段和特征矩阵,作为CNN-BiLSTM神经网络的输入参数以降低磨削表面粗糙度声发射预测的误差。研究结果表明,基于相关性分析与CNN-BiLSTM神经网络的PSZ陶瓷磨削表面粗糙度的平均预测误差低于3.92%。

基于混合神经网络模型的空气污染物预测研究

为了更好地预测未来一段时间内空气中污染物的含量,提高预测精度,减小误差,提出了一种基于一维卷积神经网络(CNN),和双向长短时记忆网络(BiLSTM)结合了注意力机制(AT)和粒子群优化(PSO)的CNN-BiLSTM-ATPSO空气污染物预测模型。一维卷积用于学习局部特征趋势,BiLSTM用于捕获时间序列之间的依赖关系,据此设计CNN-BiLSTM时间预测模型,并结合注意力机制和粒子群两种深度学习算法,进一步对模型进行改进。通过与LSTM-Attention模型和BiLSTM-Attention模型进行对比,通过比较评估指标平均绝对误差(MAE)和均方根误差(RMSE),得出结论,CNN-BiLSTM-ATPSO模型在预测精度方面具有显著优势。

基于迁移学习和Bi-LSTM神经网络的桥梁温度-应变映射建模方法

为快速构建并准确预测温度作用引起的斜拉桥主梁应变用于结构状态评估,基于某大跨度斜拉桥主梁超过1年的温度和应变监测数据,提出了一种基于迁移学习和双向长短时记忆(bi-directional long short-term memory,Bi-LSTM)神经网络的斜拉桥温度-应变映射模型建立方法。首先,利用解析模态分解(analytical mode decomposition,AMD)去噪应变数据,得到仅由温度引起的应变响应;其次,选择温度和某一测点应变数据构成数据集,采用Bi-LSTM神经网络训练该数据集,并通过网络结构和超参数优化建立温度-应变Bi-LSTM基准模型;最后,利用迁移学习方法,将已训练好的基准模型中部分参数迁移到其他温度-应变数据集,建立相应的温度-应变映射被迁移模型,并与未采用迁移学习的神经网络训练方法进行对比。研究结果表明,相比直接建立的温度-应变Bi-LSTM神经网络映射模型,采用迁移学习方法建立的被迁移模型,其拟合精度均高于所用的基准模型,且训练时间短,预测误差小。

基于注意力模型的卷积循环神经网络城市声音识别

环境声音识别(environment sound recognition,ESR)在基于情景感知和辅助技术等领域发挥着重要作用。卷积神经网络(CNN)和循环神经网络(RNN)作为两种最具代表性的特征提取方法,在语音和音乐信号处理方面都取得显著效果;然而二者都存在一定缺点,CNN无法有效提取时间特征,RNN在提取空间特征上也存在明显劣势。为了有效提取并利用时间特征和空间特征,提出一种新模型,利用时间分布CNN从梅尔频谱图中提取城市环境声音特征,然后应用双向长短时记忆网络(BiLSTM)从CNN输出中获取时间信息,最后在输出序列上实施注意力机制,从而关注到与城市环境声音最相关的特征进而做出分类判断,注意力机制既提高了分类准确性,又增强了模型的可解释性。实验结果表明:在Urbansound8K数据集中,该模型可获得80.2%的分类准确率,这优于以往在同一数据集的报告结果。

基于并行多尺度卷积记忆残差网络的物联网流量预测

针对现有物联网流量预测方法中特征提取不足、丢失重要信息、预测准确度不高的问题,提出了一种基于并行多尺度卷积记忆残差网络的物联网流量预测方法。首先,采用并行结构,CNN提取多尺度的局部特征得到包含有局部特征的序列,LSTM和BiLSTM分别提取前向的时间关系和前后向的时间关系得到有合适比例的前后向时间特征序列;其次,引入ResNet结构,在CNN、LSTM、BiLSTM的输入和输出之间加入跳跃连接,即通过跳跃连接在特征序列中加入原始序列信息;再次,在有原始信息的特征序列中分配可训练的权重参数,突出相应序列的重要性,进行拼接得到总的输出序列;最后,将总的输出序列输入到全连接网络中得到预测结果。实验结果表明,本方法在均方根误差(RMSE)、平均绝对误差(MAE)、拟合系数(R2)3项指标上要优于其他方法,能更准确地进行物联网流量的预测。

基于BERT和混合神经网络的诈骗电话文本识别

如今,电话诈骗案件层出不穷,严重危害到了人们的财产安全和社会的和谐安定。针对社会中的一些诈骗电话问题,提出了一种基于词嵌入和混合神经网络的文本分类方法,实现对诈骗电话文本的分类。首先构造了诈骗电话文本数据集,内容涵盖了金融、教育、邮递、银行等多类诈骗事件。为了优化文本的输入词向量,词嵌入部分采用基于Transformer的BERT(Bidirectional Encoder Representation from Transformers)模型来表示诈骗文本,同时采用基于双向长短时记忆网络(Bidirectional Long Short-Term Memory,BiLSTM)以及多尺度卷积神经网络(Convolutional Neural Network,CNN)的混合神经网络(BiLCNN)对文本的词嵌入表示进行特征提取,充分提取出文本的时序特征和局部相关特征,最后将特征融合在一起通过Softmax进行分类。通过实验比较了Word2vec、ELMo(Embedding from Language Model)和BERT三种词嵌入模型,表明BERT作为输入向量的优越性,同时在诈骗电话文本数据集上的实验结果表明,提出的模型BERT+BiLCNN相比Word2vec+CNN、ELMo+CNN和BERT+CNN模型,诈骗电话文本分类准确率分别提高了4.12%、2.84%和0.95%。

基于分层注意力机制的神经网络垃圾评论检测模型

针对现有垃圾评论识别方法很难揭示用户评论的潜在语义信息这一问题,提出一种基于层次注意力的神经网络检测(HANN)模型。该模型主要由以下两部分组成:Word2Sent层,在词向量表示的基础上,采用卷积神经网络(CNN)生成连续的句子表示;Sent2Doc层,基于上一层产生的句子表示,使用注意力池化的神经网络生成文档表示。生成的文档表示直接作为垃圾评论的最终特征,采用softmax分类器分类。此模型通过完整地保留评论的位置和强度特征,并从中提取重要的和综合的信息(文档任何位置的历史、未来和局部上下文),挖掘用户评论的潜在语义信息,从而提高垃圾评论检测准确率。实验结果表明,与仅基于神经网络的方法相比,该模型准确率平均提高5%,分类效果显著改善。

基于混合分布注意力机制与混合神经网络的语音情绪识别方法

针对现有语音情绪识别中存在无关特征多和准确率较差的问题,提出一种基于混合分布注意力机制与混合神经网络的语音情绪识别方法。该方法在2个通道内,分别使用卷积神经网络和双向长短时记忆网络进行语音的空间特征和时序特征提取,然后将2个网络的输出同时作为多头注意力机制的输入矩阵。同时,考虑到现有多头注意力机制存在的低秩分布问题,在注意力机制计算方式上进行改进,将低秩分布与2个神经网络的输出特征的相似性做混合分布叠加,再经过归一化操作后将所有子空间结果进行拼接,最后经过全连接层进行分类输出。实验结果表明,基于混合分布注意力机制与混合神经网络的语音情绪识别方法比现有其他方法的准确率更高,验证了所提方法的有效性。

基于深度神经网络的心律失常分类

为实现心电图(ECG)的心律失常自动诊断,提出了一种基于深度神经网络的分类模型。利用db6离散小波变换和移动均值方法去除ECG记录中的噪声后,级联卷积神经网络(CNN)从多通道提取ECG形态特征,并加入激励挤压(SE)模块对特征进行加权融合,自动学习特征的重要性程度;双向长短时记忆网络(BiLSTM)的双向传播层会获取特征的长时序列特性,模拟ECG的总体变化趋势,从而实现心律失常的自动分类。在2018中国生理信号挑战赛(CPSC)数据集上的实验表明,该模型对9种心律失常的多标签分类准确率为84.3%,与无SE模块的级联CNN和BiLSTM组合模型相比,准确率提高了1.8%,与现有的其它分类模型相比,准确率均有提升。

基于神经网络的英语口音识别

针对英语口音识别问题,首先基于梅尔频率倒谱系数(Mel-frequency cepstral coefficients,MFCCs),以卷积神经网络(convolutional neural network,CNN)-长短时记忆(long short-term memory,LSTM)网络为骨干网络,建立英语口音识别模型;然后对比研究了卷积神经网络-双向门限循环单元(CNN-bidirectional gated recurrent unit,CNN-BiGRU)模型和卷积神经网络-双向长短时记忆(CNN-bidirectional LSTM,CNN-BiLSTM)模型,并引入注意力机制,探索不同衍生模型在英语口音识别中的效果。实验结果表明,在小规模样本情况下,整体而言,CNN-BiLSTM模型对英语地域口音识别取得了较好效果,获得了74.0%的准确率。