融合BiLSTM与CNN的推特黑灰产分类模型

当前推特等国外社交平台,已成为从事网络黑灰产犯罪不可或缺的工具,对推特上黑灰产账号进行发现、检测和分类对于打击网络犯罪、维护社会稳定具有重大意义。现有的推文分类模型双向长短时记忆网络(bi-directional long short-term memory,BiLSTM)可以学习推文的上下文信息,却无法学习局部关键信息,卷积神经网络(convolution neural network,CNN)模型可以学习推文的局部关键信息,却无法学习推文的上下文信息。结合BiLSTM与CNN两种模型的优势,提出了BiLSTM-CNN推文分类模型,该模型将推文进行向量化后,输入BiLSTM模型学习推文的上下文信息,再在BiLSTM模型后引入CNN层,进行局部特征的提取,最后使用全连接层将经过池化的特征连接在一起,并应用softmax函数进行四分类。模型在自主构建的中文推特黑灰产推文数据集上进行实验,并使用TextCNN、TextRNN、TextRCNN三种分类模型作为对比实验,实验结果显示,所提的BiLSTM-CNN推文分类模型在对四类推文进行分类的宏准确率为98.32%,明显高于TextCNN、TextRNN和TextRCNN三种模型的准确率。

图像处理中CNN与视觉Transformer混合模型研究综述

卷积神经网络(CNN)与视觉Transformer是目前图像处理领域中两大重要的深度学习模型,两者经过多年来不断的研究与进步,已在该领域取得了非凡的成就。近些年来,CNN与视觉Transformer的混合模型正在逐步兴起,广泛的研究不断克服两种模型存在的弱项,高效地发挥出各自的亮点,在图像处理任务中表现出优异的效果。基于CNN与视觉Transformer混合模型进行深入阐述。总体概述了CNN与Vision Transformer模型的架构和优缺点,并总结混合模型的概念及优势。围绕串行结构融合方式、并行结构融合方式、层级交叉结构融合方式以及其他融合方式等四个方面全面回顾梳理了混合模型的研究现状和实际进展,并针对各种融合方式的主要代表模型进行总结与剖析,从多方面对典型混合模型进行评价对比。多角度叙述了混合模型在图像识别、图像分类、目标检测和图像分割等实际图像处理特定领域中应用研究,展现出混合模型在具体实践中的适用性和高效性。深入分析混合模型未来研究方向,并为后续该模型在图像处理中的研究与应用提出展望。

一种ICEEMDAN-CNN-SVR滑坡位移组合预测模型

滑坡位移预测是滑坡早期预警系统的重要组成部分,针对位移分解程度与特征选取深入程度不够导致滑坡位移预测精度不高的问题,提出一种ICEEMDAN-CNN-SVR滑坡位移组合预测模型:为了解决位移分解程度不够的问题,该模型首先运用ICEEMDAN分解模型对滑坡位移曲线进行分解,将平滑性较好且具有递增趋势的IMF曲线作为趋势项位移,将其他具有波动趋势的IMF曲线总和重构为周期项位移;为了解决特征选取深入程度不够的问题,针对不同位移特性进行了特征变量选取,通过二维平铺与CNN特征提取得到特征变量更深层次的信息,将提取到的特征信息输入SVR预测模型中实现对趋势项位移与周期项位移的精准预测.以典型堆积层滑坡———八字门滑坡为例,选取ZG110与ZG111监测点2007年1月—2012年9月典型变形阶段水平位移数据进行研究,结果表明:ZG110与ZG111监测点预测评价指标R2,ERMSE,EMAE分别为0.9951、0.9989、5.7489、2.7532,4.5091、1.8529,预测效果良好;将模型预测结果与EEMDCNN-SVR预测模型及CNN-SVR预测模型结果作对比,相较其他预测模型,新模型的预测精度有所提升.

基于Faster R-CNN和Mask R-CNN的滑坡自动识别研究

基于高分一号影像,以三峡库区库首段为例,通过目视解译出160个滑坡样本,按照9∶1比例分为训练样本和验证样本,分别利用Faster R-CNN和Mask R-CNN算法构建滑坡自动识别模型。为进一步对比分析不同样本比例下两种模型的性能,分别采用8∶2、7∶3、6∶4的样本比例进行计算。研究结果表明,Mask R-CNN模型识别结果准确率、召回率和F 1分数等3项指标均优于Faster R-CNN;且经过交叉验证,证明Mask R-CNN模型的性能更为稳定。

基于改进CNN-SVM的光伏组件红外图像故障诊断方法

为识别光伏组件故障类型,提高光伏系统发电效率,提出了一种基于改进CNN-SVM模型的光伏组件红外图像故障诊断方法。首先以光伏组件红外图像为输入样本构建改进CNN模型,采用全局平均池化层代替传统CNN模型的全连接层,在进行图像特征提取的同时降低模型参数量;利用数据增强和批归一化技术提高模型泛化能力,降低模型过拟合。其次采用非线性支持向量机SVM代替传统CNN模型中的Softmax分类器,以提高光伏组件红外图像故障识别准确率。最后采用Infrared Solar Modules数据集对所提模型进行了实例验证。结果表明:与传统CNN模型相比,改进CNN-SVM模型故障诊断准确率高,对各故障类型的识别能力强。

基于GRU-CNN双网络输出构建BP模型的径流预测方法

提高径流预测精度是避免洪水灾害发生的重要手段,由于预测阶段并无已知有效样本,给预测工作带来难度,因此,提出以双网络输出为预测阶段提供数据参考,结合训练阶段双网络输出与真实值之间的关系,对预测阶段采用二次多变量建模实现径流预测。首先,构建GRU和CNN深度学习网络,同步输出2条径流预测序列;其次,在已知时段内,构建2条预测结果与实测值之间的多变量BP模型;最后,基于双网络输出预测值,通过确定的BP模型输出径流预测结果。经测试,该方法给预测时段提供了可靠的先验样本,高效学习了网络输出与真实值之间关系,预测精度显著提升。

基于注意力机制的CNN-BiLSTM的IGBT剩余使用寿命预测

针对绝缘栅双极型晶体管(IGBT)可靠性问题,提出了一种融合卷积神经网络(CNN)、双向长短期记忆(BiLSTM)网络和注意力机制的剩余使用寿命(RUL)预测模型,可用于IGBT的寿命预测。模型中使用CNN提取特征参数,BiLSTM提取时序信息,注意力机制加权处理特征参数。使用IGBT加速老化数据集对提出的模型进行验证。结果表明,对比自回归差分移动平均(ARIMA)、长短期记忆(LSTM)、多层LSTM(Multi-LSTM)、 BiLSTM预测模型,在均方根误差和决定系数等评价指标方面该模型的性能最优。验证了提出的寿命预测模型对IGBT失效预测是有效的。

基于CNN-BiLSTM的ICMPv6 DDoS攻击检测方法

针对ICMPv6网络中DDoS攻击检测问题,提出一种基于CNN-BiLSTM网络的检测算法。通过将带有注意力机制、DropConnect和Dropout混合使用加入到CNN-BiLSTM算法中,防止在训练过程中产生的过拟合问题,同时更准确地提取数据的特性数据。通过实验表明:提出的算法在多次实验中的检测准确率、误报率与漏报率平均值分别为92.84%、4.49%和10.54%,检测算法泛化性较强,性能由于其他算法,能够有效处理ICMPv6 DDoS攻击检测问题。

基于CNN-LSTM的水泥熟料f-CaO预测模型

水泥熟料中游离氧化钙(f-CaO)含量的传统人工离线检测缺乏时效性,不利于生产指导。针对离线检测的滞后问题和软测量模型中f-CaO含量与辅助变量的时序匹配问题,提出了一种基于卷积神经网络(convolutional neural network,CNN)和长短时记忆(long short-term memory,LSTM)神经网络的f-CaO含量预测模型。首先,利用滑动窗口截取辅助变量的区间数据;然后,采用CNN提取区间数据的时序特征;之后,构建LSTM神经网络模型;最后,控制截取辅助变量的延迟时间和间隔时间,根据模型预测拟合度提取辅助变量的最优时序特征。仿真结果表明,所提模型提高了水泥熟料中f-CaO含量的预测精度。

基于GADF与2D CNN-改进SVM的道岔故障诊断方法研究

针对道岔故障特征不易提取以及道岔故障诊断准确率较低的问题,提出一种格拉姆角差场(Gramian Angular Difference Fields, GADF)与二维卷积神经网络(Two Dimensional Convolutional Neural Network, 2D CNN)-改进支持向量机(Support Vector Machine, SVM)的道岔故障诊断组合方法。首先,结合现场实际应用情况,选取道岔设备正常转换与典型故障的转辙机功率曲线,建立转辙机功率曲线样本数据库;采用GADF编码将一维转辙机功率曲线信号转换为具有时间相关性的二维特征图,分别选择16×16、32×32以及64×64大小的特征图并提取图像数据。其次,在LeNet-5模型的基础上设计2D CNN网络结构,并将图像数据输入至基于2D CNN的道岔故障特征提取模型中,经多层的卷积层、池化层以及全连接层提取特征指标,建立道岔故障诊断样本数据库。最后,通过北方苍鹰优化(Northern Goshawk Optimization, NGO)算法优化SVM算法的惩罚因子与核函数方差,构建基于NGO-SVM的道岔故障诊断模型。实验结果分析表明,将转辙机功率曲线数据经GADF编码为64×64大小的特征图,并通过2D CNN模型提取道岔典型特征数据,较其他数据处理方法具有较高的故障诊断准确率,同时提高了故障诊断实时性;将建立的道岔故障诊断样本数据库输入至NGO-SVM道岔故障诊断模型,其故障诊断准确率高达97.5%,较其他故障诊断模型具有更好的故障诊断性能,为道岔故障诊断提供了一种新方法,对现场道岔设备的日常维修具有一定的指导意义。

基于3D CNN-BiLSTM-ATFA网络和步态特征的奶牛个体识别方法

针对基于花纹的奶牛个体识别中纯色或花纹较少的奶牛识别准确率较低的问题,本文提出一种基于步态特征的奶牛个体识别方法。首先,将DeepLabv3+语义分割算法的主干网络替换为MobileNetv2网络,并引入基于通道和空间的CBAM注意力机制,利用改进后模型分割出奶牛的剪影图。然后,将三维卷积神经网络(3D CNN)和双向长短期记忆网络(BiLSTM)构建为3D CNN-BiLSTM网络,并进一步集成自适应时间特征聚合模块(ATFA)生成3D CNN-BiLSTM-ATFA奶牛个体识别模型。最后,在30头奶牛的共1242条视频数据集上进行了奶牛个体识别实验。结果表明,改进后DeepLabv3+算法的平均像素准确率、平均交并比、准确率分别为99.02%、97.18%和99.71%。采用r3d_18作为3D CNN-BiLSTM-ATFA的主干网络效果最优。基于步态的奶牛个体识别平均准确率、灵敏度和精确度分别为94.58%、93.47%和95.94%。奶牛躯干和腿部不同部位进行加权特征融合的个体识别实验表明识别准确率还可进一步提高。奶牛跛足对步态识别效果影响较为明显,实验期间由健康变为跛足和一直跛足的奶牛个体识别准确率分别为89.39%和92.61%。本文研究结果可为奶牛的智能化个体识别提供技术参考。

Transformer-CNN特征跨注意力融合学习的行人重识别

卷积神经网络(convolutional neural network,CNN)关注局部特征,难以获得全局结构信息,Transformer网络建模长距离的特征依赖,但易忽略局部特征细节。提出了一种跨注意力融合学习的行人重识别算法,利用CNN和Transformer特征学习网络的特点,在丰富行人局部特征的同时改善特征的全局表达能力。该模型由三个部分构成:CNN分支主要提取局部细节信息;Transformer分支侧重于关注全局特征信息;跨注意力融合分支通过自注意力机制计算上述两个分支特征的相关性,进而实现特征融合,最终提高模型的表征能力。剥离实验以及在Market1501和DukeMTMC-reID数据集的实验结果证明了所提方法的有效性。

基于Transformer和CNN交错混合的肺结节分割网络

针对肺结节尺寸多样、形状异质化高等问题,提出基于Transformer和卷积神经网络(CNN)交错混合(IMTC)的肺结节分割网络,该网络是一个对称的层次连接网络,具有很强的多尺度特征提取能力。该网络通过集成2种方案分别解决肺结节多尺寸与形状异质化问题:(1)采用感知注意力模块(inception attention module,IAM),通过并联多个不同大小的卷积核来增加浅层网络的感受野组合,以此捕获更为丰富的浅层特征;(2)为获取更具表示能力的高级语义特征,利用由Transformer和CNN组成的基本骨干网络交错提取结节特征,使得全局特征与局部特征充分融合,从而提高结节特征表示的泛化能力和鲁棒性。实验结果表明:本文模型可以准确分割直径较小以及边缘复杂的肺结节,在LUNA16公开数据集上分割性能良好,Dice和IOU分别达到86.15%和76.10%。

基于残差修正CNN-BiLSTM的空中目标航迹短期预测算法

针对因深度学习自身局限性和递归预测策略产生的累积误差,导致航迹预测精度不高的问题,提出了一种基于残差修正CNN-BiLSTM的空中目标航迹短期预测算法。首先,引入卷积模块用于提取航迹数据之中具有潜在关联的空间位置特征,利用双向长短时记忆网络提取航迹数据中的时序特征,并实现对空中目标的实时单步预测和多步超前预测;其次,引入整合移动平均自回归为残差修正模型,对实时单步预测产生的残差建模,计算混合神经网络模型多步超前预测时的残差值;最后,将混合神经网络模型和残差修正模型的输出结果进行融合,得到最终的航迹预测值。实验结果表明,该算法大大降低了神经网络因自身局限性产生的误差和因递归策略预测产生的累积误差,能够显著提高空中目标航迹短期预测的精度。

基于改进Faster R-CNN的苹果采摘视觉定位与检测方法

针对采摘机器人对场景中目标分布密集、果实相互遮挡的检测及定位能力不理想问题,提出一种引入高效通道注意力机制(ECA)和多尺度融合特征金字塔(FPN)改进Faster R-CNN果实检测及定位方法。首先,利用表达能力较强的融合FPN的残差网络ResNet50替换原VGG16网络,消除了网络退化问题,进而提取更加抽象和丰富的语义信息,提升模型对多尺度和小目标的检测能力;其次,引入注意力机制ECA模块,使特征提取网络聚焦特征图像的局部高效信息,减少无效目标的干扰,提升模型检测精度;最后,采用一种枝叶插图数据增强方法改进苹果数据集,解决图像数据不足问题。基于构建的数据集,使用遗传算法优化K-means++聚类生成自适应锚框,提高模型定位准确性。试验结果表明,改进模型对可抓取和不可直接抓取苹果的精度均值分别为96.16%和86.95%,平均精度均值为92.79%,较传统Faster R-CNN提升15.68个百分点;对可抓取和不可直接抓取的苹果定位精度分别为97.14%和88.93%,较传统Faster R-CNN分别提高12.53个百分点和40.49个百分点;内存占用量减少38.20%,每帧平均计算时间缩短40.7%,改进后的模型参数量小且实时性好,能够更好地应用于果实采摘机器人视觉系统。

基于1DCNN融合多源表型数据的杨树干旱胁迫评估方法

目前关于不同杨树品种抗旱性的研究主要集中在利用传统测量方法获取形态结构和生理生化表型参数进而分析杨树的抗旱性,依据多源成像传感器提取的表型参数指标确定杨树干旱胁迫等级的方法较为少见。为了阐明杨树耐旱的表型机制、筛选抗旱性树种和明确杨树抗旱等级,本文以杨树不同性别的喜水和耐旱品种为研究对象,在杨树苗期进行梯度干旱胁迫处理,通过热红外以及RGB多源成像传感器获取杨树冠层温度参数与颜色植被指数表型数据,并建立基于1DCNN的多任务分类模型划分杨树苗期品种抗旱等级与干旱胁迫等级等2个分类任务,探究杨树性别与生长时间对杨树干旱胁迫响应机制的影响。结果表明,以27组数据变量降维后的4个特征作为模型变量,与传统机器学习算法SVM、RF、XGBoost相比,本文提出的1DCNN多任务分类模型在杨树品种抗旱等级分类与单株干旱胁迫等级分类2个任务中的模型分类精度皆达到最优,分类准确率分别为81.8%和62.3%;引入杨树的性别和生长时间后共6个特征作为模型的输入变量后,杨树苗期品种抗旱等级与干旱胁迫等级的分类精度显著提高,1DCNN多任务分类模型在2个分类任务中的准确率分别达到93.5%与76.6%,模型分类准确率分别提高11.7个百分点与14.3个百分点。研究结果表明,通过热红外与RGB成像传感器获取多源表型数据,并建立1DCNN多任务分类模型对实现杨树干旱胁迫等级评估的可行性,同时表明杨树的性别和生长时间作为模型输入变量能够有效提升模型的分类精度,可为筛选杨树抗旱性品种提供新的思路与方法。

基于DCNN-LSTM模型的船舶违章行为检测

桥区水域船舶违章行为的精准检测对于预控船桥碰撞至关重要.为保障船舶航行安全,提出了一种面向桥区水域的船舶违章行为检测模型.通过实时采集长江武汉段连续桥区船舶自动识别系统(AIS)数据及预处理工作,采用卷积神经网络(CNN)提取船舶行为信息,与长短时记忆神经网络(LSTM)相结合,建立深度卷积长短时记忆模型(DCNN-LSTM)学习船舶时空行为特征,并结合船舶超速、掉头、追越三种违章行为进行实验分析.结果表明,DCNN-LSTM模型相较于CNN、LSTM和支持向量机(SVM)模型表现出较强的优势,其准确率、精确率和F1分别为88.96%、96.49%和92.87%,实现了船舶违章行为的精准检测和识别.以典型水域船舶违章行为进行实例分析,进一步论证了DCNN-LSTM的有效性和优越性.为桥区水域船舶安全监管提供了可靠的理论基础,推动了船舶智能化发展.

基于SSA-CNN的航空器着陆跑道占用时间预测

国内外相关研究表明,航空器着陆跑道占用时间(aircraft arrive runway occupation time,AROT)是影响机场跑道容量的重要因素,对跑道占用时间的准确预测有利于更准确地评估跑道容量。由于着陆过程的动态性和复杂性,采用注重数据特征提取的卷积神经网络(convolutional neural networks,CNN)对AROT进行预测,针对CNN容易陷入局部最优等缺点,采用麻雀搜索算法(sparrow search algorithm,SSA)对CNN相关参数进行优化。数据采用航空器快速存取记录器(quick access recorder,QAR)的记录作为数据源,涵盖机场数目为34个。根据QAR数据分析AROT影响因素,构建了SSA-CNN预测模型。对QAR数据分析表明AROT与滑行距离、落地气温、跑道入口速度、快速脱离道数量、脱离速度关联性较强,与航空器重量、风速、风向、脱离道角度等影响因素关联性较低。根据影响因素的关联性采用CNN预测模型均方误差为18.35,而优化后的SSA-CNN预测模型均方误差为17.31,预测结果可以为机场评估跑道容量提供参考。

基于BE-MCNN模型的新闻评论情感分析方法

实时新闻评论具有文本短、信息丰富、结构复杂等特点,情感分析难以准确捕捉其真实的情感倾向。为增强语义的特征信息,减少模型过拟合问题,提高新闻评论情感分析的准确性,提出一种融合BERT模型、Transformer En⁃coder与多尺度CNN模型的新闻评论情感分析算法。首先,针对新闻评论长度较短、表达情绪观点内容较多的特点,使用BERT模型对新闻评论文本进行预训练,获得具有上下文信息的特征向量;其次,为解决模型过拟合问题,在BERT模型下游添加一层Transformer编码器;最后使用四通道双层CNN模型,通过组合不同大小尺寸的卷积核来提升模型分析新闻评论情感的性能。实验结果表明,该方法在两个新闻评论数据集上的准确率分别达到93.0%与96.4%;与不同模型的比较实验进一步证明了所提方法的有效性。

基于AM和CNN的多级特征融合的风力发电机轴承故障诊断方法

提出一种基于注意力机制的多级特征融合卷积神经网络(A2ML2F-CNN)故障诊断方法。该方法将原始电流和振动信号作为输入,首先使用基于注意力卷积神经网络(AMCNN)模块分别进行数据信号特征提取,并进行一级特征融合连接。在此基础上,再次分别采用注意力机制一维卷积神经网(AM1DCNN)和二维卷积神经网络(2DCNN)提取相关信息,并进行二级特征融合,以此来解决单传感器数据故障信息不足及互补特征难以提取的问题,最后采用全连接层和Softmax层进行分类,得到诊断结果。为验证所提方法的故障诊断效果,通过帕德伯恩数据集进行实验验证,并将其与CNN、LSTM、SVM等方法的诊断精度进行对比,相较于上述方法,该文方法的诊断准确率分别提高1.8、3.2和4.8个百分点,验证了所提方法的有效性。