基于深度堆叠卷积神经网络的图像融合

该文针对多尺度变换融合图像中普遍存在的需要依据先验知识选取滤波器,导致融合效果存在不确定性的问题,提出了基于深度堆叠卷积神经网络的融合方法.首先,分别以高斯拉普拉斯滤波器和高斯滤波器为首层网络的初始卷积核,将源图像分解为高频和低频图像序列;其次,基于He K方法初始化其余层卷积核,获得与源图像尺寸相同的高频和低频重构图像各一幅,并将二者合成源图像的近似图像;再以源图像和近似图像像素值之差的平方和的均值为误差函数,进行反向传播训练形成基本神经单元;之后,将多个基本单元堆叠起来利用end-to-end的方式调整整个网络得到深度堆叠神经网络.然后,利用该堆叠网络分别分解测试图像对,得到各自的高频和低频图像,再基于局部方差取大和区域匹配度合并的规则分别融合高频和低频图像,并将高频融合图像和低频融合图像放回最后一层网络,得到最终的融合图像.实验结果表明:与基于双树复小波变换(Dual-Tree Complex Wavelet Transform,DTCWT)、非下采样轮廓波变换(Non-Subsampled Contourlet Transform,NSCT)和非下采样剪切波变换(Non-Subsampled Shearlet Transform,NSST)的融合结果相比,用高斯拉普拉斯滤波器和高斯滤波器初始化的深度堆叠卷积神经网络融合效果主观效果好,客观指标最优个数为NSCT的3.3倍,运行时间为NSCT的30.3%和NSST的11.6%.

基于堆叠式降噪自动编码器和深度神经网络的风电调频逐步惯性智能控制

风电调频的逐步惯性控制(SIC)策略在负荷波动后提供一个阶跃式功率增发,能够有效阻止系统频率下降,保障电网频率安全.但在其功率恢复阶段,容易出现二次频率跌落现象,需优化SIC以获得更好的调频效果.传统方法存在计算维度高和耗时较长的弊端,难以满足不同场景下快速提供最优控制效果的需求.为实现负荷扰动事件下风电调频的最优逐步惯性快速控制,引入深度学习算法,提出一种基于堆叠式降噪自动编码器(SDAE)和深度神经网络(DNN)的风电调频逐步惯性智能控制方法.首先,使用麻雀搜索算法获得最优参数,使用SDAE高效提取数据特征;随后,基于DNN对数据特征进行学习,并引入加速自适应矩估计优化网络参数,提升网络全局最优参数;最后,应用SDAE-DNN联合方法实现扰动事件后风电调频的逐步惯性在线控制.在IEEE 30节点测试系统中分别对单台风力机和风电场进行仿真分析,与传统方法、浅层反向传播神经网络及原始DNN所得结果对比发现,所提网络结构具有更优的预测精度和泛化能力,该方法能够实现良好的逐步惯性调频效果.

基于多项式特征生成的卷积神经网络

基于一维特征数据的多项式特征生成法,提出一种高维特征数据利用多项式特征生成法生成特征数据的数据增强算法,同时提出一种卷积神经网络训练时将生成的多项式特征数据与神经网络模型相融合的算法,其可将生成的多项式特征数据与卷积神经网络模型进行有机结合,并改善卷积神经网络模型建模时由于数据样本有限、数据样本总量固定、可使用的数据样本差异性小等数据限制所导致的模型识别准确率低、模型的泛化性能有限等问题.实验结果表明,该方法的卷积神经网络模型准确率得到了有效提升.

基于卷积神经网络的医学CT图像自动分割方法

针对医学CT图像自动分割方法对三维分层医学CT图像分割精准度较差问题,设计基于卷积神经网络的医学CT图像自动分割方法。对采集到的原始医学CT图像进行去噪处理,为后续的图像分割提供训练集。设定卷积神经网络的激活函数及网络参数,构建医学CT图像自动分割卷积神经网络。计算医学CT图像在卷积过程中损失函数,获取图像最优分割参数,根据此参数完成分割过程。实验结果表明:此方法无论在图像的整体分割还是细节分割方面,均可获取精度较高的分割结果。

堆叠稀疏自编码深度神经网络算法及其在滚动轴承故障诊断中的应用

针对目前机械设备故障数据量大、多样性且主要采用监督式学习提取故障特征的现状,提出一种堆叠稀疏自编码深度神经网络,实现无监督学习提取振动信号内在特征,并用于滚动轴承故障诊断。将频谱包络线作为低层输入逐层训练网络,获取故障特征表达,输入Softmax分类器实现故障分类;通过优化算法对整个深度神经网络进行微调,提高分类精度。滚动轴承故障诊断实验结果表明:所提出的深度神经网络能更准确地实现故障诊断,且在保证准确率的同时将频谱包络线作为低层输入,能够提高计算效率。

一种基于深度神经网络的无线定位方法

考虑到信号波动会对无线定位产生影响,基于深度神经网络提出一种回归的无线定位方法。采用四层深度神经网络结构进行定位,通过堆叠去噪自编码器对网络结构进行预训练,避免采用人工设计的方式,从大量有噪的样本中,自动学习有效特征。分不同时段从现实场景中采集数据进行实验,结果表明,针对波动的无线信号,该方法能有效提高定位准确率。

基于光流优化的堆叠Unet背景建模神经网络

针对现有背景建模算法难以处理复杂前景及间歇性运动前景的问题,提出了一种基于非监督学习的背景建模算法(改进的BM-Unet算法)。该算法结合光流法和Pearson相关系数在视频帧上提取背景关注区域,以此优化网络训练集和损失函数,从而有效提高了该算法在复杂前景情况和前景停留情况下的适应性;在此基础上,为进一步提高背景生成的精确度,又提出了一种堆叠Unet网络架构BM-SUnet(background modelling stacked Unet)。在SBMnet数据集上与现有算法在可视化效果和评估参数两方面的比较结果表明,所提算法在复杂前景和间歇运动前景情况下建模准确性好且鲁棒性高的结论。

基于单列多尺度卷积神经网络的人群计数

单张图片和监控视频中的人群计数问题在近年来受到了越来越多的关注。尺度的变化和人群遮挡等问题,导致人群计数是一项十分具有挑战性的任务,但是深度卷积神经网络被证明能有效地解决这一问题。文中提出了一种单列多尺度的卷积神经网络,该网络提供了一种数据驱动的深度学习方法,能够理解各种不同的场景,并能进行精确的计数估计。该网络模型主要由作为二维特征提取的前端与中端,和用来还原密度图的后端组成。其中,使用堆叠池代替最大池化层,在不引入额外参数的前提下增加了模型的尺度不变性。网络模型前端采用部分VGG-16结构;中端采用FME(特征聚合模块),用来打破不同列之间的独立,以更好地提取多尺度特征信息;后端采用3列5层的不同扩张率的空洞卷积,在保持分辨率不变的情况下增加感受野,生成更高质量的人群密度图,并引入一种相对人数损失,以提升稀疏密度人群情况下模型的性能。该模型在两个最具挑战性的人群计数数据集上都取得了很好的效果。实验结果表明,在公开人群计数数据集ShanghaiTech的两个子集和UCF_CC_50上,该方法的平均绝对误差(MAE)和均方误差(MSE)分别是66.2和103.0、8.7和13.4、251.0和329.5,性能比传统人群计数方法更好。与其他模型相比,该模型拥有更高的精度和更好的鲁棒性,对稀疏人数图像有着更好的计数效果。

基于多通道一维卷积神经网络特征学习的齿轮箱故障诊断方法

为了解决单通道图像信号输入不能全面表达故障特征的问题,提出基于多通道一维卷积神经网络(Multi-Channel One-dimensional Convolutional Neural Network,MC-1DCNN)的故障特征学习方法。利用经验模态分解(Empirical Mode Decomposition,EMD)方法对信号进行处理,得到多通道一维信号;构建MC-1DCNN模型,对多通道一维信号进行特征提取。在MC-1DCNN的全连接层后接堆叠降噪自编码器(Stacked Denoised Autoencoder,SDAE)层,进一步进行维度缩减和特征提取并实现特征分类。通过某型号齿轮箱故障诊断实验对所提方法进行验证,实验结果表明,所提方法的特征提取能力和故障诊断效果显著优于典型的深度学习方法和机器学习分类器。

基于堆叠稀疏去噪自编码器的混合入侵检测方法

针对高维数据场景下传统入侵检测方法特征提取困难、检测准确率低等问题,提出一种集成多种深度学习模型的混合入侵检测方法.该方法由特征降维算法和混合检测模型2部分组成.首先,利用堆叠稀疏去噪自编码器对原始数据进行特征降维,从而剔除可能存在的噪声干扰和冗余信息.然后,采用一维卷积神经网络和双向门控循环单元学习数据中的空间维度特征和时序维度特征,将融合后的空时特征通过注意力分配不同的权重系数,从而使有用的信息得到更好表达,再经由全连接层训练后进行分类.为检验方案的可行性,在UNSW-NB15数据集上进行验证.结果表明,该模型与其他同类型入侵检测算法相比,拥有更优秀的检测性能,其准确率达到99.57%,误报率仅为0.68%.

基于堆叠卷积注意力的网络流量异常检测模型

入侵检测系统(IDS)在发现网络异常和攻击方面发挥着重要作用,但传统IDS误报率较高,不能准确分析和识别异常流量。目前,深度学习技术被广泛应用于网络流量异常检测,但仅仅采用简单的深度神经网络(DNN)模型难以有效提取流量数据中的重要特征。针对上述问题,提出一种基于堆叠卷积注意力的DNN网络流量异常检测模型。通过堆叠多个以残差模块连接的注意力模块增加网络模型深度,同时在注意力模块中引入卷积神经网络、池化层、批归一化层和激活函数层,防止模型过拟合并提升模型性能,最后在DNN模型中得到输出向量。基于NSL-KDD数据集对模型性能进行评估,将数据集预处理生成二进制特征,采用多分类、二分类方式验证网络流量异常检测效果。实验结果表明,该模型性能优于KNN、SVM等机器学习模型和ANN、AlertNet等深度学习模型,其在多分类任务中识别准确率为0.807 6,较对比模型提高0.034 0~0.097 5,在二分类任务中准确率和F1分数为0.860 0和0.863 8,较对比模型提高0.013 0~0.098 8和0.030 6~0.112 8。

基于SCG优化SSAE-FFNN的电能质量复合扰动深度特征提取与分类

随着智能电网的发展,电能质量问题已遍布电网并威胁着电网的安全稳定,且电能质量监测数据日渐庞大,因此实现大规模系统中电能质量扰动(power quality disturbances,PQDs)的深度特征提取及智能分类识别对电力系统污染检测与管理具有重要意义。为此,文中提出一种基于堆叠稀疏自编码器(stacked sparse auto encoder,SSAE)和前馈神经网络(feedforward neural network,FFNN)的电能质量复合扰动分类方法。首先,基于IEEE标准构建PQDs仿真模型。然后,建立基于SSAE-FFNN的PQDs分类模型,并引入缩放共轭梯度(scaled conjugate gradient,SCG)算法对模型进行优化,以提高梯度下降速度和网络训练效率。接着,为有效降低堆叠网络的重构损失同时提取出深度的低维特征,构建SSAE的逐层训练集及微调策略。最后,通过算例分析验证文中方法的分类效果、鲁棒性、泛化性和适用场景规模。结果表明,文中方法能够有效识别电能质量复合扰动,对含误差扰动和某地市电网的21组实测扰动录波数据也有较高的分类准确率。

基于深度学习的声纹识别系统优化研究

聚焦于基于深度学习的声纹识别系统优化方法,重点探讨了堆叠循环神经网络(Rerrent Neural Network,RNN)模型在声纹识别中的应用。首先介绍了基于深度学习的声纹识别系统的基本架构,其次引入堆叠RNN模型作为优化方法,最后在MATLAB平台上利用VoxCeleb数据集进行实验验证。实验结果表明,相比于标准RNN模型,堆叠RNN模型在准确率、精确率、召回率及F1值等评价指标上均取得了显著提高,验证了该方法在声纹识别任务中的有效性和优越性。

利用堆叠式神经网络提高格蕾丝眼病放疗靶区的自动勾画精度

相较于以往将靶区作为单独区域进行自动分割的神经网络,本文提出了一种利用靶区周围器官的位置及形状信息来限定靶区形状及位置,并通过多个网络的叠加融合空间位置信息,从而提高医学图像自动分割精度的堆叠式神经网络。本文以格蕾丝眼病为例,基于全卷积神经网络构建了堆叠式神经网络,对其左右两侧放疗靶区分别进行分割。以医生手动勾画结果为标准,计算体积戴斯相似系数(DSC)和双向豪斯多夫距离(HD)。相较于全卷积神经网络,堆叠式神经网络勾画结果可以使左右两侧体积DSC分别提高1.7%和3.4%,同时左右两侧的双向HD距离分别下降0.6。结果表明,堆叠式神经网络在提升自动分割结果与手动勾画靶区重合度的同时,减小了小区域靶区的分割误差,进一步说明堆叠式神经网络能有效地提高格蕾丝眼病放疗靶区的自动勾画精度。

基于堆叠模型的司法短文本多标签分类

司法文书短文本的语义多样性和特征稀疏性等特点,对短文本多标签分类精度提出了很大的挑战,传统单一模型的分类算法已无法满足业务需求。为此,提出一种融合深度学习与堆叠模型的多标签分类方法。该方法将分类器划分成两个层次,第一层使用BERT、卷积神经网络、门限循环单元等深度学习方法作为基础分类器,每个基础分类器模型通过K折交叉验证得到所有数据的多标签分类概率值,将此概率值数据进行融合形成元数据;第二层使用自定义的深度神经网络作为混合器,以第一层的元数据为输入,通过训练多标签概率矩阵获取模型参数。该方法将强分类器关联在一起,获得比单个分类器更加强大的性能。实验结果表明,深度学习堆叠模型实现了87%左右的短文本分类F1分数,优于BERT、卷积神经网络、循环神经网络及其他单个模型的性能。

面向不平衡数据和特征冗余的网络入侵检测

为了解决传统方法因数据不平衡及特征冗余而导致检测准确率不高的问题,提出了一种结合SMOTE(synthetic minority over-sampling technique)算法采样的SDAE-LSTM(stacked deep auto-encoder-long short term memory)入侵检测模型。首先,针对数据不平衡问题,采用SMOTE算法在少数类样本点之间随机插入样本增加其数量,达到类间平衡的目的。其次,针对特征冗余问题,利用堆叠式深度自编码器(stacked deep auto-encoder,SDAE)进行降维,实现数据的深度特征提取。最后,基于长短期记忆(long short term memory,LSTM)神经网络,精准捕获网络入侵特征,准确地实现入侵检测。通过在UNSW-NB15数据集上的大量实验,有效证明了本文模型与其他模型相比有着更好的入侵检测效果。

基于深度主动学习的MVB网络故障诊断方法

多功能车辆总线MVB(multiple vehicle bus)用于传输重要的列车运行控制指令和监视信息,准确地诊断MVB网络故障是列车智能运维的基础,为此,提出一种将主动学习和深度神经网络相结合的MVB网络故障诊断方法.该方法采用堆叠去噪自编码器自动提取MVB信号物理波形特征,并将该特征用于训练深度神经网络来实现MVB网络故障模式分类;基于不确定性和可信度的高效主动学习方法,可解决实际应用中标记样本不足和人工标记成本高昂的问题,使用少量标记训练样本就能得到高性能的深度神经网络模型.实验结果表明:为达到90%以上分类准确率,所提方法只需要600个标记训练样本,小于随机采样方法所需标记训练样本数的2800个;在相同标记训练样本数下,所提方法在3种性能指标下均优于传统方法.

融合堆叠自编码神经网络算法和全连接神经网络算法的化合物成药性预测模型

目的:基于深度学习方法建立更加稳定、可靠、高实用性的化合物成药性预测模型。方法:通过Integrity, Chembl和DrugBank这3个数据库收集正、负样本数据,对正负样本大数据集进行数据清洗、解决数据不平衡问题之后,进一步对化合物的简化分子线性输入规范(SMILES)码进行标准化编码,在此基础上基于堆叠自编码神经网络算法(Stacked AutoEncoder, SAE)以及全连接神经网络算法(Fully Connected Neural Network, FCNN)构建并训练深度神经网络模型,对化合物进行特征提取,预测化合物的成药性。结果:模型最终稳定收敛,在验证集上准确率(ACC)和曲线下面积(AUC)分别达到0.995 3和0.992 7,较之前文献报道的基于机器学习的模型提高了约3%的预测精度。结论:基于大数据集和深度神经网络技术构建的化合物成药性预测模型具备一定的实用性,可以提高化合物成药性预测的精准度。

基于视觉传达技术的激光图像多级融合方法研究

设计了基于视觉传达技术的激光图像多级融合方法,以获得突出的视觉传达效果。首先采用改进单尺度Retinex算法提取原始激光图的反射图像,并通过高斯-拉普拉斯算法的重构获得的多尺度彩色图像,实现原始激光图像的增强,然后采用深度堆叠卷积神经网络对获得高、低频图像,并依据最大局部方差融高频图像,根据匹配度与阈值的对比融合低频图像,最后实验结果表明:堆叠CNN数量为4时,融合后的激光图像视觉传达效果最优,该方法增强后的激光图像局部细节信息丰富、色彩饱满度好,融合图像的图像最大灰度值频率仅为0.015。

深度学习方法研究新进展

本文依据模型结构对深度学习进行了归纳和总结,描述了不同模型的结构和特点。首先介绍了深度学习的概念及意义,然后介绍了4种典型模型:卷积神经网络、深度信念网络、深度玻尔兹曼机和堆叠自动编码器,并对近3年深度学习在语音处理、计算机视觉、自然语言处理以及医疗应用等方面的应用现状进行介绍,最后对现有深度学习模型进行了总结,并且讨论了未来所面临的挑战。