基于卷积神经网络融合的彩色傅里叶叠层显微重建

针对彩色傅立叶叠层显微重建存在图像获取时间长、采集低分辨率图像数量多等问题,采用基于卷积神经网络的图像融合方法来实现彩色傅立叶叠层显微重建。该方法基于图像融合原理,将单通道低分辨率图像重建的灰度高分辨率图像与相同视场下的彩色低分辨率图像融合,成功地重建彩色FPM图像。在保证图像恢复质量的同时减少了2/3的采集时间。实验结果表明,所提算法可以获得色彩不失真的彩色FPM图像,定量评价指标方均根误差小于0.01,结构相似性参数大于0.89。

结合卷积神经网络与多层感知机的渐进式多阶段图像去噪算法

现有基于深度学习的图像去噪方法中,在网络架构层面存在单阶段网络特征表达能力不足而难以在复杂场景下重构清晰图像,以及多阶段网络内部特征连接不紧密而容易丢失原始图像细节的问题。在基础构建块层面,存在卷积层难以处理较大噪声级别下的跨层次特征,以及全连接层难以捕获图像邻域空间细节的问题。为解决以上问题,从两方面提出解决方法:一方面,在架构层面提出新颖的跨阶段门控特征融合,从而更好地连接一阶段网络的浅层特征与二阶段的深层特征,促进信息流的交互并使得去噪网络内部关联更为紧密,同时避免丢失原始像素细节;另一方面,在基础构建块层面提出结合卷积神经网络和多层感知机特性的双轴特征偏移块,作用于低分辨率多通道数的特征图,从而缓解卷积网络在复杂噪声场景下难以捕获跨层次特征依赖关系的问题,对于高分辨率、少通道数的特征图,使用卷积网络以充分提取噪声图像的空间邻域依赖关系。大量定量与定性实验表明,所提算法在真实世界图像去噪和高斯噪声去除任务中,都以较小的参数量和计算代价取得了最佳的PSNR和SSIM。

基于多孔卷积神经网络的图像空间结构信息细节表征

针对传统图像空间结构信息表征方法存在细节表征模糊度较高、信息训练损失较高等问题,提出一种新的基于多孔卷积神经网络的图像空间结构信息细节表征方法。该方法通过图像空间结构信息细节相似性度量,并以图像的形状、颜色和纹理特征对图像空间结构信息细节进行编码,再去除图像冗余信息,利用多孔卷积神经网络对图像空间结构的深度信息进行融合,从而完成图像空间结构信息的细节表征。实验结果表明,基于多孔卷积神经网络的图像空间结构信息细节表征方法在模糊度、训练损失、图像相似性等方面都比传统的3种方法优越,能够清晰地表征图像空间结构信息。

基于卷积神经网络多判据融合的井下电网故障选线方法

针对矿井电网消弧线圈接地系统单相接地故障选线方法准确率和可靠性不高的问题,提出基于卷积神经网络多判据融合的选线方法。主要分析了深度学习模型——卷积神经网络的结构与原理,通过快速傅里叶变换和小波变换从故障信息中提取5次谐波分量、小波分析模极大值、衰减直流分量和高频暂态分量作为原始输入数据,并利用改进LeNet-5模型强大的学习能力和泛化能力对其进行融合。基于Matlab软件搭建井下电网仿真模型,结果表明该方法准确性高、可靠性强。

基于多尺度循环卷积神经网络的卫星通信信号识别

针对目前的卫星通信调制分类算法大多忽略了不同尺度特征的融合问题,提出了一个多尺度循环卷积神经网络模型。该网络结构整合了双分支设计、压缩与激励策略、多尺度残差网络以及长短期记忆网络,旨在全面捕捉信号的多尺度特性并有效建模时间序列。实验结果表明:文中所提模型在0 dB以上的识别准确率达到了97.1%,在13 dB时更进一步提升至99%;与经典的CNN2模型和LSTM2模型相比,在识别准确率上展现了显著优势,且相较于识别性能接近的CLDNN2模型,参数量减少了47.7%,训练时间缩短了68%;尤其是QAM16和QAM64两种调制样式识别准确率显著上升并且保持较高水平,这也进一步证实了模型多尺度特征融合策略的有效性。

基于多域信息融合与深度分离卷积的轴承故障诊断网络模型

针对传统卷积神经网络(CNN)对滚动轴承振动信号的故障识别准确率不高这一问题,提出了一种基于多域信息融合结合深度分离卷积(MDIDSC)的轴承故障诊断方法。首先,利用自适应噪声的完全集合经验模态分解(CEEMDAN)算法对轴承振动信号进行了分解;然后,利用分解出的本征模态函数(IMF)的各个分量构建了多空间状态矩阵,并将该多空间状态矩阵输入该深度分离卷积模型中,进行了卷积训练;同时,在该深度分离卷积模型中添加了残差结构,对数据特征进行了复利用,并对卷积核进行了深度分离,解决了深度模型的网络退化问题;最后,提出了一种空间特征提取方法,对模型参数进行了修剪,采用一种自适应学习率退火方法进行了梯度优化,以避免模型陷入局部最优。研究结果表明:通过对多个轴承故障数据集进行对比分析可知,MDIDSC在轴承故障诊断方面的准确率和稳定性明显优于其他方法,MDIDSC的最高测试准确率为100%,平均测试准确率为99.07%;同时,在测试集中的最大损失和平均损失分别为0.1345和0.0841;该结果表明MDIDSC在轴承故障诊断方面具有一定的优越性。

融合浅层特征的深度卷积神经网络互花米草遥感监测方法

基于2018年10月份黄河口入海两侧的LANDSAT8 OLI影像,提取植被指数和缨帽变换分量共9维光谱特征,构建融合浅层特征的8层深度卷积神经网络(deep convolutional neural network,DCNN)分类模型,开展互花米草(Spartina alterniflora Loisel)遥感监测的方法研究,并从不同的浅层特征来具体分析互花米草的监测结果。结果表明:(1)在分类方法上,DCNN模型的总体分类精度最高,达到90.33%,与支持向量机(support vector machine,SVM)、随机森林(random forest,RF)分类器相比,精度分别提高4.78%、2.7%,互花米草的生产者精度分别提高了2.56%、0.47%,说明在滨海湿地遥感影像分类中,DCNN有着更好的应用潜力;(2)融合浅层特征后,DCNN的总体分类精度和互花米草的识别精度分别提高了0.34%和3.25%,有效提高了对互花米草的监测能力。其中,融合归一化植被水分指数(NDII)浅层特征的DCNN分类方法中,互花米草的识别精度提高最多,为2.56%,比值植被指数(RVI)次之,为2.32%。研究结果可为互花米草的监测与管理提供技术与数据支撑。

基于可融合残差卷积块的深度神经网络模型层剪枝方法

针对当前主流的剪枝方法所获得的压缩模型推理时间较长和效果较差的问题,提出一种易用且性能优异的层剪枝方法。该方法将原始卷积层转化为可融合残差卷积块,然后通过稀疏化训练的方法实现层剪枝,得到一种具有工程易用性的层剪枝方法,兼具推理时间短和剪枝效果好的优点。实验结果表明,在图像分类任务和目标检测任务中,该方法可使模型在精度损失较小的情况下获得极高的压缩率,优于先进的卷积核剪枝方法。

双通道卷积神经网络在影像融合中的应用

利用Landsat8遥感卫星影像数据制作影像融合数据集,提出了一种双通道融合网络,并利用结果影像的质量指数对网络融合性能进行评估,分析与双三次卷积插值和GS影像融合方法的差异。结果表明,该网络加强了对高频空间信息的提取,在更高效提取空间特征的同时,减弱了融合过程中对多光谱影像光谱特征的影响,从而提高了融合影像的综合影像质量(QNR=0.8852)。

基于深度卷积神经网络的多特征融合的手势识别

针对传统的分类方法由于提取的特征比较单一或者分类器结构过于简单,导致手语识别率较低的问题,本文将深度卷积神经网络架构作为分类器与多特征融合算法进行结合,通过使用纹理特征结合形状特征做到有效识别。首先纹理特征通过LBP、卷积神经网络和灰度共生矩阵方法得到,其中形状特征向量由Hu氏不变量和傅里叶级数组成。为了避免过拟合现象,使用"dropout"方法训练深度卷积神经网络。这种基于深度卷积神经网络的多特征融合的手语识别方法,在"hand"数据库中,对32种势的识别率为97.73%。相比一般的手语识别方法,此方法鲁棒性更强,并且识别率更高。

基于深度堆叠卷积神经网络的图像融合

该文针对多尺度变换融合图像中普遍存在的需要依据先验知识选取滤波器,导致融合效果存在不确定性的问题,提出了基于深度堆叠卷积神经网络的融合方法.首先,分别以高斯拉普拉斯滤波器和高斯滤波器为首层网络的初始卷积核,将源图像分解为高频和低频图像序列;其次,基于He K方法初始化其余层卷积核,获得与源图像尺寸相同的高频和低频重构图像各一幅,并将二者合成源图像的近似图像;再以源图像和近似图像像素值之差的平方和的均值为误差函数,进行反向传播训练形成基本神经单元;之后,将多个基本单元堆叠起来利用end-to-end的方式调整整个网络得到深度堆叠神经网络.然后,利用该堆叠网络分别分解测试图像对,得到各自的高频和低频图像,再基于局部方差取大和区域匹配度合并的规则分别融合高频和低频图像,并将高频融合图像和低频融合图像放回最后一层网络,得到最终的融合图像.实验结果表明:与基于双树复小波变换(Dual-Tree Complex Wavelet Transform,DTCWT)、非下采样轮廓波变换(Non-Subsampled Contourlet Transform,NSCT)和非下采样剪切波变换(Non-Subsampled Shearlet Transform,NSST)的融合结果相比,用高斯拉普拉斯滤波器和高斯滤波器初始化的深度堆叠卷积神经网络融合效果主观效果好,客观指标最优个数为NSCT的3.3倍,运行时间为NSCT的30.3%和NSST的11.6%.

联合中间层的深度卷积神经网络模型

针对当前卷积神经网络(Convolutional Neural Networks,CNN)模型通常将网络最后一层的输出作为特征表示,未能充分利用网络中间层的不足,提出了一种联合中间层的CNN模型(Intermediate Layers Connected-CNN,ILC-CNN)。该模型以AlexNet为基础,首先联合前、中、末端卷积层,通过深度连接方式连接;接着通过池化层、全连接层等操作得到描述图像的特征向量;通过辅助分类器训练方式保证了中间层特征的有效性,使模型得以成功训练。测试结果表明,该模型在图像分类与识别任务中效果显著,其提取的特征更具辨识度,具有比其他模型更高的识别精度。

多层卷积神经网络深度学习算法可移植性分析

在现实环境下,出现恶意用户或攻击者对机器学习算法的攻击;在应用过程中,机器学习算法也会受到物体形状、位移、尺度、光照、背景等因素的影响。针对这些使用过程中所产生的安全性问题,本文提出了基于多层卷积神经网络深度学习算法的图像识别方法,并对其可移植性进行分析,通过对抗性训练提高模型泛化能力来防御对抗样例攻击。针对可用性攻击,在前向传播过程中,采用训练好的多层卷积神经网络深度学习模型自动提取输入图像特征,并利用模型权值共享、更新、下采样等操作对输入图像做降采样处理,降低计算复杂度;在反向传播过程中,利用delta法则和Fisher准则,以及基于类内距离和类间距离的能量约束函数实时调整多层卷积神经网络深度学习模型参数,计算模型输出层各个输出单元的残差,使模型权值能够更加快速收敛到有利于图像识别的最优值。测试结果表明:多层卷积神经网络深度学习算法在图像识别领域的应用具有识别准确率和鲁棒性较高,耗时较短的优点,从理论和实验2方面证明了算法的可移植性。

结合深度神经网络的网络监控系统微表情识别

为了提高网络监控系统微表情识别的效果,结合深度神经网络技术提出新的智能监控系统微表情识别算法。将判别能力强的卷积神经网络特征与鲁棒的直方图特征结合,利用卷积神经网络提取目标的空间特征,再将卷积特征表示为直方图,结合直方图和卷积神经网络两者的优势设计新的人体追踪算法;设计跨模态监督的深度神经网络训练方法,将可见光视频数据送入深度神经网络进行训练,利用近红外光视频对训练程序进行监督。基于公开的多模态微表情识别数据集完成了验证实验,结果显示该算法有效地提高了微表情识别的性能。

融合卷积神经网络与多层感知器的鞍部识别方法

针对传统鞍部识别方法中特征选择困难及未考虑鞍部与其它地形要素的共生关系等问题,利用深度卷积神经网络的特征自学习性能,提出了一种卷积神经网络与多层感知器相结合的混合模型实现DEM数据中的鞍部要素识别.首先设计改进的卷积神经网络模型自动提取鞍部的深度特征,经过Softmax分类器得到候选鞍部点,再运用多层感知器对候选鞍部点的位置进行精细回归,标识出最终的鞍部要素坐标.通过自建的鞍部样本集SADDLE-100训练网络模型,并在三种不同的山地样区进行实验,实验结果表明该方法比其它鞍部识别方法的漏提率减少约50%,正确识别率提高6.7%,在一定程度上避免了人工选择特征造成的鞍部语义信息缺失现象,为DEM中的点状要素识别提供了新的技术途径.

融合全局与局部特征的深度卷积神经网络算法

为进一步提高人脸表情识别的准确率,提出一种融合全局与局部特征的深度卷积神经网络算法(GL-DCNN)。该算法由两个改进的卷积神经网络分支组成,全局分支和局部分支,分别用于提取全局特征和局部特征,对两个分支的特征进行加权融合,使用融合后的特征进行分类。首先,提取全局特征,全局分支基于迁移学习,使用改进的VGG19网络模型进行特征提取;其次,提取局部特征,局部分支采用中心对称局部二值模式(CSLBP)算法进行第一次特征提取,得到原始图像的局部纹理信息,将其输入到浅层卷积神经网络进行第二次特征提取,使其自动提取出与表情相关的局部特征;再次,采用两个级联的全连接层对两个分支的特征进行降维,为其分配不同权重,进行加权融合;最后,采用softmax分类器进行分类。实验在CK+和JAFFE数据集上进行验证,分类精度分别达95%以上和93%以上,对比其他五种算法,该算法总体表现较好,具有较好的识别效果和良好的鲁棒性,可为人脸表情识别提供有效依据。

基于双流残差卷积神经网络的养殖鳗鲡(Anguilla)摄食强度评估研究

为实现对养殖鳗鲡(Anguilla)摄食强度的准确评估,提出了一种基于双流残差卷积神经网络的鳗鲡摄食强度评估方法,该方法针对传统双流网络(Two-stream)中存在的问题做出了相应的改进。首先针对传统双流网络存在网络结构较浅,无法提取到充分的鳗鲡摄食行为特征的问题,选择使用ResNet50网络进行替换,以提取到更具代表性的特征。其次针对传统双流网络最后的分类结果是把空间流和时间流的得分取平均值融合而获得,这种方式较为简单,且其空间流和时间流网络为独立进行训练,容易导致网络出现学习不到鳗鲡摄食行为的时空关联特征的问题,选择使用特征层融合方式对空间流和时间流网络提取获得的特征进行融合,让网络能够并行进行训练,以提取到时空信息间的关联特征。试验结果表明:文内提出的基于双流残差卷积神经网络的鳗鲡摄食强度评估方法准确率达到98.6%,与单通道的空间流和时间流网络相比,准确率分别提升了5.8%和8.5%,与传统的双流网络相比准确率也提升了3.2%。

基于空间金字塔池化的深度卷积神经网络多聚焦图像融合

针对传统方法需要人工设定特征和融合准则来完成融合任务,未能充分利用源图像中其他潜在有用信息的缺陷,提出一种基于空间金字塔池化网络的深度学习方法.首先,设计了一种孪生双通道卷积神经网络,并使用金字塔池化代替最大池化,学习多聚焦图像的特征.然后,为了有效训练该网络,采用高斯滤波器合成一个大规模具有金标准的多聚焦数据集.给定一幅多聚焦图像作为输入,训练好的模型可以输出一个指示源图像中聚焦性质的得分图.此外,为了进一步提高融合效果,将得分图进一步分割为二值掩模图,并使用形态学方法对其进行优化.最后,通过在优化的二值掩模图及源图像之间使用点乘运算,将可以得到最终融合图像.实验结果表明,算法在测试集上平均量化指标提高了0.78%.

一种基于融合深度卷积神经网络与度量学习的人脸识别方法

现有的卷积神经网络方法大多以增大类间距离为学习目标,而忽略类内距离的减小,这对于人脸识别来说,将导致一些非限制条件下(如姿态、光照等)的人脸无法被准确识别,为了解决此问题,提出一种基于融合度量学习算法和深度卷积神经网络的人脸识别方法。首先,提出一种基于多Inception结构的人脸特征提取网络,使用较少参数来提取特征;其次,提出一种联合损失的度量学习方法,将分类损失和中心损失进行加权联合;最后,将深度卷积神经网络和度量学习方法进行融合,在网络训练时,达到增大类间距离同时减小类内距离的学习目标。实验结果表明,该方法能提取出更具区分性的人脸特征,与分类损失方法及融合了其他度量学习方式的方法相比,提升了非限制条件下的人脸识别准确率。

基于多层特征融合可调监督函数卷积神经网络的人脸性别识别

为了进一步提高性别识别的准确率,提出了一种基于多层特征融合与可调监督函数机制结合的卷积神经网络(L-MFCNN)模型,并将之用于人脸性别识别。与传统卷积神经网络(CNN)不同,L-MFCNN将多个浅层中间卷积层特征输出与最后卷积层特征输出相结合,融合多层卷积层的特征,不仅利用了深层卷积的整体语义信息,还考虑了浅层卷积的细节局部纹理信息,使得性别识别更加准确。此外L-MFCNN还引入具有可调目标监督函数机制的large-margin softmax loss作为输出层,利用其调节不同的间隔(margin)的机制来有效引导深层卷积网络学习,使得同种性别间的类内间距更小,不同性别间的类间距更大,获得更好的性别识别效果。在多个人脸数据集上的性别识别实验结果表明,L-MFCNN的识别准确率要高于其他传统的卷积网络模型。L-MFCNN模型也为将来的人脸性别识别研究提供了新的思路与方向。