利用深度卷积神经网络提高未知噪声下的语音增强性能

为了进一步提高基于深度学习的语音增强方法在未知噪声下的性能,本文从神经网络的结构出发展开研究.基于在时间与频率两个维度上,语音和噪声信号的局部特征都具有强相关性的特点,采用深度卷积神经网络(Deep convolutional neural network,DCNN)建模来表示含噪语音和纯净语音之间的复杂非线性关系.通过设计有效的训练特征和训练目标,并建立合理的网络结构,提出了基于深度卷积神经网络的语音增强方法.实验结果表明,在未知噪声条件下,本文方法相比基于深度神经网络(Deep neural network,DNN)的方法在语音质量和可懂度两种指标上都有明显提高.

一种融合相位估计的深度卷积神经网络语音增强方法

在时频域的语音增强中,幅度估计和相位估计都是影响语音增强性能的重要因素.为了在基于深度学习的语音增强方法中融合对相位的估计,本文将含噪语音短时傅里叶变换(STFT)的实部和虚部特征作为两个通道输入深度卷积神经网络,通过建立一个同步估计纯净语音STFT的实部和虚部特征的多任务学习模型,实现了对幅度和相位的同步估计.实验结果表明,相比仅考虑幅度估计的方法,本文方法具有更好的噪声抑制能力,在低信噪比条件下,显著提高了语音增强性能.

基于金字塔式双通道卷积神经网络的深度图像超分辨率重建

针对深度图像分辨率低的问题,构建了一种金字塔式双通道深度图像超分辨率卷积神经网络。在金字塔的每一级,通过两个通道对低分辨率深度图像提取不同的有效特征,通道1为增强型残差结构,可以将丰富的图像细节传递到后面的图层,通道2将不同卷积层提取的特征连接起来作为此通道最后一层卷积层的输入,有益于局部特征和全局特征的结合。接着,通过将不同通道融合后的特征输入亚像素卷积实现超分辨率重建。实验结果表明,相比其他方法,该方法得到的超分辨率图像缓解了边缘失真和伪影问题,有较好的视觉效果。

基于空间金字塔池化和深度卷积神经网络的作物害虫识别

为了减少因作物害虫姿态多样性和尺度多样性导致其识别精度相对较低的问题,该文将空间金字塔池化与改进的YOLOv3深度卷积神经网络相结合,提出了一种基于空间金字塔池化的深度卷积神经网络农作物害虫种类识别算法,首先对测试图像上的害虫进行检测定位,然后对检测定位出的害虫进行种类识别。通过改进YOLOv3的网络结构,采用上采样与卷积操作相结合的方法实现反卷积,使算法能够有效地检测到图片中体型较小的作物害虫样本;通过对采集到的实际场景下20类害虫进行识别测试,识别精度均值可达到88.07%。试验结果表明,本文提出的识别算法能够有效地对作物害虫进行检测和种类识别。

基于空间金字塔池化的深度卷积神经网络多聚焦图像融合

针对传统方法需要人工设定特征和融合准则来完成融合任务,未能充分利用源图像中其他潜在有用信息的缺陷,提出一种基于空间金字塔池化网络的深度学习方法.首先,设计了一种孪生双通道卷积神经网络,并使用金字塔池化代替最大池化,学习多聚焦图像的特征.然后,为了有效训练该网络,采用高斯滤波器合成一个大规模具有金标准的多聚焦数据集.给定一幅多聚焦图像作为输入,训练好的模型可以输出一个指示源图像中聚焦性质的得分图.此外,为了进一步提高融合效果,将得分图进一步分割为二值掩模图,并使用形态学方法对其进行优化.最后,通过在优化的二值掩模图及源图像之间使用点乘运算,将可以得到最终融合图像.实验结果表明,算法在测试集上平均量化指标提高了0.78%.

深度卷积神经网络在移动增强现实的应用研究

增强现实技术在移动智能设备的实现称为移动增强现实,已经成为目前研究的热点。目前的移动增强现实技术只能识别平面的现实场景,不能识别现实场景中的立体物体,这大大限制了移动增强现实的普及。本文提出一种基于深度卷积神经网络的移动增强现实技术,识别现实场景中的目标物体,最后渲染对应的三维模型完成增强现实。通过在Android移动设备上的验证,结果表明该技术方案具有很好的效果。

基于深度卷积神经网络的宫颈细胞病理智能辅助诊断方法

针对宫颈细胞病理自动筛查问题,提出一种基于深度卷积神经网络的智能辅助诊断方法。首先采用基于改进UNet深度卷积神经网络模型的语义分割方法,检测出宫颈细胞病理涂片扫描图像中的细胞(粘连簇团)区域。接着,利用VGG 16深度卷积神经网络模型,结合迁移学习技术,对检测出的细胞(粘连簇团)区域进行精确识别。为了提高深度卷积神经网络模型的性能,在进行细胞(粘连簇团)区域检测、识别的过程中,采用了数据增强技术。同时,针对该领域相关研究缺乏宫颈细胞病理液基涂片扫描图像数据集的问题,我们收集四川大学华西附二院的典型LCT筛查病例,建立了宫颈细胞病理图像HXLCT数据集,并由资深病理医生完成数据标注。实验表明,本文方法能够较好地完成宫颈细胞病理涂片扫描图像中的细胞(粘连簇团)区域检测(正确率为91.33%),并能对检测出的区域完成正常、疑似病变二分类识别(正确率为91.6%,召回率为92.3%,ROC曲线线下面积为0.914)。本文工作将有助于宫颈细胞病理自动筛查系统的开发,对于宫颈癌早期防治具有重要意义。

一种时频平滑的深度神经网络语音增强方法

由于现有的基于深度神经网络的语音增强方法在网络结构的设计上缺乏对语音增强问题自身特点的考虑,针对这一问题,基于语音增强在时间和频率两个维度上的不同特性,受传统语音增强方法中的含噪语音局部特征计算方法启发,设计了一种在时间和频率两个维度上进行不同处理的时频平滑网络.该网络采用门控循环单元来表达含噪语音在时间上的相关性,同时采用卷积神经网络来表达含噪语音在频率上的相关性,实现了类似传统语音增强方法的时频平滑处理.实验结果表明,这种时频平滑网络在保证语音增强系统因果性的前提下,相比其他网络显著地提高了语音增强性能,增强后的语音具有更好的语音质量和可懂度.

基于深度神经网络的因果形式语音增强模型

传统的基于深度神经网络(DNN)的语音增强方法由于采用非因果形式的输入,在处理过程中具有固定延时,不适用于实时性要求较高的场合。针对这一问题,从网络结构角度展开研究,通过实验对不同网络结构在不同输入形式下的语音增强性能进行对比,寻找适用于因果形式输入的网络结构,在此基础上,结合卷积神经网络和长短期记忆网络建立一个能充分利用先前帧信息的因果语音增强模型。实验结果表明,该模型在提高基于DNN的语音增强方法实时性的同时,保证了语音增强性能,其PESQ与STOI得分分别为2.25和0.76。

基于数据增强型一维改进卷积神经网络的变压器故障诊断方法

为提升基于深度学习的变压器故障诊断精度,提出了一种数据增强型一维改进卷积神经网络的变压器故障诊断方法。首先,针对传统变分自编码器数据生成过程中的盲目性弊端,提出改进变分自编码器(improved variational autoencoder,IVAE)优化变压器溶解气体数据生成策略。其次,为使深层网络结构能适应变压器溶解气体数据,构建一维改进卷积神经网络(one-dimensional improved convolutional neural network,1D-ICNN)作为故障诊断分类器。最后,通过算例仿真验证了所提方法的可行性和适应性。结果表明IVAE能有效解决变压器故障数据样本少、诊断准确率低的局限;数据增强型1D-ICNN在分类精准度上表现优异,准确度提升了13.49%,研究结果可为变压器故障的准确诊断提供新思路。

基于两通道深度卷积神经网络的图像隐藏方法

现有的基于深度卷积神经网络(DCNN)实现的图像信息隐藏方法存在图像视觉质量差和隐藏容量低的问题。针对此类问题,该文提出一种基于两通道深度卷积神经网络的图像隐藏方法。首先,与以往的隐藏框架不同,该文提出的隐藏方法中包含1个隐藏网络和2个结构相同的提取网络,实现了在1幅载体图像上同时对2幅全尺寸秘密图像进行有效的隐藏和提取;其次,为了提高图像的视觉质量,在隐藏网络和提取网络中加入了改进的金字塔池化模块和预处理模块。在多个数据集上的测试结果表明,所提方法较现有的图像信息隐藏方法在视觉质量上有显著提升,载体图像PSNR和SSIM分别提高了3.75 dB和3.61%,实现的相对容量为2,同时具有良好的泛化能力。

基于注意力机制和深度卷积神经网络的材质识别方法

材质识别旨在识别自然材质图像中的主要对象及其所属材料类别。针对材质图像数据集通常数据量少、人工标注局部纹理区域困难所导致的材质识别准确率低的问题,提出了一种基于注意力机制和深度卷积神经网络的材质识别方法,该方法的核心是材质识别深度卷积神经网络(MaterialNet)。MaterialNet利用深度残差网络对图像进行特征提取,采用所提出的级联空洞空间金字塔池化的方式引入注意力机制,使网络可以通过端到端训练自适应地关注包含纹理特征的关键区域,从而有效识别材质的局部纹理特征。在FMD材质数据集上进行实验,结果表明,MaterialNet的总体识别准确率可达到82.3%,比当前主流的B-CNN和CNN+FV材质识别方法分别提高了7.2%和4.5%,对多种材质的识别准确率较高且具有参数量少、计算量小等优点。

基于深度卷积神经网络的脸部表情分类研究

为了更加精确地对人脸表情进行分类,文中提出了使用CNN(卷积神经网络)来进行脸部表情的识别分类,其包含8层网络,前5个是卷积层(C1-5),其余3个是全连接层(FC6-8)。最后一个全连接层的输出提供给6路softmax,其在6类标签上产生一个分布。文中收集各种数据库,并将数据库组织成6个表情类,如"中性"、"高兴"、"伤心"、"愤怒"、"惊讶"和"反感"。应用预处理和数据增强技术来提高培训效率和分类性能。调整卷积层的特征映射的数量与全连接层的节点数,找到最能表达6个面部表情特征的最优结构。并通过交叉验证和交叉数据库实验得出,文中提出的CNN结构具有良好的脸部表情分类性能。其次,与其他传统模型相比,所提出的CNN结构在分类性能方面具有优越性且执行时间更短。

基于特征融合的注意力增强卷积神经网络的航空发动机滚动轴承故障诊断方法

针对现有基于深度卷积神经网络的故障诊断方法只考虑对信息局部特征的提取、忽视全局信息的不足,将可以把握全局信息的注意力机制融入卷积层,使得注意力机制参数和卷积层参数参与网络的训练,提出一种注意力增强卷积神经网络的机械故障诊断方法。通过经验模态分解、变分模态分解和小波包分解的方法提取滚动轴承振动信号的高维特征模量;将特征模量组成多通道样本输入到注意力增强卷积神经网络中进行训练,利用网络对特征模量自适应地融合和选择,从而挖掘特征模量的隐式特征;使用Softmax分类器进行分类识别;通过训练好的网络对高转速下的滚动轴承进行故障诊断;利用不同信噪比的信号对所提方法进行测试,以验证网络的泛化能力和故障诊断效果。实验结果表明:该方法能准确、有效地对航空发动机滚动轴承不同故障的损伤程度进行分类识别。

基于多级金字塔卷积神经网络的快速特征表示方法

由于在大尺度图像中卷积滤波的过程速度过慢,导致卷积神经网络(convolutional neural network,CNN)参数调节困难、训练时间过长。针对这一问题,通过对传统卷积神经网络(traditional convolution neural network,TCNN)的改进,提出一种快速有效的多级金字塔卷积神经网络(multi-level pyramid CNN,MLPCNN)。这一网络使用权值共享的方法将低级的滤波权值共享到高级,保证CNN的训练只在较小尺寸的图像块上进行,加快了训练速度。实验表明,在特征维数比较低的情况下,MLPCNN提取到的特征比传统的特征提取方法更加有效,在Caltech101数据库上,MLPCNN识别率达到81.32%,而且训练速度较TCNN提高了约2.5倍。

基于数据增强的卷积神经网络图像识别研究

针对深度学习网络在处理图像分类的过程中数据集样本数较少和样本相似度较高的问题,在卷积神经网络模型Alex Net的基础上,提出了对数据集采用数据集扩增、背景分割和主成分分析等数据预处理方法。卷积神经网络模型的基本结构为5个卷积层,2个全连接层和dropout层。实验环境是ubuntu16.04系统,Caffe深度学习框架。实验首先对原始的公开数据集Leaves和苹果表面病变数据集进行分类识别测试,分别得到84%和78%的准确率。然后对数据增强后的数据集再进行测试,公开数据集leaves的准确率为86%,准确率提高了2%,苹果表面病变数据集的准确率为83%,准确率提高了5%。测试结果表明,通过数据增强处理后,公开数据集Leaves和苹果表面病变数据集在该网络上的识别准确率都有了一定的提升。

基于全卷积神经网络的语音增强算法

为了进一步提高语音增强算法的性能,针对传统的WebRTC语音增强算法和基于LSTM的语音增强算法语音增强效果不理想的问题,提出了一种基于全卷积神经网络的语音增强算法。其采用两层全卷积层构成编码器提取含噪语音深层次特征,然后通过对称的解码器网络进行解码,最后通过一个全连接层输出纯净语音的特征。通过全卷积神经网络可以更好地利用含噪语音的上下文信号,提取出语音更抽象更深层次的特征。通过与WebRTC和LSTM算法进行对比,在低信噪比情况下,该算法的STOI(短时客观可理解度)和PESQ(语音质量感性评估)有较大提高。实现结果表明,其方法能够有效地提高在未知噪声情况下的语音增强性能,增强后的语音具有更好的语音质量与可懂度。

基于深度卷积神经网络的木材表面缺陷检测系统设计

针对木材表面的虫眼、结节和裂缝等缺陷,采用传统的人工检测人力成本较高,而采用图像处理技术提取的各种特征取决于人工经验,且受到噪声、光照等外界因素影响较大,其实际应用具有很大的局限性,因此提出基于深度卷积神经网络的木材表面缺陷检测方法。首先构建数据库,考虑到样本有限,采用了数据增强扩充样本数量;其次以在ImageNet数据集上获得优异性能的VGG16模型为基础,采用迁移学习,基于自建的小样本数据库微调该神经网络的后三个全连接层参数;最后利用重新训练好的深度卷积神经网络对测试图像进行检测,结果表明该网络在木材表面缺陷检测上达到了很好的性能。

深度卷积神经网络下选票系统智能化识别研究与实现

针对传统选票识别系统识别率低、效率不够高的问题,提出一种基于深度卷积神经网络的高准确率、低误识率的选票手写符自动识别系统。将图像处理方法与数据增强方法融合后引入卷积神经网络并对传统网络结构进行改进,构建出选票手写符号识别模型,形成一个高可靠性、高精度、高效率的选票识别系统。在各个会议、选举中采集大量数据集,通过不同模型的训练和测试结果表明,相较于传统图像处理方法、BP神经网络学习算法等现有方式,该方法具有更高的准确率,且能准确识别非期待图案的无意义图案,识别准确度达到99%以上。该手写符识别系统已应用于计票通项目,且可以推广应用到满足不同任务,多种型号的会议系统中。

基于卷积神经网络的图像数据增强算法

提升卷积神经网络的泛化能力和降低过拟合的风险是深度卷积神经网络的研究重点。遮挡是影响卷积神经网络泛化能力的关键因素之一,通常希望经过复杂训练得到的模型能够对遮挡图像有良好的泛化性。为了降低模型过拟合的风险和提升模型对随机遮挡图像识别的鲁棒性,提出了激活区域处理算法,在训练过程中对某一卷积层的最大激活特征图进行处理后对输入图像进行遮挡,然后将被遮挡的新图像作为网络的新输入并继续训练模型。实验结果表明,提出的算法能够提高多种卷积神经网络模型在不同数据集上的分类性能,并且训练好的模型对随机遮挡图像的识别具有非常好的鲁棒性。