自学习稀疏密集连接卷积神经网络图像分类方法

通道剪枝是深度模型压缩的主要方法之一。针对密集连接卷积神经网络中,每一层都接收其前部所有卷积层的输出特征图作为输入,但并非每个后部层都需要所有先前层的特征,网络中存在很大冗余的缺点。本文提出一种自学习剪枝密集连接网络中冗余通道的方法,得到稀疏密集连接卷积神经网络。首先,提出了一种衡量每个卷积层中每个输入特征图对输出特征图贡献度大小的方法,贡献度小的输入特征图即为冗余特征图;其次,介绍了通过自学习,网络分阶段剪枝冗余通道的训练过程,得到了稀疏密集连接卷积神经网络,该网络剪枝了密集连接网络中的冗余通道,减少了网络参数,降低了存储和计算量;最后,为了验证本文方法的有效性,在图像分类数据集CIFAR-10/100上进行了实验,在不牺牲准确率的前提下减小了模型冗余。

基于密集连接卷积神经网络的入侵检测技术研究

卷积神经网络在入侵检测技术领域中已得到广泛应用,一般地认为层次越深的网络结构其在特征提取、检测准确率等方面就越精确。但也伴随着梯度弥散、泛化能力不足且参数量大准确率不高等问题。针对上述问题,该文提出将密集连接卷积神经网络(DCCNet)应用到入侵检测技术中,并通过使用混合损失函数达到提升检测准确率的目的。用KDD 99数据集进行实验,将实验结果与常用的LeNet神经网络、VggNet神经网络结构相比。分析显示在检测的准确率上有一定的提高,而且缓解了在训练过程中梯度弥散问题。

一种卷积神经网络的稀疏性Dropout正则化方法

Dropout是卷积神经网络中经典的正则化方法,能有效防止过拟合现象的产生.基于Dropout的卷积神经网络在训练时以完全随机的方式删除部分节点,产生的局部网络缺少对不同样本的区分性.针对上述问题,提出一种稀疏性Dropout正则化方法,该方法在训练时对节点引入稀疏性限制,根据激活值的大小选择节点被删除的概率,使网络以更高的概率删除激活值较低的节点,以保留更多激活值较高的节点,增强模型的特征提取能力.测试时恢复所有被删除的节点并保留训练时的参数,达到组合多个局部网络的目的.在公开数据集上的实验结果表明,将稀疏性与Dropout相结合的方法相较于传统方法具有更好的泛化能力.

密集连接扩张卷积神经网络的单幅图像去雾

针对大多数图像去雾算法模型参数估计准确性差及色彩失真等问题,提出了一种端到端的密集连接扩张卷积神经网络。首先,通过使用多层密集连接结构来增加网络的特征利用率,避免网络加深时的梯度消失现象。其次,通过在密集块中使用不同扩张率的扩张卷积,使网络在充分聚合上下文特征信息时不损失空间分辨率,并避免了网格伪影的产生。最后,为了提高算法的去雾能力,将该网络划分为多个阶段,并在每个阶段引入侧输出模块,从而获得更精确的特征信息。实验结果表明,所提出的去雾算法无论是在合成数据集上还是在真实数据集上都取得了较好的去雾效果,恢复的色彩更接近无雾图像,并且定量评价指标峰值信噪比(PSNR)和结构相似性(SSIM)均优于其他对比方法。

基于密集连接卷积神经网络的远程监督关系抽取

密集连接卷积神经网络(DenseNet)是一种新型深度卷积神经网络架构,通过建立不同层间的连接关系,来确保网络层与层间最大程度的信息传输。在文本远程监督关系抽取任务中,针对现有神经网络方法使用浅层网络提取特征的局限,设计了一种基于密集连接方式的深度卷积神经网络模型。该模型采用五层卷积神经网络构成的密集连接模块和最大池化层作为句子编码器,通过合并不同层次的词法、句法和语义特征,来帮助网络学习特征,从而获取输入语句更丰富的语义信息,同时减轻深度神经网络的梯度消失现象,使得网络对自然语言的表征能力更强。模型在NYT-Freebase数据集上的平均准确率达到了82.5%,PR曲线面积达到了0.43。实验结果表明,该模型能够有效利用特征,并提高远程监督关系抽取的准确率。

高阶神经网络连接权的稀疏化及其删减算法

本文首先研究完全连接型高阶神经网络的逼近能力，并证明了定义在｛０，１｝＾Ｎ上的任意布尔函数都可以由完全连接的高阶神经网络来实现。接着提出了旨在简化网络结构的去除冗余连接权删减算法，并用于高阶神经分类器的稀疏化实现。模拟实验结果证明了这种算法的有效性。

DenseCNN-ATT:实体关系抽取的密集连接卷积神经网络

在远程监督(Distant Supervision,DS)实体关系抽取任务中,采用远程监督的方式虽然可以产生大量的标注数据,但是这种方法产生的数据集充满大量的噪声数据,从而会降低关系抽取的性能。为此,我们针对现有深度学习使用浅层和单一深层神经网络模型提取特征的局限,设计了一个融合注意力机制的密集连接卷积神经网络模型——DenseCNN-ATT,该模型采用五层卷积深度的CNN,构成密集连接卷积模块作为句子编码器,通过增加特征通道数量来提高特征传递,减少了特征梯度的消失现象;此外,为进一步减少噪声影响,论文将网络的最大池化结果融合注意力机制,通过强调句子权重,来提升关系抽取性能。该模型在NYT数据集上的平均准确率达到了83.2%,相比于目前效果较好的浅层网络PCNN+ATT和深层网络ResCNN-9提升了9%~11%。实验证明,该模型能够充分利用有效的实例关系,在综合性能上明显优于目前效果较好的主流模型。

密集连接卷积神经网络:让人工智能拥有更强大脑

人工智能技术经过半个多世纪的发展，伴随着这个领域的几度兴起和沉寂，终于在新的千年借助互联网、大数据、高性能芯片等技术，逐渐走向成熟和实用。相信不久的将来，随着深度神经网络等基础性技术的不断进步，人工智能将进入各个行业，彻底变革人们的生产和生活方式。

基于DenseNet卷积神经网络的短期风电预测方法

风能作为一种清洁、可再生的能源,在能源转型中扮演着至关重要的角色,准确预测风电出力对电力系统的安全高效运行非常重要,然而风速的波动性和随机性,对风电预测带来了挑战。为了提高风电预测的准确性,提出了一种基于DenseNet卷积神经网络的短期风电预测模型。该模型通过精简DenseNet201网络得到了拥有出色的密集连接结构和适当深度、宽度的DenseNet160网络,不仅能缓解训练过程中梯度消失现象,还能通过密集连接将浅层的信息反映到深层,实现深度监督。基于巴西纳塔尔地区378 d的风力数据集,采用DenseNet160网络以及27种算法对未来一天的风力发电情况进行预测。结果表明:DenseNet160网络的平均绝对误差、均方误差以及平均绝对百分误差比其他算法分别降低了至少10.89%,4.98%,8.68%;同时,与使用相同数据集的混合经济模型相比,DenseNet160网络的MAE值小了25.56%。说明该模型能精准地拟合风力发电数据,获得可靠的风力预测结果。

基于二值化密集卷积神经网络的表情识别算法

人脸表情识别已成为人工智能领域的重要研究课题,但传统的卷积神经网络需要庞大的计算资源使得其应用受限,而二值化卷积神经网络可通过快速与或运算代替原本的浮点乘法运算,大大降低了算法对计算资源的需求。论文提出了一种基于数据增强和二值化卷积神经网络的人脸表情识别算法,通过均值估计,在FER2013数据集上达到了66.15%的识别率,超越了部分基于浮点乘积运算的卷积网络,为表情识别算法移植到小型设备中提供了可能。

基于可变形密集卷积神经网络的布匹瑕疵检测

针对传统布匹瑕疵检测方法无法适用于尺度变化大、面积占比小的瑕疵特征,提出一种基于可变形密集卷积神经网络模型。为了关注到图像中距离较远的特征信息,并避免捕获纹理信息,采用可变形卷积来增强特征的语义表达能力。通过在卷积层中设置卷积像素相对于中心像素各自的x,y方向偏移量,并利用反向传播训练偏移量以增加感受野的变形适应性。同时,采用密集连接的方式以保持模型不遗漏边缘瑕疵信息。最后,根据瑕疵类别预测和位置边框回归实现瑕疵的分类和定位检测。实验结果表明:该模型的平均检测精度和单类目标检测精度标准差分别为93.53%,2.5139,相比于其他方法更具有竞争力。

GSDCPeleeNet:基于PeleeNet的高效轻量化卷积神经网络

卷积神经网络在各个领域都发挥着重要的作用,尤其是在计算机视觉领域,但过多的参数数量和计算量限制了它在移动设备上的应用。针对上述问题,结合分组卷积方法和参数共享、密集连接的思想,提出了一种新的卷积算法Group-Shard-Dense-Channle-Wise。利用该卷积算法,在PeleeNet网络结构的基础上,改进出一种高效的轻量化卷积神经网络——GSDCPeleeNet。与其他卷积神经网络相比,该网络在具有更少参数的情况下,几乎不损失识别精度甚至识别精度更高。该网络选取1×1卷积层中卷积核信道方向上的步长s作为超参数,调整并适当地选取该超参数,可以在网络参数量更小的情况下,拥有更好的图像分类效果。

面向深度卷积神经网络的确定性连接丢弃算法

针对深度卷积神经网络中存在的过拟合问题,本文提出了一种确定性连接丢弃的正则化方法。核心思想是根据不同卷积滤波器权重对结果的贡献度不同,确定性丢弃卷积层层间连接,通过降低卷积滤波器权重的空间维度,使得卷积神经网络各层之间的连接更稀疏。通过将算法应用于图像分类任务来验证算法的性能,在MNIST、CIFAR-10和CIFAR-100数据集上,错误率分别为0.32%、5.33%、26.88%,相比于原始实验错误率分别降低0.15%、1.09%、1.36%。实验表明,本算法能够有效处理深度卷积神经网络的过拟合问题,并能提升网络的鲁棒性和泛化能力。

基于卷积神经网络的人脸性别识别

人脸性别识别是人脸识别的重要组成部分,但是人脸识别容易受到光照、旋转、平移、遮挡等因素的影响。将卷积神经网络引入到人脸性别识别中,该网络的结构具有稀疏连接和权值共享的优点,卷积层和采样层交替进行,简化了模型的复杂度。实验表明,该方法的网络结构有效地克服了旋转、遮挡等因素的影响,具有较好的鲁棒性。

特征融合型卷积神经网络的语义分割

语义分割是对图像中的不同目标进行像素级的分割和分类,是图像处理领域中的一项重要研究,应用十分广泛。深度卷积神经网络在近几年的机器视觉研究中取得了显著成效。针对密集预测的语义分割任务,提出了一种基于VGGNet网络的方法。该方法在深层特征图像中融合了浅层信息,且采用并行的不同采样率的空洞卷积进行特征提取与融合,更有效地提取不同层的特征和上下文信息,从而提高语义分割精度。采用全连接条件随机场优化图像边界,进一步提高语义分割的精度。该方法在PASCAL VOC 2012语义分割任务测试集中取得了71.3%mIOU的结果,优于之前基于VGGNet的主要经典方法。

一种密集卷积神经网络的电视语音响度补偿方法

现有的电视语音响度补偿是针对人耳听阈和听力障碍的损失进行均衡补偿,这类方法会放大同频段的非人声。针对这类方法的缺陷,提出利用深度学习语音增强技术将人声从电视节目音频中分离出来,使用户直接听到清晰人声。对此提出密集连接卷积网络(Densely Connected Convolutional Network,DenseNet)结合卷积神经网络编解码器(Convolutional Encoder-Decoder,CED)结构的新型神经网络语音增强模型。该模型量级较轻,能够在电视上实时运行,与同量级网络参数的卷积神经网络(Convolutional Neural Networks,CNN)语音增强模型相比,效果更好且模型更小。

基于改进卷积神经网络的极光图像分类算法研究

极光包含丰富的磁层和日地电磁活动以及能量耦合等空间物理信息,是一种自然放光现象。对极光图像的正确分类有助于探索太阳与地球及地球自身磁场的奥秘。文中针对极光图像分类问题提出一种基于神经网络改进的算法,首先采用迁移学习将在大规模数据集上训练过的VGG16网络用于极光数据库,然后结合VGG16和密集连接的思想提出一种改进的Dense-VGG网络,用该网络提取极光图像的特征,并实现极光图像的自动分类。在中国北极黄河站拍摄的两个极光数据库上进行了实验,其中8 001幅准确率达到96.54%,38 044幅准确率达到98.99%,证明该算法能有效提高极光图像分类准确率。

基于可融合残差卷积块的深度神经网络模型层剪枝方法

针对当前主流的剪枝方法所获得的压缩模型推理时间较长和效果较差的问题,提出一种易用且性能优异的层剪枝方法。该方法将原始卷积层转化为可融合残差卷积块,然后通过稀疏化训练的方法实现层剪枝,得到一种具有工程易用性的层剪枝方法,兼具推理时间短和剪枝效果好的优点。实验结果表明,在图像分类任务和目标检测任务中,该方法可使模型在精度损失较小的情况下获得极高的压缩率,优于先进的卷积核剪枝方法。

基于深度卷积神经网络的心音分类算法

针对现有心音分类算法普适性差、依赖于对基本心音的精确分割、分类模型结构单一等问题,提出采用大量未经过精确分割的心音二维特征图训练深度卷积神经网络(CNN)的方法;首先采用滑动窗口方法和梅尔频率系数对心音信号进行预处理,得到大量未经过精确分割的心音特征图;然后利用深度CNN模型对心音特征图进行训练和测试;根据卷积层间连接方式的不同,设计了3种深度CNN模型:基于单一连接的卷积神经网络、基于跳跃连接的卷积神经网络、基于密集连接的卷积神经网络;实验结果表明,基于密集连接的卷积神经网络比其他两种网络具备更大的潜力;与其他心音分类算法相比,该算法不依赖于对基本心音的精确分割,且在分类准确率、敏感性和特异性方面均有提升。

结合密集神经网络与长短时记忆模型的中文识别

文本图像识别是计算机视觉领域一项重要任务,而其中的中文识别因种类繁多、结构复杂以及类间相近等特点很具挑战性.为改善这一问题,使用文本行端到端的识别模型.首次提出利用密集卷积神经网络(DenseNet)提取文本图像底层特征,同时避免手工设计、统计图像特征的繁琐;将整行图像特征直接送入双向长短时记忆模型(BLSTM)进行局部相关性分析,减少字符定位分割这一步骤;最后采用时域连接模型(CTC)解码获得识别的文本信息.实验表明所提出的模型可以高效的进行图像文本行的识别,并对图像的多种形变具有较好的鲁棒性.