结合强化学习和DenseNet的远程监督关系抽取模型

关系抽取是信息获取领域的重要任务之一。为了更好地解决数据集中的噪声问题和句子深层次语义表征,提出一种结合强化学习和密集连接卷积神经网络的远程监督关系抽取模型,模型分为句子选择器和关系分类器。在句子选择器中,基于强化学习的方法能有效过滤噪声语句,提升输入数据质量;在关系分类器中,通过DenseNet深层网络中的特征复用,学习更丰富的语义特征。在NYT数据集上的实验结果表明句子选择器能够有效过滤噪声,该模型的关系抽取性能相比基线模型得到有效提高。

融合DenseNet和注意力机制的永磁定位方法

基于永磁体的定位技术为运动跟踪、机器人定位导航和医疗器械跟踪领域提供了一种无线、高精度、低成本的解决方案。为解决基于磁偶极子模型和LM(Levenberg-Marquardt)算法的定位方法过于依赖初始值、计算耗时受限的问题,利用基于磁偶极子模型先验知识的约束条件构造惩罚函数,提出一种融合密集卷积网络(DenseNet)和注意力机制(SE Block)的永磁定位方法。实验结果表明:在48~118 mm的高度范围内,本文方法定位精度可达(1.79±1.05)mm和1.12°±0.53°,平均计算耗时降低至1.6 ms,提升了永磁定位系统计算的速率和稳定性。

基于DenseNet卷积神经网络的短期风电预测方法

风能作为一种清洁、可再生的能源,在能源转型中扮演着至关重要的角色,准确预测风电出力对电力系统的安全高效运行非常重要,然而风速的波动性和随机性,对风电预测带来了挑战。为了提高风电预测的准确性,提出了一种基于DenseNet卷积神经网络的短期风电预测模型。该模型通过精简DenseNet201网络得到了拥有出色的密集连接结构和适当深度、宽度的DenseNet160网络,不仅能缓解训练过程中梯度消失现象,还能通过密集连接将浅层的信息反映到深层,实现深度监督。基于巴西纳塔尔地区378 d的风力数据集,采用DenseNet160网络以及27种算法对未来一天的风力发电情况进行预测。结果表明:DenseNet160网络的平均绝对误差、均方误差以及平均绝对百分误差比其他算法分别降低了至少10.89%,4.98%,8.68%;同时,与使用相同数据集的混合经济模型相比,DenseNet160网络的MAE值小了25.56%。说明该模型能精准地拟合风力发电数据,获得可靠的风力预测结果。

基于DSC-DenseNet的流程工业系统故障监测

田纳西-伊士曼过程数据高纬度、高耦合,存在数据特征难以提取的问题。为进一步提高流程工业系统中故障监测的识别率,现将一维稠密卷积网络(1D-DenseNet)与深度可分离卷积(DSC)结合,利用DenseNet的高效特征提取能力,并结合DSC减少计算参数、提高诊断效率,以提供基于DSC-DenseNet的故障监测方式。先将数据进行归一化整理,并加入随机种子避免过拟合,随后将处理后的结果作为DSC-DenseNet的输入进行特征提取,然后将输出结果传入全连接层进行故障分类;最后在TEP数据集上进行准确率测试。结果证明:基于DSC-DenseNet的方法能有效分辨故障类型,故障分类准确率达到98.8%。并证明DSC-DenseNet比传统DenseNet有更好的故障识别效果。

改进DenseNet的乳腺癌病理图像八分类研究

目前,在医学图像领域存在乳腺癌组织病理图像自动分类难以应用于临床诊断的现象,究其根源是当前没有大型公开的数据集或数据集数据不均衡。针对上述问题,提出一种结合密集卷积神经网络(dense convolutional network,DenseNet)、注意力机制(attention mecheanism)和焦点损失函数(Focal loss)的乳腺癌组织病理图像的多分类模型,即DAFLNet。DAFLNet在乳腺癌组织病理图像数据集BreaKHis上进行训练、验证与测试,最终实验结果显示,该模型对良恶性二分类的识别准确率达到99.1%,对乳腺亚型八分类的识别准确率达到95.5%。证明在数据不均衡的条件下,DAFLNet模型能够准确地对乳腺组织病理图像进行八分类。

DenseNet结合空间通道注意力机制的环境声音分类

音乐信息识别(MIR)和自动语音识别(ASR)都是以结构化声音为特点的声音识别,环境声音识别在声音识别领域的难度很大。为了充分利用从环境声中提取的Log-Mel谱图的空间特征与通道特征,提出了一种基于密集连接卷积网络(DenseNet)的空间通道注意力机制。使用DenseNet对Log-Mel谱图进行特征提取,引入空间通道注意力机制使网络更加关注显著特征;为了解决数据不足导致的过拟合问题,将混合数据增强的方法应用于Log-Mel谱图,从而保证了数据的多样性;在2个公共数据集(ESC-50和ESC-10)验证所提方法的有效性。结果表明:所提的空间通道注意力机制模型能够使神经网络对环境声音的识别率分别达到79.3%(ESC-50)和94.3%(ESC-10)。

基于CVMD-GRU-DenseNet混合模型的短期电力负荷预测

针对电力负荷时序变化非线性和多周期性特点,提出一种基于分解-预测-重构框架的CVMD-GRU-DenseNet短期负荷预测方法。分解阶段依据子序列间的相关熵确定VMD最佳分解数,提高负荷序列分解质量;预测阶段针对各子序列特点筛选输入特征,规律性强的低频分量采用GRU神经网络预测模型,强随机性的高频分量采用DenseNet神经网络预测模型;最后将各分量的预测结果重构为负荷预测曲线。湖北某市四季的实际负荷算例结果表明,该方法能有效提高短期负荷预测精度,并具有较强的泛化能力。

基于LW-DenseNet的采煤机摇臂齿轮故障诊断

为了提升采煤机摇臂齿轮故障诊断准确率、减小模型尺寸且方便部署到更多移动端与边缘设备上,搭建了基于轻量化密集连接卷积网络(LW-DenseNet)的采煤机摇臂齿轮故障诊断模型。采用可分离卷积代替传统卷积减少模型参数,提高诊断效率;通过密集连接机制增强特征传播,加强特征提取能力。利用采煤机摇臂加载试验台采集的摇臂齿轮振动信号进行训练并验证模型的有效性。实验结果表明,与多种诊断模型比较,所提方法仅以0.05 MB的模型大小即可达到99.276%的分类精度,并利用凯斯西储大学轴承数据集验证了模型具有良好的泛化性。最后对关键层利用t-SNE进行可视化表示,清晰地展现了模型良好的特征提取性能。

基于SRDenseNet的指纹超分辨率重建研究

指纹识别是一种常用的生物特征识别技术,图像质量对指纹识别效果有着重要的影响。针对现有指纹图像质量低导致识别准确率差的问题,提出一种基于SRDenseNet的指纹超分辨率重建算法。该方法使用深度卷积神经网络为基本结构,加入了Dense块和Dense跳连接以充分利用多层次的特征信息,提出将全局均方差和平均局部结构相似度引入损失函数,有效提升深度卷积神经网络对指纹图像的分辨率提高与全局结构和局部细节重建的能力。在FVC数据集上进行测试和验证,将该方法与现有其他方法进行比较。结果表明,2、3、4倍率的超分辨率指纹图像的匹配等错误率分别从原来的5.456%、8.730%和16.091%下降至4.762%、7.500%和12.540%,实验证明了该方法的有效性。

基于稠密连接的通道混合式PCANet的低分辨率有遮挡人脸识别

针对低分辨率有遮挡人脸识别问题提出了基于稠密连接的通道混合式主成分分析网络(DCH-PCANet)。现有的PCANet模型的卷积层只使用了通道无关式卷积(CIC)。通道无关式卷积由于未考虑特征图在通道方向上的相关性,可以更好地凸显单个特征图的局部纹理特征,对于补偿因低分辨率、遮挡等因素导致的特征损失具有重要意义,但也会强化遮挡区域的特征,从而放大坏特征的影响范围;而通道相关式卷积(CDC)由于充分考虑了各特征图在通道方向上的相关性,可以较好地抑制坏特征的作用,形成较为稀疏的特征图。在PCANet中添加了基于通道相关式卷积的特征图提取分支,形成了通道混合式PCANet;并且引入了稠密连接,以充分利用低阶特征提升有遮挡图像识别的鲁棒性。针对如下4种数据集进行了实验:受控环境、真实遮挡和模拟低分辨率的人脸数据集(AR人脸数据集),非受控环境、真实遮挡和模拟低分辨率的人脸数据集(MFR2和PKUMasked-Face),非受控环境、真实遮挡和真实低分辨率的人脸数据集(自建数据集)。实验结果表明,与现有方法相比,所提出的基于稠密连接的通道混合式PCANet具更好的遮挡鲁棒性和低分辨率鲁棒性,可以作为前沿方法的有效补充,提升其识别性能。

基于注意力机制和软匹配的多标签遥感图像检索方法

针对卷积神经网络对于多标签遥感图像特征提取能力弱、不能准确反映遥感图像多标签复杂性的问题,提出基于注意力机制和软匹配的多标签遥感图像检索方法。在特征提取阶段,以密集卷积神经网络模型为基础,在每个密集块(Dense Block)后添加CBAM(Convolutional Block Attention Module)层,实现对多标签图像区域特征提取。在模型训练时,利用区分硬匹配与软匹配的联合损失函数,学习图像的哈希编码表示。通过评估遥感图像哈希编码间的汉明距离,实现相似图像的检索。实验结果表明,所提方法在数据集NUS-WIDE和多标签遥感图像数据集DLRSD上与其他基于全局特征的深度哈希方法相比,明显提升了检索准确率。

基于深度学习的近岸海浪图像反演有效波高算法研究

海浪有效波高是近岸海洋观测的重要要素,近岸摄像头拍摄的图像可直观地反映波高大小,但目前基于图像的有效波高反演算法研究多处于室内实验阶段且方法缺乏普适性。本文基于深度学习技术,以山东青岛小麦岛近岸海浪为例,基于海浪图像和浮标实测数据,开展近岸海浪图像反演有效波高方法研究,给出一种利用图像反演海浪有效波高的方法,该方法利用卷积网络提取海浪图像的特征,利用全连接网络提取风速等气象特征,将特征融合后作为全连接层的输入,最后输出反演的有效波高。通过对比多种模型的反演结果和浮标观测数据,发现多参数DenseNET121模型有效波高反演能力优于其他神经网络模型,其平均绝对误差为8.97 cm。本文研究为近岸海浪观测提供了一种新的技术思路。

基于密集多尺度特征的遥感影像水体提取

针对传统遥感影像水体提取方法和基于深度学习的经典目标提取模型的提取结果存在丢失边缘细节信息和准确率低的问题,提出了基于深层特征编码-水体识别解码的多尺度特征密集连接网络结构。首先利用深层特征编码结构中的普通卷积提取影像中水体的特征信息,然后利用密集多尺度特征模块提取水体的多尺度特征和保留全局信息,最后利用水体识别解码结构对图像中的水体进行预测。实验结果表明:本文方法的提取结果精度优于经典全卷积神经网络模型,在测试集上的像元精度达到98.56%,交并比达到78.91%,有效保留了水体的完整性和细节边缘信息,实现了水体的精细化提取。

DenseNet-centercrop:一个用于肺结节分类的卷积网络

为解决由肺部CT图像对肺结节进行良恶性分类的问题,提出了一个新颖的端到端深度学习网络DenseNet-centercrop。通过在原有的DenseNet结构中的稠密块间增加新的分支,引入了中心剪裁操作。该网络结构具有2个优势:(1)不仅最大程度保留了DenseNet的结构,而且将其稠密连接机制扩展到了稠密块水平,大大丰富了肺结节的多尺度特征。(2)参数量较少,是一种轻量化的网络结构。将基于该网络的肺结节良恶性分类方法在LIDC-IDRI数据集上进行评估,实验结果表明,DenseNet-centercrop极大地提高了DenseNet的性能,较现有的其他肺结节良恶性分类方法具有更高的AUC分值和分类精度。

基于GAF和DenseNet的滚动轴承故障诊断方法

基于模型和基于信号的滚动轴承故障诊断方法存在建模困难、信号分析较繁琐等问题;基于数据驱动的滚动轴承故障诊断方法多采用卷积神经网络,但网络训练时随着网络层数增多会出现梯度消失问题,且将滚动轴承振动信号直接作为网络输入会造成特征提取不全。针对上述问题,提出了一种基于格拉姆角场(GAF)与密集连接卷积网络(DenseNet)的滚动轴承故障诊断方法。将滚动轴承振动信号一维时间序列通过GAF转换为二维图像,保留了时间序列数据之间的相关信息;将二维图像作为DenseNet的输入,通过DenseNet对二维图像进行特征提取,提升了特征信息利用率,进而实现故障分类。采用凯斯西储大学轴承数据集上的数据进行实验,结果表明,该方法能有效识别滚动轴承故障类型,故障诊断准确率达99.75%。为进一步证明该方法的优越性,选取灰度图+DenseNet、GAF+残差网络(ResNet)、灰度图+ResNet故障诊断方法进行对比,结果表明:GAF+DenseNet方法准确率最高,灰度图+ResNet方法准确率最低;经过GAF转换的二维图像与灰度图相比,保留了原始时间序列数据之间的相关信息;与ResNet相比,DenseNet由于采取更加密集的连接方式,能够更充分地提取故障特征。

基于改进DenseNet模型的滚动轴承变工况故障诊断

针对旋转机械传统故障诊断中浅层特征对振动信号故障信息表征能力不足以及在变工况条件下传统的网络模型诊断能力差的问题,提出了一种结合风格再校准模块(style-based recalibration module,SRM)和密集连接卷积神经网络(densely connected convolutional networks,DenseNet)智能故障诊断神经网络模型。将预处理得到的时频图输入到引入SRM的DenseNet网络模型中,通过对特征图进行重新加权以及特征复用,避免有效信息缺失,降低了无关信息的干扰,增强模型对故障特征的提取能力。分别进行单一工况和变工况实验验证,结果表明所提方法在变工况条件下的故障识别率均优于目前主流的SVM、WDCNN和ECACNN诊断方法。

基于Ghost-DenseNet-SE的恶意代码检测方法

针对现有恶意代码检测模型对恶意代码及其变种识别率不高,且参数量过大这一问题,将轻量化卷积Ghost、密集连接网络DenseNet与通道域注意力机制SE相结合,提出一种基于Ghost-DenseNet-SE的恶意代码家族检测模型。该模型为压缩模型体积、提升识别速率,将DenseNet中的标准卷积层替换为轻量化Ghost模块;并引入通道域注意力机制,赋予特征通道不同权重,用以提取恶意代码的关键特征,提高模型检测精度。在Malimg数据集上的实验结果表明,该模型对恶意代码家族的识别准确率可以达到99.14%,与AlexNet、VGGNet等模型相比分别提高了1.34%和2.98%,且模型参数量更低。该算法在提升分类准确率的同时,降低了模型复杂度,在恶意代码检测中具有重要的工程价值和实践意义。

基于MTF和DenseNet的滚动轴承故障诊断方法

基于模型和基于信号处理与分析的滚动轴承故障诊断方法存在建模困难、信号特征难以提取等问题;基于浅层机器学习的滚动轴承故障诊断方法对复杂数据的特征学习能力有限;基于深度学习的滚动轴承故障诊断方法多采用卷积神经网络,但随着网络深度加深会出现梯度弥散或消失的问题,且直接将滚动轴承振动信号转换成一维或二维图像作为网络输入会无法保留信号间的时间相关性,导致信号信息丢失。针对上述问题,提出了一种基于马尔可夫变迁场(MTF)和密集连接卷积网络(DenseNet)的滚动轴承故障诊断方法。将滚动轴承振动信号通过MTF编码后生成二维图像,保留了信号的时序信息和状态迁移信息;将二维图像作为DenseNet的输入,通过DenseNet对滚动轴承振动信号故障特征进行提取,增强了特征信息传播,使特征信息得到充分利用,进而实现故障分类识别。采用凯斯西储大学轴承数据集上的数据进行试验,结果表明,该方法能有效识别滚动轴承故障类型,故障诊断准确率达99.5%。为进一步验证该方法在电动机载荷发生变化情况下的故障诊断能力及优越性,选取灰度图、包络谱图、倒频谱图和MTF生成图4种网络输入图像分别与Inception,ResNet,DenseNet 3种网络相结合的方法进行对比试验,结果表明:不同方法的故障诊断准确率均在电动机载荷不变时高于电动机载荷变化时;MTF+DenseNet方法故障诊断准确率高于其他方法,在电动机载荷发生变化的情况下仍具有较高的故障诊断准确率,平均值为94.53%,泛化性能较好。

基于密集卷积网络(DenseNets)的遥感图像分类研究

遥感图像空间分辨率低,如何更好地提取图像特征成为提升分类性能的关键。文章提出了一种基于密集卷积网络(DenseNets)的遥感图像分类方法,针对遥感图像样本少,采用迁移学习方法,在ImageNet上进行预训练,获得初始模型,利用预训练模型在(UCM_LandUse_21)上训练,更新训练策略获得最佳模型。结果表明,该方法比BOVW+SCK和SVM_LDA方法在分类精度上提高10%,比传统CNN提升了约7%,比MS_DCNN提升5%。因此,该方法对于遥感图像场景分类具有一定的价值。

基于混合注意力机制的图像超分辨重建算法

现有的大多数基于深度学习的单幅图像超分辨率算法,是通过深化和拓宽网络结构来提取特征,而对于信息占比不同的空间域和通道域没有作区分,导致大量计算资源的浪费。针对上述问题,提出了一种通道-空间混合注意力模块,通过捕捉通道域和空间域内重要性的差异从而更高效地分配计算资源,以加快网络收敛,提高网络性能。采用跳跃连接的方式融合全局特征,加强网络内信息的传递,使得分层信息被充分利用。同时在网络中引入密集连接网络,以做到特征的复用,加强信息的传输。实验结果表明,上述算法在客观指标评价和主观视觉效果方面均优于比较算法。