基于压缩激励网络的注意力因子分解机的点击率预测模型

在互联网技术日趋成熟的今天,广告的点击率(click-through rate,CTR)预测得到越来越多的关注。在特定的商业环境下,广告CTR预测模型的改进可以带来巨大的经济效益。然而特征的多样性和复杂性使得传统的预测模型难以发现海量特征中的重要特征。针对上述问题,提出了基于压缩激励网络的注意力因子分解机的点击率预测模型(squeeze and excitation network based attentional factorization machines model for click-through rate prediction,SEAFM),SEAFM模型通过压缩和激励网络来动态学习特征的重要性,通过注意力网络来学习特征交互的权重,通过深度神经网络(deep neural network,DNN)模块来隐式建模高阶特征交互。实验结果显示,SEAFM模型比现有相关模型具有更好的性能。

基于注意力和挤压-激励Inception的双分支合成语音检测

合成语音攻击给人们的生活带来巨大的威胁。为了解决现有模型从冗余信息中提取关键信息能力不足和单一模型无法综合利用多检测模型优势的问题,提出一种基于注意力和挤压-激励(SE)模块Inception(SE-Inc)的双分支(Dual-ABIB)合成语音检测模型。首先,基于SincNet(Sinc-based convolutional neural Network)提取的初始特征图训练注意力分支合成语音检测模型,并输出注意力图;其次,将注意力图和初始特征图相乘后再叠加,并将结果作为SE-Inc分支的输入进行训练;最后,通过决策级加权融合处理2个分支获得的分类分数,从而实现合成语音检测。实验结果表明,所提模型在参数量为539×10^(3)的情况下,在ASVspoof2019数据集上获得了0.0332的最小串联检测代价函数(mint-DCF)和1.15%的等错误率(EER);与SE-ResABNet(Squeeze-Excitation ResNet Attention Branch Network)相比,所提模型在参数量仅为它的56%的情况下,min t-DCF和EER分别下降了34.5%和39.2%;同时,在ASVspoof2015和ASVspoof2021数据集上所提模型表现了更好的泛化能力。以上结果验证了所提模型能够在参数量较小的情况下,获得更低的min t-DCF和EER。

基于挤压激励的轻量化注意力机制模块

针对向卷积神经网络(CNN)中嵌入注意力机制模块以提高模型应用精度导致参数和计算量增加的问题,提出基于挤压激励的轻量化高度维度挤压激励(HD-SE)模块和宽度维度挤压激励(WD-SE)模块。为了充分利用特征图中潜在的信息,HD-SE对卷积层输出的特征图在高度维度上进行挤压激励操作,获得高度维度上的权重信息;而WD-SE在宽度维度上进行挤压激励操作,以得到特征图宽度维度上的权重信息;然后,将得到的权重信息分别应用于对应维度的特征图张量,以提高模型的应用精度。将HD-SE与WD-SE分别嵌入VGG16、ResNet56、MobileNetV1和MobileNetV2模型中,在CIFAR10和CIFAR100数据集上进行的实验结果表明,与挤压激励(SE)模块、协调注意力(CA)模块、卷积块注意力模块(CBAM)和高效通道注意力(ECA)模块等先进的注意力机制模块相比,HD-SE与WDSE在向网络模型中增加的参数和计算量更少的同时得到的精度相似或者更高。

基于类注意力的眼睛凝视估计网络

近年来,眼睛凝视估计引起广泛关注。基于RGB外观的凝视估计方法使用普通摄像机和深度学习来进行凝视估计,避免了像商用眼动仪一样使用昂贵的红外设备,为更准确和成本更低的眼睛凝视估计提供了可能。然而,RGB外观图像中包含如光照强度、肤色等多种与凝视无关的特征,这些无关特征会在深度学习回归的过程中产生干扰,进而影响凝视估计的精度。针对以上问题,提出了一种名为类注意力网络(CA-Net)的新架构,它包含通道、尺度、眼睛3种不同的类注意力模块,通过这些类注意力模块可以提取和融合不同种类的注意力编码,从而降低与凝视无关特征所占的权重。在GazeCapture数据集上的大量实验表明,在基于RGB外观的凝视估计方法中,相比现有的最先进方法,CA-Net在手机和平板上分别能够提高约0.6%和7.4%的凝视估计精度。

基于双分支融合和时频压缩激励的鲁棒语音关键词识别

现实生活中的噪声会对语音时域和频域信息产生干扰,导致语音关键词识别模型在噪声环境下准确率下降。针对此问题,提出了双分支融合单元,其中时域分支与频域分支以并行的方式提取时域特征和频域特征,降低了串行堆叠时域卷积和频域卷积所带来的信息损耗;随后通过交叉融合的方式加强模型对时频信息的感知,进一步增强了模型特征表达能力。同时提出了时频压缩激励模块,通过对时域与频域中信息的重要性分布建模,可以为模型提供选择性关注有价值片段的能力,进一步提高了模型鲁棒性。在Google Command v2-12数据集上,相比于对比模型,所提模型在不同信噪比的测试中取得了更高的识别准确率,且参数量更低;对于训练阶段未涵盖的信噪比条件,所提模型在测试中展现出更高的泛化性。实验结果表明,本文模型在识别准确率和参数量方面更具优势,具有更好的噪声鲁棒性。

基于全局注意力机制的Robust-PointPillars三维目标检测

提出了一种基于全局注意力机制的Robust-PointPillars三维目标检测方法,在智能驾驶的应用中,提高了目标检测的精度和鲁棒性。PointPillars等神经网络通过使用点云柱表示点云,具有实现三维目标检测的潜力。首先介绍了空间和通道双重注意力模块,以增强有学习价值的点云特征,解决了PointPillars缺乏点云柱内部学习机制和特征提取不足的问题;挤压与激励网络(SENet)模块的引入,使PointPillars对特征信息的学习理解能力得到进一步提高;最终,对受到干扰或缺失的传感器信号进行抑制,并利用全局注意力算法来提高鲁棒性。基于KITTI数据集上的目标检测结果,本文算法具有良好的目标检测精度和鲁棒性。

基于压缩激励模块的工业产品缺陷分类算法

针对传统的工业产品表面缺陷检测技术检测效率低下、检测速度慢等问题,在以前工作的基础上,提出了基于压缩激励模块的工业产品缺陷分类算法。主要是在原有的并行模块与并行非对称卷积模块基础上增加了压缩和激励机制,通过显式的建模特征通道之间的相互依赖关系来提升网络的表征能力。在偏光片图像数据集上的实验结果表明,在不大量增加模型占用内存大小以及单张图片测试时间的基础上,显著提高了缺陷分类的正确率。

基于通道注意力和边缘融合的伪装目标分割方法

伪装目标分割(COS)的目标是从背景中分离出隐藏的目标对象。近年来,基于卷积神经网络(CNN)的伪装目标检测(COD)发展迅速,然而仍存在无法从前/背景高度相似的场景中准确地检测出完整目标对象的问题。针对上述问题,提出一种基于通道注意力(CA)和边缘融合的COS方法CANet(Network based on Channel Attention and edge fusion),以得到伪装目标的边缘细节更清晰的完整分割结果。首先,引入压缩和激励(SE)注意力模块,以提取更丰富的高级语义特征;其次,提出一个边缘融合模块,抑制低级特征中的干扰,并充分利用图像的边缘细节信息;最后,设计了基于深度可分离卷积的通道注意力模块,以自上而下的方式逐步融合跨级的多尺度特征,进一步地提升检测精度和效率。在多个公开的COD数据集上的实验结果表明,相较于SINet(Search Identification Net)、TINet(Textureaware Interactive guidance Network)和C2FNet(Context-aware Cross-level Fusion Network)等8种主流的方法,CANet表现更佳,且能够获取到丰富的伪装目标内部及边缘细节信息,而且在具有挑战性的COD10K数据集上结构度量指标相较于SINet提升了2.6个百分点。CANet性能优越,适用于医学上检测与人体组织相似的病灶区域、军事领域检测隐蔽目标等相关领域。

融合残差及通道注意力机制的单幅图像去雨方法

为了去除雨天图像上附着的雨滴并恢复图像的清晰度,提出一种基于深度学习思想结合图像增强技术融合残差及通道注意力机制来实现的单幅图像去雨方法。首先,利用导向滤波将有雨图像分解为平滑基本层和高频细节层;其次,提出自适应Gamma校正算法增强平滑基本层以提高对比度;然后,构建融合残差块和通道注意力机制的深度神经网络实现高频细节层去雨;最后,将去雨后的高频细节层与增强后的平滑基本层融合实现单幅图像去雨功能。实验结果表明:与具有代表性的单幅图像去雨方法相比,所提方法效果较好并可保留更多的图像细节信息。

基于U-Net多尺度自校准注意力视网膜分割算法

针对视网膜细小血管分割精度低的问题,提出一种融合可伸缩级联模块、Transformer和自校准注意力的改进U-Net算法以提高细小血管分割精度。首先在编码阶段利用可伸缩级联模块,先行学习复杂多变的视网膜血管拓扑结构。然后在解码阶段提出一种自校准注意力机制,利用多尺度挤压激励模块,自适应对特征图通道和空间之间特征重要性进行校准,增强目标区域特征响应,抑制背景噪声。最后使用Transformer特征提取块,提高特征空间映射能力。基于DRIVE和CHASEDB1数据集的实验结果表明,所提算法准确率分别为96.49%和96.67%,灵敏度分别为83.75%和83.30%,特异性分别为98.28%和98.01%,AUC分别为0.987 1和0.987 2,所提算法的整体性能优于现有算法,各模块能够有效提高细小血管分割能力。

基于注意力机制和混合网络的小群体情绪识别

针对自然状态下小群体图像的情绪分类,提出基于面部、场景和骨架3种视觉线索的混合深度网络,分别利用3类卷积神经网络(convolutional neural networks,CNN)分支独立学习,通过决策融合获得最终的情绪分类。其中面部CNN通过注意力机制学习不同人脸的权重,获得整张图片关于人脸的特征表示,利用large-margin softmax(L-softmax)损失函数进行判别性学习;使用先进的姿势估计方法OpenPose获得图像中所有人体骨架,作为基于骨架卷积神经网络的输入。考虑图片的场景信息,将整张图片作为基于场景CNN的输入。实验结果表明,改进模型对自然状态下3种类型的小群体情绪识别鲁棒,取得了较高的准确率。

基于注意力生成对抗网络的图像强光去除

图像中的强光在一定程度上会降低图像的质量,本文致力于从受到强光影响的图像中去除强光并生成清晰图像。为解决这个问题,提出一种带有注意力辅助模块的生成对抗网络。它主要由加入压缩-激励模块的卷积长短期记忆网络和注意力矩阵辅助模块组成,注意力辅助模块可以指导自动编码器生成清晰的图像。该方法可以轻松地移植处理其他类似的图像恢复问题。实验证明,改进后的网络体系结构是有效的并且有一定的意义。

融合压缩与激励的GoogLeNet模型云检测算法

Landsat系列陆地卫星受大量云和云阴影遮盖,干扰了地面信息的提取。因此,有效的云检测是遥感影像资源利用的前提。使用SE-GoogLeNet模型进行Landsat8遥感影像的云检测工作。SE-GoogLeNet模型有9个InceptionV3块,它起到了多尺度融合的作用,获取高级语义信息与低级空间信息相结合的特征,在每个InceptionV3后添加添加SeNet(压缩与激励)模块,通过自身的信息学习通道注意力权重,自动学习Landsat8遥感影像11个波段的相互依赖关系,每个波段的重要程度,然后按照这个重要程度提升有用特征,抑制无用的特征。通过实验可视化和评估指标的对比,SE-GoogLeNet模型云检测比GoogLeNet模型云检测准确率精度等均有提升。

基于增强型多尺度残差生成对抗网络的图像压缩

为解决低码率下更符合人类视觉感知的图像压缩,提出一种基于增强型多尺度残差生成对抗网络的有损压缩方法。在网络框架的自动编码器中,使用一种结构上改进的增强型多尺度残差块,其可以扩大感受野,更容易获得图像的全局信息。引入简易注意力模块,帮助网络更加关注图像复杂的部分,减少简单部分的比特。判别器部分采用全新的相对平均判别器,在网络框架中使用LPIPS(learned perceptual image patch similarity)感知损失减轻图像伪影问题。采用两阶段训练的方式解决引入生成对抗网络导致训练不稳定的问题。实验结果表明了在低码率下所提模型的有效性,与之前的工作相比,所提方法在感知失真指标上表现更优,性能提升了65%左右,重建图像更符合人类视觉感知。

基于ASP-SERes2Net的说话人识别算法

为提升说话人识别的特征提取能力,解决在噪声环境下识别率低的问题,提出一种基于残差网络的说话人识别算法——ASP-SERes2Net。首先,采用梅尔语谱图作为神经网络的输入;其次,改进Res2Net网络的残差块,并且在每个残差块后引入压缩激活(squeeze-and-excitation,SE)注意力模块;然后,用注意力统计池化(attention statistics pooling,ASP)代替原来的平均池化;最后,采用附加角裕度的Softmax(additive angular margin Softmax,AAM-Softmax)对说话人身份进行分类。通过实验,将ASP-SERes2Net算法与时延神经网络(time delay neural network,TDNN)、ResNet34和Res2Net进行对比,ASP-SERes2Net算法的最小检测代价函数(minimum detection cost function,MinDCF)值为0.0401,等误率(equal error rate,EER)为0.52%,明显优于其他3个模型。结果表明,ASP-SERes2Net算法性能更优,适合应用于噪声环境下的说话人识别。

基于SE模块和ResNet的番茄病虫害识别方法

番茄病虫害是引起番茄减产的重要因素。精确识别病虫害种类是当前国际热点问题之一,有助于及时有效采取针对性的病虫防治办法,减少和避免因番茄减产导致的经济损失。针对传统虫害识别方法存在效率和精确率低的问题,利用Kaggle网站上的Tomato数据集,构建基于压缩和激励(SE)模块的深度残差网络模型(ResNet),优化番茄病虫害识别方法。结果表明:通过Pytorch框架下的迁移学习,改进后的网络模型对番茄病虫害图像的平均识别准确率最高为97.96%;基于SE模块的ResNet网络模型有助于增强特征区分能力,增加模型的通用性和鲁棒性。研究结果对番茄病虫害的及时监测和处理、提高番茄产量具有重要意义。

一种航空发电机电枢绕组匝间短路故障诊断技术

【目的】针对航空发电机电枢绕组匝间短路故障诊断问题,本文提出一种基于卷积神经网络(CNN)和压缩-激励(SE)注意力机制以及双向长短期记忆(BiLSTM)网络的诊断方法,以提高电枢绕组故障诊断的有效性和鲁棒性。【方法】首先,建立了电励磁双凸极发电机(DSEG)电枢绕组匝间短路的等效解析模型,采用发电机机壳表面振动信号作为故障特征信号,对影响振动特性的气隙磁密和电磁力波的表达式进行了理论推导。然后,通过Workbench有限元软件仿真分析了各种短路条件下电磁力波对振动特性的影响。最后,对振动信号进行采集,将其作为实际试验数据并提取相关故障特征,通过将这些提取的特征输入CNN-SE-BiLSTM,系统有效地实现了故障诊断。其中,CNN和BiLSTM网络可以有效提取振动信号中的局部特征和时序特征;SE注意力机制可以进一步优化特征权重分配,通过选择性放大相关诊断特征,显著增强了模型的故障诊断能力。【结果】试验结果表明,所提基于CNN-SE-BiLSTM的故障诊断方法在多种工况下对电枢绕组匝间短路故障的诊断准确率均超过99%,且在噪声环境中仍能表现出良好的诊断性能。与传统诊断方法相比,所提方法在各种转速和负载条件下具有更强的抗干扰能力、更高的故障识别精度以及更快的诊断速度,进一步验证了该方法在航空航天发电机复杂工况下的适用性。【结论】本文所提CNN-SE-BiLSTM诊断方法有效提高了DSEG系统的故障诊断效率和准确性。通过将用于空间特征提取的CNN、用于选择性特征加权的SE注意力机制以及用于捕捉综合时间信息的BiLSTM相结合,该方法为诊断匝间短路故障提供了一种精简而高效的解决方案。

基于残差挤压激励与密集空洞卷积的视网膜血管分割

针对现有视网膜血管分割技术存在视网膜血管分割精度不高和病灶区域误分割的问题,提出对U型网络改进,结合密集空洞卷积(dense atrous convolution,DAC)模块与残差挤压激励(residual squeeze and excitation,RSE)模块的视网膜血管分割模型(DACRSE-Unet)。该模型采用改进集成随机失活块(DropBlock)的残差结构,不仅可以构建深层网络来提取更复杂的血管特征,还可以有效缓解过拟合;此外,为了进一步提高网络的表达能力,在改进残差块的基础上引入挤压激励模块(squeeze and excitation,SE);同时,为获取血管更多的上下文信息,在模型中引入DAC模块来实现对视网膜血管的精准分割;最后,在不同数据集上进行验证。结果表明,DACRSE-Unet模型的接受者操作特性曲线下面积分别为0.9869和0.9964,灵敏度分别为0.8226和0.8779,准确率分别为0.9692和0.9830,整体分割效果比其他模型更好。

基于双阶段特征解耦网络的单幅图像去雨方法

针对现有的单幅图像去雨方法无法有效地平衡背景图像细节恢复与有雨分量去除问题,提出一种基于双阶段特征解耦网络的单幅图像去雨方法,采用渐进式的学习方式从粗到细分阶段进行单幅图像去雨.首先构建压缩激励残差模块,实现背景图像与有雨分量的初步分离;然后设计全局特征融合模块,其中特别引入特征解耦模块分离有雨分量和背景图像的特征,实现细粒度的图像去雨;最后利用重构损失、结构相似损失、边缘感知损失和纹理一致性损失构成的复合损失函数训练网络,实现高质量的无雨图像重构.实验结果表明,在Test100合成雨图数据集上,所提方法峰值信噪比为25.57dB,结构相似性为0.89;在100幅真实雨图上,所提方法的自然图像质量评估器为3.53,无参考图像空间质量评估器为20.16;在去雨后的RefineNet目标分割任务中,平均交并比为29.41%,平均像素精度为70.06%;视觉效果上,该方法能保留更多的背景图像特征,有效地辅助下游的目标分割任务的开展.

基于递归图和增强残差网络的轴承故障诊断

针对噪声干扰情况下轴承振动信号特征难以充分提取,故障识别精度低的问题,提出将递归图与增强深度残差网络相结合的RP-EResNet模型并应用于轴承故障诊断。将非线性的振动信号嵌入到具有可变时滞的延迟坐标空间中生成二维的递归图,并将压缩-激励模块、多尺度卷积、分组卷积网络模块融合到残差网络结构中得到增强的RP-EResNet模型,最终将递归图输入RP-EResNet模型中进行轴承故障诊断。使用不同的轴承数据集验证了RP-EResNet模型的性能,消融试验和对比试验的结果表明:与不同的深度学习方法相比,RP-EResNet模型能够在强噪声下增强特征提取能力,提升轴承故障的识别精度,具有良好的泛化性能和抗噪性能。