基于压缩激励网络的注意力因子分解机的点击率预测模型

在互联网技术日趋成熟的今天,广告的点击率(click-through rate,CTR)预测得到越来越多的关注。在特定的商业环境下,广告CTR预测模型的改进可以带来巨大的经济效益。然而特征的多样性和复杂性使得传统的预测模型难以发现海量特征中的重要特征。针对上述问题,提出了基于压缩激励网络的注意力因子分解机的点击率预测模型(squeeze and excitation network based attentional factorization machines model for click-through rate prediction,SEAFM),SEAFM模型通过压缩和激励网络来动态学习特征的重要性,通过注意力网络来学习特征交互的权重,通过深度神经网络(deep neural network,DNN)模块来隐式建模高阶特征交互。实验结果显示,SEAFM模型比现有相关模型具有更好的性能。

基于心脏磁共振电影图像的压缩激励残差U形网络左心肌分割

左心肌分割对心脏疾病诊疗具有重要意义.但左心肌内部毗邻乳头肌、小梁,外部与周围组织灰度相近,是分割难点.本文首先对心脏磁共振电影图像数据进行感兴趣区域提取等预处理;其次,搭建融合了压缩激励模块和残差模块的U形网络(SERU-net)分割左心肌;最后,利用75例数据训练SERU-net网络,对18例数据进行预测.基于本文方法的分割结果相对于金标准的Dice系数与豪斯多夫距离均值分别是0.902、2.697 mm;利用本文方法分割得到的舒张末期、收缩末期左心室心肌质量与金标准的相关系数和偏差均值分别是0.995、0.993和3.784 g、2.338 g.结果表明,本文方法与金标准匹配程度较高,有望辅助诊断心脏疾病.

一种基于多特征融合与压缩激励模型的音乐主旋律提取算法

音乐旋律提取领域的研究普遍存在整体准确率(OA)难以提升、虚警率(VFA)高的问题。此外,在该领域应用深度学习方法时,还存在可用训练数据少、训练时间长的问题。针对以上问题,以语义分割模型(Segmentation)为基础,提出使用多特征融合的压缩-激励模型(SENet),以改进旋律提取的效果。将训练数据转换为GC和GCOS为原始数据,加入梅尔倒谱系数(MFCC)和色度特征(Chroma Feature)。为进一步发挥多特征融合的优点,将SENet中的压缩-激励模块(SEBlock)加入Segmentation模型中。实验表明,加入特征可以提升音高准确率、音级准确率(RPA,RCA),并且收敛速度提升,使用70%的数据便可接近基线算法的效果;加入SEBlock后可以在进一步提升准确率的同时降低虚警率,更好地发挥多特征融合的优势。

基于压缩激励模块的工业产品缺陷分类算法

针对传统的工业产品表面缺陷检测技术检测效率低下、检测速度慢等问题,在以前工作的基础上,提出了基于压缩激励模块的工业产品缺陷分类算法。主要是在原有的并行模块与并行非对称卷积模块基础上增加了压缩和激励机制,通过显式的建模特征通道之间的相互依赖关系来提升网络的表征能力。在偏光片图像数据集上的实验结果表明,在不大量增加模型占用内存大小以及单张图片测试时间的基础上,显著提高了缺陷分类的正确率。

长短期记忆压缩激励全卷积神经网络建筑物变化检测

针对当前遥感影像建筑物变化检测未考虑时序信息,导致变化特征提取效果欠佳,本文提出了一种长短期记忆压缩激励全卷积神经网络。在全卷积神经网络框架下,搭建了结合长短期记忆网络与压缩激励网络原理的长短期记忆压缩激励单元,使算法能够充分结合纹理特征及时序特征优势,提高遥感影像建筑物变化检测精度。以遥感影像建筑物变化检测公开数据集LEVIR-CD作为实验数据对该方法进行验证,结果显示,F1-score达86.35%,相较于FC-EF、FC-CONC、FC-DIFF算法,F1-score分别高出2.35%、3.47%、4.52%。

压缩激励机制驱动的尿液细胞图像分类算法

针对尿液有形成分细胞图像的分类问题,提出了一种压缩激励机制驱动的GoogLeNet尿液细胞图像分类算法。该算法采用特征重标定机制,通过压缩操作和激励操作显式地建模Inception架构在训练过程中学习到的细胞特征通道之间的依赖关系,从而提升有用特征在当前任务中的重要程度。在尿液细胞数据集上的对比实验结果表明,在保证执行速度的情况下,该算法比GoogLeNet网络的分类准确率提升了3%,召回率提升了1%,具有更好的分类效果。

时空压缩激励残差乘法网络的视频动作识别

针对双流网络结构中浅层网络和一般深度模型学习空间信息和时间信息的不足,提出将压缩激励残差网络用于空间流和时间流的动作识别,同时将恒等映射核作为时间滤波器注入网络中捕获长期时间依赖性。为了进一步加强压缩激励残差网络的空间信息和时间信息之间的交互,采用时空特征相乘融合,并研究空间流和时间流乘法融合方式、次数以及位置对识别性能的影响。鉴于单个模型获得性能的局限性,提出了3种不同的策略生成多个模型,并使用直接平均与加权平均集成以得到最终识别结果。HMDB51和UCF101数据集上的实验结果表明,所提时空压缩激励残差乘法网络能够有效提升动作识别性能。

基于压缩激励残差神经网络的轴承损伤诊断

滚动轴承是旋转机械的重要零件之一,文中针对滚动轴承损伤类型有效识别问题,提出了一种基于压缩激励残差神经网络的滚动轴承损伤诊断方法。本方法对轴承原始振动信号使用连续小波变换提取特征,形成二维时频样本,再利用样本对压缩激励残差神经网络进行训练,最后在全连接层使用Softmax分类器实现对轴承损伤的分类。用QPZZ-Ⅱ旋转机械振动损伤实验平台数据验证模型性能。实验结果表明:该方法对不同负载下滚动轴承损伤识别的准确率达99.95%,具有良好的泛化性和鲁棒性。

压缩激励卷积神经网络的蛋白质亚细胞定位

针对蛋白质类间差异小导致蛋白质亚细胞定位准确率低、速度慢的问题,提出一种基于压缩激励卷积神经网络的蛋白质亚细胞定位算法。通过搭建结合压缩激励模块的深度卷积神经网络,增强网络提取特征的表达能力,有效提取亚细胞图像中具有区分度的特征,并采用极限学习机分类器进行训练和分类,实现亚细胞的快速准确定位。实验结果表明,上述算法在提升定位速度的基础上能提高亚细胞定位准确率,对UCSF yeast GFP数据集内10种蛋白质图像的亚细胞定位平均准确率达到93.36%,与Deepyeast网络模型相比,其定位平均准确率提高了3.91%,对于相似度较高的三种亚细胞,其定位准确率可分别提高7.61%、10.94%、8.3%。

嵌入压缩—激励机制ResNet的民族药植物图像识别

针对民族药植物图像数据集稀缺、样本量少、图像背景复杂以致图像特征提取困难的问题,构建TibetanMP数据集,提出一种嵌入压缩—激励机制ResNet并结合迁移学习的图像识别方法。该方法对ResNet34在ImageNet上的预训练模型进行迁移学习,以减少过拟合现象,同时在网络浅层中引入SE机制,使网络聚焦图像中的关键特征,最后对模型进行微调。为了评估所提方法的性能,在TibetanMP、Oxford 102 flowers和CIFAR-10数据集上进行实验,模型分别取得96.33%、98.81%和91.92%的识别准确率。与其他主流CNN图像识别模型进行比较,发现该模型具有更高的识别精度,具有一定的工程实用性。

融合压缩与激励模块的残差网络图像遮蔽识别

利用PS等技术进行图像篡改行为盛行。居心叵测之人为遮掩篡改痕迹加入噪音,模糊等遮蔽处理。针对上述遮蔽处理,收集四类人脸数据集,生成加入泊松噪音,均匀噪音,高斯模糊,中值滤波,图像压缩的五类遮蔽处理后的图像,形成对比样本。ResNet网络收敛不平滑,速度较慢。改进SE_ResNet网络在8个残差模块内均添加一层全局平均池化、两层全连接层、一层Sigmoid激活函数。利用压缩和激励操作对参数进行重标定,逐轮迭代调整学习率和梯度下降动量大小。总体网络由一层卷积层,四层包含八个改进残差模块的网络层,和全连接分类层构成。加入随机失活层和SGD权重衰减参数防止过拟合。对5类遮蔽篡改后图像识别准确率达92.50%。

融合压缩与激励的GoogLeNet模型云检测算法

Landsat系列陆地卫星受大量云和云阴影遮盖,干扰了地面信息的提取。因此,有效的云检测是遥感影像资源利用的前提。使用SE-GoogLeNet模型进行Landsat8遥感影像的云检测工作。SE-GoogLeNet模型有9个InceptionV3块,它起到了多尺度融合的作用,获取高级语义信息与低级空间信息相结合的特征,在每个InceptionV3后添加添加SeNet(压缩与激励)模块,通过自身的信息学习通道注意力权重,自动学习Landsat8遥感影像11个波段的相互依赖关系,每个波段的重要程度,然后按照这个重要程度提升有用特征,抑制无用的特征。通过实验可视化和评估指标的对比,SE-GoogLeNet模型云检测比GoogLeNet模型云检测准确率精度等均有提升。

基于压缩激励残差网络与特征融合的行人重识别

为解决现有基于深度学习的行人重识别算法中网络深度过深,网络层间的特征关系利用率、时间效率低等问题,提出了一种基于压缩激励残差网络(SE-ResNet)与特征融合的改进算法。通过引入压缩激励(SE)模块,在特征通道上对特征进行压缩和激励,然后重新对各通道分配权重,以增强有用特征通道,抑制无用特征通道,降低网络的深度;为提高识别精度和运算效率,将浅层特征与深层特征融合,删除部分特征提取模块,并对卷积核的大小与运行时间、识别精度的关系进行建模,寻找最佳平衡点。实验结果表明,相比ResNet50,本算法的Rank-1提高了4.26个百分点,平均精度均值提高了17.41个百分点。与其他经典算法相比,本算法的识别精度也有不同程度的提高,且鲁棒性较好。

基于压缩与激励机制和残差连接的SRG古陶瓷器形分类

为实现基于器型的古陶瓷入库器型分类并节约计算成本,提高分类精度,提出基于GoogLeNet的改进算法SRG(SE-Res-GoogLeNet).将压缩与激励机制(Squeeze-and-Excitation)和优化后Inception块结合,通过对整个输入特征信息进行嵌入压缩,并自适应的重新校准通道方向的特征响应,来加强CNN提取图像特征能力.针对改进后网络层数加深导致的网络退化问题,结合残差思想,加入跳跃连接,提高模型感知能力,带来性能优化.最后将SRG算法应用于古陶瓷器型分类问题中,实验表明,SRG算法在自制古陶瓷器型数据集上,Top-5分类准确率由91.23%提高至95.15%.

基于改进HopeNet的头部姿态估计方法

针对基于无需先验知识的头部姿态估计算法在复杂背景图像和多尺度图像场景下精度较差的问题,提出了一种基于改进HopeNet的头部姿态估计方法。首先在主干网络结构上增加特征融合结构使得模型能够充分利用网络的深层特征信息与浅层特征信息,提升模型的特征解析力;然后在主干网络的残差结构中增加特征压缩激励模块,使得网络能够自适应学习不同特征层重要程度的权重信息,让模型更加关注目标信息。实验结果表明,相较于HopeNet,本文方法在AFLW2000数据集上精度提升了31.15%,平均误差降到4.20°,同时在复杂背景图像场景下有较好的鲁棒性。

基于双阶段特征解耦网络的单幅图像去雨方法

针对现有的单幅图像去雨方法无法有效地平衡背景图像细节恢复与有雨分量去除问题,提出一种基于双阶段特征解耦网络的单幅图像去雨方法,采用渐进式的学习方式从粗到细分阶段进行单幅图像去雨.首先构建压缩激励残差模块,实现背景图像与有雨分量的初步分离;然后设计全局特征融合模块,其中特别引入特征解耦模块分离有雨分量和背景图像的特征,实现细粒度的图像去雨;最后利用重构损失、结构相似损失、边缘感知损失和纹理一致性损失构成的复合损失函数训练网络,实现高质量的无雨图像重构.实验结果表明,在Test100合成雨图数据集上,所提方法峰值信噪比为25.57dB,结构相似性为0.89;在100幅真实雨图上,所提方法的自然图像质量评估器为3.53,无参考图像空间质量评估器为20.16;在去雨后的RefineNet目标分割任务中,平均交并比为29.41%,平均像素精度为70.06%;视觉效果上,该方法能保留更多的背景图像特征,有效地辅助下游的目标分割任务的开展.

基于改进MobileNet V2的多视图三维人脸重建

针对多视图三维人脸重建时,由于图像特征提取能力有限而导致三维人脸模型重建效果不佳的问题,本文提出了一种基于改进MobileNet V2网络的三维人脸重建方法。首先在MobileNet V2网络中引入多路径结构,使不同子路径的特征能够进行交互,从而增强网络的表达能力;然后在通道维度上加入压缩激励(Squeeze and Excitation,SE)模块,在空间维度上加入空间分组增强(Spatial Group-wise Enhance,SGE)模块,从而有效提取人脸形状参数和表情参数;最后使用三维可形变模型(3D Morphable Model,3DMM),并根据形状参数和表情参数完成三维人脸重建。在300W-LP数据集上,与基于卷积神经网络(Convolutional Neural Network,CNN)的重建方法以及基于Visual Geometry Group Batch Normalization(VGG-BN)改进网络的重建方法进行对比实验,实验结果表明平均重建精度分别提升约0.46%和0.31%。

基于压缩机激励源特征的空调及热泵噪声控制

传统的空调外机在做配管计算时不考虑压缩机激励力的特点,这导致不能准确预测配管的振动以及钣金的振动,也不能准确预测外机低频噪声的大小。本文提出将压缩机的激励源作为激励,用有限元软件仿真压缩机和管路组成的系统,能够预测其振动和在噪声,使得配管的效率大大提高。同时给出了钣金噪声和空调内机噪声和压缩机激励的关系的例子。

多带激励语音压缩算法原理与仿真

从多带激励语音模型出发 ,介绍了多带激励语音压缩算法原理 ,指出了该模型较LPC等传统声码器模型的优越性 ,并对该算法进行了计算机仿真实现 ,给出了试验结果。最后 ,对仿真结果进行了分析 ,对算法的实用性进行了探讨 ,并在此基础上指出了今后的研究方向。

基于类注意力的眼睛凝视估计网络

近年来,眼睛凝视估计引起广泛关注。基于RGB外观的凝视估计方法使用普通摄像机和深度学习来进行凝视估计,避免了像商用眼动仪一样使用昂贵的红外设备,为更准确和成本更低的眼睛凝视估计提供了可能。然而,RGB外观图像中包含如光照强度、肤色等多种与凝视无关的特征,这些无关特征会在深度学习回归的过程中产生干扰,进而影响凝视估计的精度。针对以上问题,提出了一种名为类注意力网络(CA-Net)的新架构,它包含通道、尺度、眼睛3种不同的类注意力模块,通过这些类注意力模块可以提取和融合不同种类的注意力编码,从而降低与凝视无关特征所占的权重。在GazeCapture数据集上的大量实验表明,在基于RGB外观的凝视估计方法中,相比现有的最先进方法,CA-Net在手机和平板上分别能够提高约0.6%和7.4%的凝视估计精度。