基于双分支注意力U-Net的语音增强方法

针对语音增强网络对全局语音相关特征提取困难、对语音局部上下文信息的捕捉效果不佳的问题,提出了一种基于双分支注意力U-Net的时域语音增强方法,该方法使用U-Net编码器-解码器结构,将单通道带噪语音经过一维卷积后得到的高维时域特征作为输入。首先利用残差连接设计了基于Conformer的残差卷积来增强网络降噪的能力。其次设计了双分支注意力机制结构,利用全局和局部注意力获取带噪语音中更丰富的上下文信息,同时有效表示长序列特征,提取更多样的特征信息。最后结合时域频域损失函数构建了加权损失函数对网络进行训练,提高网络的语音增强性能。使用了多个指标对增强语音的质量和可懂度等进行评价,在公开数据集Voice Bank+DEMAND上的增强后的语音感知质量(PESQ)为3.11,短时可懂度(STOI)为95%,信号失真度(CSIG)为4.44,噪声失真测(CBAK)为3.60,综合质量测度(COVL)为3.81,其中PESQ相较于SE-Conformer提高了7.6%,相较于TSTNN提高了5.1%。实验结果表明,所提方法在语音降噪的各个指标都表现出更优的实验结果,能够完成语音增强任务的相关要求。

基于端口注意力与通道空间注意力的网络异常流量检测

网络异常流量检测是网络安全保护重要组成部分之一。目前,基于深度学习的异常流量检测方法都是将端口号属性与其他流量属性同等对待,忽略了端口号的重要性。为了提高异常流量检测性能,借鉴注意力思想,提出一个卷积神经网络(CNN)结合端口注意力模块(PAM)和通道空间注意力模块(CBAM)的网络异常流量检测模型。首先,将原始网络流量作为PAM的输入,分离得到端口号属性送入全连接层,得到学习后的端口注意力权重值,并与其他流量属性点乘,输出端口注意力后的流量数据;其次,将流量数据转换成灰度图,利用CNN和CBAM更充分地提取特征图在通道和空间上的信息;最后,使用焦点损失函数解决数据不平衡的问题。所提PAM具有参数量少、即插即用和普遍适用的优点。在CICIDS2017数据集上,所提模型的异常流量检测二分类任务准确率为99.18%,多分类任务准确率为99.07%,对只有少数训练样本的类别也有较高的识别率。

基于双分支注意力网络的青光眼诊断方法

通过分割眼底图像的视杯(OC)与视盘(OD)区域并计算二者直径之比得到的杯盘比(CDR)是诊断青光眼的一个重要指标,然而现有视杯/视盘分割方法的准确度较低,为此提出一种基于双分支注意力网络的青光眼诊断方法。首先,在图像输入主干网络前使用边界到像素方向(BPD)方法增强眼底图像的轮廓信息;其次,在网络编码器部分结合ConvNeXt的全局交互优势以及U-Net的局部处理优势,充分提取全局和局部的病理语义信息;最后,在解码器特征重建阶段采用多重注意力融合模块,通过直接和间接映射重组两个编码器和上采样模块提取的平滑和突出特征,深度挖掘目标区域信息,以提高模型对视杯/视盘区域分割的准确性。在REFUGE、DRISHTI-GS和RIM-ONEr3三个具有互补性的临床数据集上进行对比实验,验证了所设计的改进模块在提高眼底图像分割效果上的有效性,而且本文方法可有效平衡OC和OD两个目标区域的分割精度,在定量指标和可视化效果上均优于对比方法。

基于注意力和挤压-激励Inception的双分支合成语音检测

合成语音攻击给人们的生活带来巨大的威胁。为了解决现有模型从冗余信息中提取关键信息能力不足和单一模型无法综合利用多检测模型优势的问题,提出一种基于注意力和挤压-激励(SE)模块Inception(SE-Inc)的双分支(Dual-ABIB)合成语音检测模型。首先,基于SincNet(Sinc-based convolutional neural Network)提取的初始特征图训练注意力分支合成语音检测模型,并输出注意力图;其次,将注意力图和初始特征图相乘后再叠加,并将结果作为SE-Inc分支的输入进行训练;最后,通过决策级加权融合处理2个分支获得的分类分数,从而实现合成语音检测。实验结果表明,所提模型在参数量为539×10^(3)的情况下,在ASVspoof2019数据集上获得了0.0332的最小串联检测代价函数(mint-DCF)和1.15%的等错误率(EER);与SE-ResABNet(Squeeze-Excitation ResNet Attention Branch Network)相比,所提模型在参数量仅为它的56%的情况下,min t-DCF和EER分别下降了34.5%和39.2%;同时,在ASVspoof2015和ASVspoof2021数据集上所提模型表现了更好的泛化能力。以上结果验证了所提模型能够在参数量较小的情况下,获得更低的min t-DCF和EER。

结合超轻量级双注意力模块的ShuffleNetV2面部表情识别

针对面部表情识别领域中难以同时实现低参数量与高准确率的挑战,提出了一种结合注意力机制的ShuffleNetV2网络的面部表情识别方法。该方法基于ShuffleNetV2架构,通过微调模型将Relu激活函数替换为PRelu激活函数,进一步提升了模型的特征捕获与分类能力。此外,本文创新性地引入了一种超轻量级双注意力模块LDAM,该模块结合了DCAM注意力机制与空间注意力机制,并通过捷径连接技术集成到优化后的ShuffleNetV2模型中,以增强模型对细节特征的识别能力及分类效果。在FER2013和CK+两大公认的面部表情识别数据集上的实验结果显示,本方法分别达到了69.12%和94.77%的识别准确率,同时保持了低至1.25的模型参数量。这一成果不仅展示了在保持模型轻量化的同时提升识别性能的可能性,而且通过实验验证了所提出方法的高效性和实用性。

基于卷积注意力模块和双通道网络的微表情识别算法

微表情是一种人类在试图隐藏自己真实情感时作出的面部动作,具有持续时间短、幅度小的典型特点。针对微表情识别难度大、识别效果不理想的问题,提出一种基于卷积注意力模块(CBAM)和双通道网络(DPN)的微表情识别算法——CBAM-DPN。首先,进行典型微表情数据集的数据融合;然后,分析序列帧中像素的变化值以确定顶点帧位置,再对顶点帧进行图像增强处理;最后,基于CBAM-DPN对图像增强后的微表情顶点帧进行特征的有效提取,并构建分类器对微表情进行识别。优化后模型的未加权F1值(UF1)和未加权平均召回率(UAR)分别可以达到0.7203和0.7293,相较于DPN模型分别提高了0.0489和0.0379,相较于CapsuleNet模型分别提高了0.0683和0.0787。实验结果表明,CBAM-DPN算法融合了CBAM和DPN的共同优势,可增强微小特征的信息提取能力,有效改善微表情识别性能。

基于注意力双分支网络的跨模态足迹检索

为了提高跨模态足迹检索精度,提出一种基于注意力双分支深度卷积神经网络的检索方法.该方法以赤足足迹的光学和压力2个模态图像为研究对象,采集并构建了一个包含138人5520幅足迹图像的跨模态检索数据集;在网络的特征提取模块采用ResNet50作为基础网络搭建双分支结构,并引入空间注意力机制,以提取各模态具有辨别性的特征;在网络的特征嵌入模块,通过部分参数共享学习跨模态共享空间;在双约束损失模块采用交叉熵损失(ID loss)和异质中心损失(HC loss)以增大跨模态足迹特征的类间差异,减小类内差异.实验结果表明:互检索模式下的平均精度均值(mAP)均值和Rank1均值分别为70.83%和87.50%,优于其他一些跨模态检索方法.采用注意力双分支网络模型能够有效进行跨模态足迹检索,可以为现场足迹对比鉴定等应用提供理论基础.

结合自注意力特征过滤分类器和双分支GAN的面部表情识别

现有面部表情识别方法提取表情特征时通常容易与其它面部属性混合,不利于面部表情的识别.对此,文中提出结合自注意力特征过滤分类器和双分支生成对抗网络的面部表情识别方法.首先,使用双分支生成对抗网络学习辨别性的表情表示,提出自注意力特征过滤分类器作为表情的分类模块.使用级联的LayerNorm和ReLU将低激活单元归零并保留高激活单元,生成多级特征.使用自注意力融合输出多级特征的预测结果,在一定程度上消除噪声对识别结果的影响.然后,提出基于滑动模块的双重图像一致性损失监督模型,学习具有辨别性的表情表示,使用滑动窗口计算重构损失,关注细节信息.最后,在CK+、RAF-DB、TFEID、BAUM-2i数据集上的实验表明文中方法识别效果较优.

融合双层注意力网络的端到端老挝车牌照识别方法

在中老道路互通大背景下,老挝车牌照识别研究对中国跨境车辆管理十分重要,但现有的单行车牌照识别方法无法直接应用于老挝双行车牌照识别任务中.针对老挝车牌照上行省份字符排列紧密、难以分割和下行辅音字符相似度高、难以识别的问题,结合分割的思想提出一种融合双层注意力网络的端到端老挝车牌照识别方法.通过通道及空间注意力提取并加强上行省份特征和下行字符特征表示;将分类思想应用于省份信息获取,有效地处理因字符粘连而无法做单字符识别的问题;使用序列标注的方法缓解相似字符识别困难,提高字符识别准确率.实验结果表明,提出方法相比基线模型,准确率提升了0.8个百分点,达到92.7%.

结合空间域和频域信息的双分支低光照图像增强网络

针对低光照图像增强中纹理细节模糊和颜色失真的问题,从空间域和频域信息结合的角度出发,提出一个端到端的轻量级双分支网络(SAFNet)。SAFNet使用基于Transformer的空间域处理模块和频域处理模块在空间域分支和频域分支分别对图像的空间域信息和傅里叶变换后的频域信息进行处理,并通过注意力机制引导两个分支的特征进行自适应融合,得到最终增强的图像。此外,针对频域信息提出一个频域损失函数作为联合损失函数的一部分,通过联合损失函数在空间域和频域都对SAFNet进行约束。在公开数据集LOL和LSRW上进行实验,在LOL上,SAFNet在客观指标结构相似性(SSIM)和学习感知图像块相似度(LPIPS)两项指标上分别达到0.823和0.114;在LSRW上,峰值信噪比(PSNR)和SSIM分别达到17.234 dB和0.550,均优于LLFormer(Low-Light Transformer)、IAT(Illumination Adaptive Transformer)、KinD(Kindling the Darkness)++等主流方法,且网络参数量仅为0.07×10^(6);在DarkFace数据集上,使用SAFNet作为预处理步骤对待检测图像进行增强,可以使人脸检测平均精确率从52.6%提升至72.5%。实验结果表明,SAFNet能有效提高低光照图像的质量,并能显著改善下游任务低光照人脸检测的性能。

结合组像素嵌入的双注意力高光谱图像分类

近年来,基于深度学习的框架在高光谱图像分类领域中取得了令人满意的结果。然而,多数方法仍使用卷积神经网络作为主干网络,其存在感受野过小,对特征信息的挖掘不充分,序列建模的能力较弱,模型复杂和分类精度低等问题。为克服上述局限性,该文提出一种结合组像素嵌入的双注意力高光谱图像分类的方法。该方法主要分成三个部分,首先,使用含有点卷积组和深度卷积组的通道空间卷积分离模块来高效学习空间光谱的特征信息;其次,添加通道空间双注意力机制,抑制冗余信息的干扰,增强高光谱图像空间与光谱的特征权重;最后,通过组像素嵌入Transformer来进一步强化空间与光谱之间的联系,建立全局长距离依赖关系,缓解精度下降的问题,保证了网络良好的分类性能。实验结果表明,该方法与现有的网络模型相比具有更优越的性能,在Pavia University和WHU-Hi-LongKou两个数据集中的总体准确率分别达到99.26%和99.73%。

基于双特征提取和注意力机制的图像超分辨率重建

针对图像超分辨率重建过程中忽略图像高频特征,导致特征提取不充分,重建图像纹理细节模糊的问题,提出了一种基于双特征提取和注意力机制的图像超分辨率重建方法。首先,该方法采用双分支网络进行特征提取,以解决图像重建过程中高频特征和多尺度特征无法有效提取和一致融合的问题;其次,为了使网络提取到更加精确的高频特征,提出了局部空间注意力模块,并与通道注意力模块结合构建残差融合注意力模块,提高网络对高频特征的定位能力;最后,设计了空洞金字塔模块,扩大网络感受野,使网络多尺度提取特征。在4个基准数据集上的测试结果表明:尤其是超分辨率倍数为4时,所提方法较目前若干主流模型中的最佳峰值信噪比分别提升了0.16,0.08,0.03,0.20 dB,所提方法在视觉效果和定量分析方面均有较好提升。

基于双通道卷积注意力网络的语音增强方法

传统的单通道网络模型因表征能力有限,无法充分提取语音深层特征,导致模型的语音增强效果不明显。鉴于此,提出一种双通道卷积注意力网络的语音增强方法。首先,使用卷积神经网络和长短时记忆网络构建并行的双通道学习模块,结合两种不同神经网络的优势,充分挖掘语音的深层特征;其次,在两个通道中分别添加注意力模块,依照关注度对通道的输出特征进行加权,达到强调有益信息的目的;最后,将两个通道的输出进行融合得到增强特征。结果表明,在低信噪比和非平稳噪声环境中,包含双通道结构和注意力模块的模型,其增强效果明显优于其他对比模型,有效提高了增强语音的质量和可懂度,验证了所提模型的可行性。

融入双注意力模块的U-Net肺结节图像分割方法

对肺部医学图像进行分析可以用来肺癌诊断,为了解决肺结节分割的任务中特征提取复杂和分割困难等问题,本文提出了一种融入双注意力模块的U-Net肺结节图像分割方法。该方法在U-Net网络的基础上融入空间注意力模块和通道注意力模块,改善分割网络对复杂环境的感知能力,克服复杂环境对分割结果的干扰从而提高分割效果。在肺结节公开数据集(LUNA16)上进行实验结果表明,本文提出的分割方法能够准确地分割出肺结节区域,能够较为有效地实现肺结节图像分割。

基于双分支通道空间依赖和非对称权重共享卷积的目标检测优化结构

以往的目标检测任务中,大量研究通过空间和通道信息来构建特征优化算法。然而,如何利用通道和空间中最大和平均特征的信息分布情况进行特征提取,仍是一个挑战。针对上述挑战,构建了双分支通道空间依赖网络,用来提取空间和通道中信息依赖特征,其关键是获取最大特征和平均特征上的重要信息分布情况。为了优化网络的检测精度与计算效率,构建了非对称权重共享卷积网络,利用相同的非对称卷积核进行联合训练来实现权重共享,极大地增强了卷积核参数的鲁棒性。以YOLOv4、YOLOv5和EfficientDet为检测基线,在PASCAL VOC和MS COCO数据集上进行实验,验证了双分支通道空间依赖网络和非对称权重共享卷积网络模块的有效性。在两个数据集上精度最高分别增长了1.98%和2.6%。

一种新的基于通道-空间融合注意力及SwinT的细粒度图像分类算法

细粒度图像分类是计算机视觉领域的一大分类任务,其难点在于如何通过类别监督信息自主地找到判别性区域.提出一种新的通道-空间融合注意力模块,基于该模块设计了一种新的Swin Transformer算法SwinT⁃NCSA(a Swin Transformer based on a novel channel⁃spatial attention module),分别从通道维和空间维同时提取特征,再将其融入到Swin Transformer模型中以提高其小尺度中多头注意力信息的提取能力.SwinT⁃NCSA算法特别关注了对分类有用的区域,同时忽视对分类无用的背景区域,以此在细粒度图像分类任务中达到较高的分类准确率.在FGVC Aircraft飞机数据集、CUB-200-2011鸟类数据集和Stanford Cars车类数据集3个公共数据集上的实验表明,SwinT⁃NCSA算法可以分别取得93.3%、88.4%和94.7%的准确率,优于同类算法.

基于双注意力深度学习的在线资源推荐

为了提高在线资源推荐的性能,采用深度学习卷积神经网络(Convolutional neural network,CNN)进行资源推荐,同时对资源-用户特征进行双注意力机制特征提取,以进一步提高推荐精准度。对资源-用户特征进行编码并初始化,分别进行通道注意力机制运算和空间注意力机制运算。将两个注意力机制的运算结果加权求和得到新的用户-资源特征。建立基于CNN的在线资源推荐模型,并以资源和用户的最小特征差作为损失函数进行迭代优化,从而求解出CNN网络参数。通过双注意力机制的用户-资源特征输入到CNN模型,并执行训练以获得符合用户需求的推荐结果。试验结果表明,通过合理设置双注意力机制通道数及卷积核尺寸等参数,可以有效提高双注意力CNN的推荐性能。与常用资源推荐算法相比,所提算法在推荐准确度及稳定性方面均具有一定的提升。

基于二阶注意力的Siamese网络视觉跟踪算法

为提升基于Siamese网络视觉跟踪算法的特征表达能力和判别能力,以获得更好的跟踪性能,提出了一种轻量级的基于二阶注意力的Siamese网络视觉跟踪算法。使用轻量级VGG-Net作为Siamese网络的主干,获取目标的深度特征;在Siamese网络的末端并行使用所提残差二阶池化网络和二阶空间注意力网络,获取具有通道相关性的二阶注意力特征和具有空间相关性的二阶注意力特征;使用残差二阶通道注意力特征和二阶空间注意力特征,通过双分支响应策略实现视觉跟踪。利用GOT-10k数据集对所提算法进行端到端的训练,并在OTB100和VOT2018数据集上进行验证。实验结果表明:所提算法的跟踪性能取得了显著提升,与基准算法SiamFC相比,在OTB100数据集上,精度和成功率分别提高了0.100和0.096,在VOT2018数据集上,预期平均重叠率(EAO)提高了0.077,跟踪速度达到了48帧/s。

结合等变交叉正则化的轻量化双分支建筑物变化检测网络

空间细节信息和语义上下文信息在建筑物变化检测研究中扮演着至关重要的角色。然而,在当下主流的单分支网络架构中,同时获取这两种信息会面临计算成本和模型大小方面的严峻挑战。为应对这一挑战,本文提出一种全新的轻量化双分支网络架构用于高效特征提取,并引入等变交叉正则化模块以增强特征表达,从而实现精细化的建筑物变化检测。具体地,轻量化双分支网络架构由细节分支、语义分支和双信息交互融合模块组成,能同时高效地捕获空间细节信息和语义上下文信息,以生成细粒度的深度语义变化特征图;同时,等变交叉正则化模块从隐式监督角度出发,在不增加网络参数的前提下,从语义和空间层面对变化特征图进行一致性约束,从而提高网络在变化建筑物尺度和边缘上的感知能力;为了验证方法的有效性,本文选用现有优秀的轻量化和非轻量化变化检测网络作为对比方法,分别在WHU、LEVIR两个数据集上开展对比实验。结果表明,在仅需2.27 M参数和4.25 G浮点运算的轻量化前提下,本文方法在两个数据集上分别实现了87.03%、83.41%的交并比精度,综合性能显著优于现有的轻量化和非轻量化变化检测方法。研究成果有望为未来的轻量化建筑物变化检测研究提供科学参考。

多尺度融合的双分支特征提取人群计数算法

人群计数在公共安全管理、公共空间设计以及其他视觉任务如行为分析、拥塞分析等方面具有重要的应用。然而复杂的背景和人头尺度大小不一导致人群计数的效果并不理想。针对静态图像中尺度变化和背景干扰问题,提出了一种基于双分支中间特征提取的人群计数网络——DBFE_MFNet。该网络沿用编码-解码器结构,在编码阶段使用VGG19卷积神经网络的前16层,为了更好融合多尺度信息,将VGG19卷积神经网络的前16层的后4层卷积替换成空洞率为2的膨胀卷积,解码部分采用抑制背景干扰的残差卷积注意力模块(residual convolutional attention module,RCAM),在编码-解码器结构中间插入双分支中间特征提取模块(dual branch intermediate feature extraction module,DBFE),分支1采用金字塔结构并融合位置注意力模块提取多尺度上下文信息,分支2沿用金字塔结构融合双通道注意力机制使模型关注不同大小人头信息,最后使用1×1卷积生成密度图。实验方面,在ShanghaiTech PartA、ShanghaiTech PartB、Mall数据集上进行了算法对比实验,DBFE_MFNet模型在上述数据集的平均绝对误差和均方根误差分别为63.2、7.1、1.80和99.2、11.8、2.28,经对比实验分析,DBFE_MFNet模型具有不错的计数性能和稳定性能;在ShanghaiTech PartB进行了消融实验,实验验证了模型各模块的有效性。