融合坐标与多头注意力机制的交互语音情感识别

语音情感识别(SER)是人机交互系统中一项重要且充满挑战性的任务。针对目前SER系统中存在特征单一和特征间交互性较弱的问题,提出多输入交互注意力网络MIAN。该网络由特定特征坐标残差注意力网络和共享特征多头注意力网络两个子网络组成。前者利用Res2Net和坐标注意力模块学习从原始语音中获取的特定特征,并生成多尺度特征表示,增强模型对情感相关信息的表征能力;后者融合前向网络所获取的特征,组成共享特征,并经双向长短时记忆(BiLSTM)网络输入至多头注意力模块,能同时关注不同特征子空间中的相关信息,增强特征之间的交互性,以捕获判别性强的特征。通过2个子网络间的协同作用,能增加模型特征的多样性,增强特征之间的交互能力。在训练过程中,应用双损失函数共同监督,使同类样本更紧凑、不同类样本更分离。实验结果表明,MIAN在EMO-DB和IEMOCAP语料库上分别取得了91.43%和76.33%的加权平均精度,相较于其他主流模型,具有更好的分类性能。

数字信号调制识别下坐标注意力机制方案研究

针对低信噪比下神经网络难以提取数字信号空间特征的问题,提出一种基于坐标注意力机制的数字信号识别方案。将8种数字信号进行正交调制,根据其幅度、相位信息序列进行预编码处理,在不同的训练步长下,提取分析数字信号幅度和相位的关键特征,选取合适的神经网络超参数,使网络达到拟合面。坐标注意力机制将数字信号特征进行2个一维特征编码,分别沿纵向和横向捕获幅度和相位的远程依赖关系;将生成的数字信号特征编码为一对方向感知和位置敏感的权重系数,进行数字信号特征的重标定。仿真结果表明,8种数字信号下,调制方式识别率高于95%时,卷积神经网络(Convolutional Neural Network,CNN)中坐标注意力机制信噪比增益约为4 dB,残差神经网络中坐标注意力机制信噪比增益约为8 dB。坐标注意力机制取得了较高的识别率以及更好的信噪比增益,与通道注意力机制、空间注意力机制相比更适用于数字信号解调的应用。

基于坐标注意力机制和残差网络的苹果外观品质检测

随着机器视觉技术的发展,利用卷积神经网络实现苹果品质分级已成为较优的应用技术。本研究以苹果外观品质特征为对象,提出了一种基于残差神经网络和坐标注意力机制的苹果品质检测方法。实验结果显示,引入坐标注意力机制后的Res Net18网络模型平均准确率达到91.4%,损失值为0.1。该方法在各项性能上优于ResNet18、34、50网络模型,能够有效实现苹果品质分级。

基于改进卷积注意力机制的触觉图像识别

为了改善传统轻量化网络对触觉图像全局特征提取能力差的问题,提出一种基于轻量化网络提高触觉图像感知分类的新算法,通过将卷积块注意力模块(CBAM)引入坐标注意力机制(CA)来增强特征信息表达能力.利用CA采取空间全局信息并嵌入通道注意中,使卷积网络能够在较全面的区域捕获注意力权重.结果表明:所提算法优于现有轻量化网络算法;该算法对GelSight数据集、多模态传感器数据集2种触觉图像进行分类识别测试,在分类表现中分辨正确率分别达到了88.2%和94.4%;相比于传统的CBAM注意力模型、自注意力模型(SENet)和仅有LeNet的神经网络,该算法对触觉图像的识别能力在GelSight数据集上分别提高了8.7%、8.7%和3.0%,在多模态传感器数据集上分别提高了13.3%、13.4%和4.8%.

基于多尺度与坐标注意力机制的交通标志识别研究

针对智能交通识别系统需要具备较高的检测速度和识别精度的要求,在YOLOv4-tiny算法的基础上提出一种基于多尺度与坐标注意力机制融合的改进型轻量化YOLOv4-3RSCtiny算法。首先将主干网络中的Resblock_body模块改进为参数量更少的ResblockD轻量化模块,用于提高算法的检测速度;其次引入特征金字塔池化网络,丰富深层特征图的空间信息,在预测阶段引入坐标注意力机制,降低背景信息的干扰;最后利用具有多次跨级融合的路径增强特征金字塔网络,提高算法对小型目标物体的识别率。在TT100K数据集上进行测试,实验结果表明,相较于YOLOv4-tiny算法,YOLOv4-3RSCtiny算法具有较高的准确性和较好的实时性。

基于坐标注意力关系网络的小样本轴承故障诊断

轴承故障诊断对保障机械设备正常运转具有重要价值,基于机器学习的轴承故障诊断是其中一类常用方法,主要包括Alexnet、Resnet-18、关系网络、基于通道注意力SENet的关系网络(SERN)以及基于混合注意力CBAM的关系网络(CBRN)等.在实际应用中,小样本、变工况等可能导致这些方法出现泛化性能差、精度降低及过拟合等问题.本文提出了一种基于坐标注意力关系网络的小样本轴承故障诊断方法 .在该方法中,坐标注意力关系网络通过坐标信息的嵌入和坐标注意力的生成来解决关系网络模型无法建立特征图的长距离依赖关系及故障的特征位置信息难以获得的问题,增强模型在目标区域对故障特征的表达,进而重构出更具判别性的故障样本特征.该方法还采用特征嵌入模块来生成样本的特征向量,并通过对已标记样本和未标记样本的特征向量的拼接来生成特征向量组.最后,该方法利用关系得分模块对特征向量组进行非线性距离度量和生成关系得分,判断未标记样本的类别、实现故障分类.模拟实验表明,相比已有方法,该方法具有更好的分类能力.

一种坐标通道注意力深度学习网络的军用飞机识别方法

战场态势瞬息万变,利用可见光图像对敌方用于军事行动的飞机类型进行有效区分,对提供军事作战信息具有重要意义。针对现有军用飞机识别方法存在小目标飞机和环境背景复杂导致的模型特征提取困难、数据样本数量不足导致的模型训练不充分的问题,提出一种坐标通道注意力(ConvNeXt-Coordinate Attention,ConvNeXt-CA)深度学习网络军用飞机目标识别方法。该方法在ConvNeXt网络可以保留小目标飞机特征的基础上,引入CA机制设计CA-Stage模块,提升网络对于背景和前景的区分能力;采用数据增强的方式扩充数据集,以及使用迁移学习的策略提高模型的泛化能力,训练得到具备最优超参数的ConvNeXt-CA网络。实验结果表明,与传统的军用飞机识别方法和其他深度学习模型相比,基于迁移学习的ConvNeXt-CA网络在预测准确率上有明显的提升,且具备较强的泛化能力。

基于特征融合注意力机制的樱桃缺陷检测识别研究

针对现有樱桃缺陷检测识别中存在的问题,为实现移动端智能化快速检测与精准识别,本研究提出了一种基于卷积神经网络对樱桃图像进行缺陷检测识别的轻量化模型,可为开发樱桃的移动端无损化智能检测系统奠定理论基础。首先,将采集到的完好樱桃、刺激生长樱桃、双胞胎樱桃和腐烂樱桃4类樱桃图像经预处理后按比例划分训练集、验证集和测试集。其次,基于迁移学习对比分析NASNet-Mobile、MobileNetV2、ResNet18、InceptionV3、VGG-16网络模型后,选择各方面性能表现良好的MobileNetV2为基线模型,通过微调构建I-MobileNetV2模型;然后在I-MobileNetV2基础上,嵌入坐标注意力(CA)模块,构建ICA-MobileNetV2模型,该模型平均准确率达到97.09%,相比于基线模型(90.02%)提高7.85%,比I-MobileNetV2模型(94.34%)提高2.91%。可见,ICA-MobileNetV2作为可部署移动端的轻量化模型,具有较高准确率和较少参数,适用于樱桃缺陷检测与多分类任务,为樱桃缺陷检测与品质分级研究提供了新思路。

结合注意力机制的轻量化人脸表情识别方法

针对目前人脸表情识别方法存在参数量多、计算资源消耗大和识别精度低的问题,研究一种轻量化的人脸表情识别方法。首先,对MobileNet V3L网络层数进行缩减,同时将倒残差结构中间通道数和输出通道数增大至原来的1.5~3.2倍。其次,引入改进的条件坐标注意力机制,在坐标信息嵌入中根据中间通道的数量,选择平均池化或最大池化进行编码,提取面部表情在空间和通道位置上的详细信息。最后,使用Mish代替h-swish激活函数,实现特征提取后的非线性化。在公开数据集FERPlus和RAF-DB进行实验,结果表明,所提方法比原始MobileNet系列模型识别精度分别提高0.60%和1.07%以上。所提方法比Ada-CM网络推理速度提升21.94%,识别精度提高0.49%以上,实验表明该方法具有良好的识别性能。

基于坐标注意力机制和残差网络的水稻叶片病虫害识别

【目的】针对在自然条件下水稻叶片病虫害的识别效率不高、准确率较低的问题,探索基于ResNet深度学习网络的水稻叶片病虫害识别模型(ResNet50-CA)。【方法】在ResNet-50的残差卷积模块下引入坐标注意力机制(CA),采用LeakyReLU激活函数替代ReLU激活函数,使用3个3×3的卷积核替换ResNet-50模型首层卷积层中的7×7卷积核。【结果】在使用传统卷积神经网络进行水稻叶片病虫害研究发现,ResNet-50能够较好地平衡识别准确率和模型复杂度之间的关系,因此选择在ResNet-50网络模型的基础上加以改进。使用改进后的网络通过微调参数进行水稻叶片病虫害对比性能试验,研究发现在批量样本数为16和学习率为0.0001时,ResNet50-CA获得最高的识别准确率(99.21%),优于传统的深度学习算法。【结论】改进后的网络能够提取出水稻病虫害更加细微的特征信息,从而取得更高的识别准确率,为水稻叶片病虫害识别提供新思路和方法。

一种基于通道注意力机制的交通监控视频超分辨率算法

为提升交通监控视频的显示质量,进而提高监控视频车牌识别成功率,提出一种基于通道注意力机制(Channel-wise Attention,CA)和BasicVSR模型的监控视频超分辨率模型。在BasicVSR模型中引入CA,使模型能学习不同通道之间的非线性依赖关系,从而有效提升监控视频超分辨率图像的质量。在某交通监控场景下开展车牌识别试验,对该CA-BasicVSR模型的有效性进行验证,结果表明:在交通监控画面还原任务中,该模型对画面还原的峰值信噪比相比EDVR-L模型和BasicVSR模型能分别提高约1.3 dB和0.3 dB;在车牌识别任务中,使用该模型处理的交通监控视频画面作为输入,相比原始低分辨率的视频画面,能提高车牌识别的成功率。

基于坐标注意力机制和YOLO v5s模型的山羊脸部检测方法

山羊的脸部检测对羊场的智能化管理有着重要的意义。针对实际饲养环境中,羊群存在多角度、分布随机、灵活多变、羊脸检测难度大的问题,以YOLO v5s为基础目标检测网络,提出了一种结合坐标信息的山羊脸部检测模型。首先,通过移动设备获取舍内、舍外、单头以及多头山羊的图像并构建数据集。其次,在YOLO v5s的主干网络融入坐标注意力机制,以充分利用目标的位置信息,提高遮挡区域、小目标、多视角样本的检测精度。试验结果表明,改进YOLO v5s模型的检测精确率为95.6%,召回率为83.0%,mAP0.5为90.2%,帧速率为69 f/s,模型内存占用量为13.2 MB;与YOLO v5s模型相比,检测精度提高1.3个百分点,模型所占内存空间减少1.2 MB;且模型的整体性能远优于Faster R-CNN、YOLO v4、YOLO v5s模型。此外,本文构建了不同光照和相机抖动的数据集,来进一步验证本文方法的可行性。改进后的模型可快速有效地对复杂场景下山羊的脸部进行精准检测及定位,为动物精细化养殖时目标检测识别提供了检测思路和技术支持。

融合Xception特征提取和坐标注意力机制的血细胞分割

人体血细胞的检测与分割可以辅助医生快速对人体当前健康情况做出简单判断,对诊断疾病具有重要意义.为了解决传统图像分割算法在血细胞分割任务中出现错误分割目标、无法完全分割目标等问题,提出了一种融合Xception特征提取和坐标注意力机制的血细胞分割算法XCA-Unet++.该算法在Unet++网络结构的基础上,在编码器部分引入Xception特征提取网络以更好地提取低层特征信息.设计了一种以坐标注意力机制为基础的注意力细胞检测模块,增强了网络对血细胞模糊边缘和不完整细胞的特征提取能力.采用DiceLoss作为损失函数以优化数据集正负样本不均衡问题和提高网络的收敛能力.在公开血细胞数据集上的实验对比表明,XCA-Unet++网络在IoU、Acc和F1评估指标下分别取得94.44%、96.78%和97.12%的结果,分割性能优于其他分割网络,满足血细胞分割任务的精度要求.

基于小目标类别注意力机制与特征融合的AF-ICNet非结构化场景语义分割方法

针对非结构化道路分割难度大、小目标检测精度较低等问题,构建基于小目标类别注意力机制与特征融合的AF-ICNet轻量级实时语义分割网络。采用空洞空间卷积池化金字塔融合不同尺度特征感受野以增强网络的全局感知能力。嵌入CA注意力机制,建立通道信息和空间位置信息以增强网络对非结构化道路小目标类别语义特征的提取能力。针对类别分布不均衡问题,改进权重交叉熵损失函数。利用AF-ICNet模型对Cityscapes与IDD数据集进行训练,在Cityscapes测试图像中分割的MIoU达到了71.5%,在IDD测试图像中分割的MIoU达到了62.5%。搭建实验测试系统进行实景测试,测试结果表明,AF-ICNet有效提升了非结构化道路及小目标类别的分割精度,并满足测试的实时性要求。

基于原始点云网格自注意力机制的三维目标检测方法

为了增强感兴趣区域(RoI)的特征表达,包括空间网格特征编码模块和软回归损失,提出了一种基于原始点云网格自注意力机制的三维目标检测方法GT3D。网格特征编码模块用于通过自注意力机制对点的局部特征和空间特征进行有效加权,充分考虑点云之间的几何关系,以提供更准确的特征表达;软回归损失用于改善数据标注过程中由于标注不准确而产生的回归歧义问题。将所提方法在公开的三维目标检测数据集KITTI上进行实验。结果表明,所提方法相比其他已公开的基于点云的三维目标检测方法检测准确率提升明显,并提交了KITTI官方测试集进行公开测试,对简单、中等和困难3个难度等级的汽车检测准确率分别达到91.45%、82.76%和79.74%。

基于特征融合与注意力机制的脑肿瘤分割算法

脑肿瘤核磁共振成像(MRI)的准确分割对手术方案的制定和放疗计划具有重要意义。U-Net作为脑肿瘤分割领域应用最广泛的网络,具有较优的性能,但是存在跳跃连接中语义差距较大、MRI图像中跨通道信息利用不足的问题。为对脑肿瘤各区域进行准确分割,提出一种基于特征融合与注意力机制的改进U-Net模型FFCA-U-Net。在跳跃连接中设计特征融合模块代替U-Net中的直接拼接操作,以有效融合不同层次、不同尺度的特征信息,减小语义差距并调整感受野,增强网络对肿瘤特征的学习能力。在编码器中引入改进的三维坐标注意力机制,沿MRI图像的3个方向捕获跨通道信息,增强网络对脑肿瘤边界信息的感知能力,获得肿瘤子区域更精确的位置。此外,为快速获得肿瘤的相对位置、减少网络学习冗余,增加的掩码图像与MRI图像一起作为网络输入。在MSD数据集上的实验结果表明,FFCA-U-Net在增强肿瘤区域、非增强肿瘤区域和水肿区域的Dice系数分别为0.803 4、0.628 6和0.799 3,平均Dice为0.743 8,优于TransBTS、UNETR等其他先进网络。

基于坐标注意力机制融合的反无人机系统图像识别方法

反无人机系统是识别和打击“黑飞”无人机的有效手段,图像识别无人机是反无人机系统的关键之一。针对采集的无人机样本属于小样本、提取特征不够多,识别准确率不够高的问题,提出了一种基于迁移学习、密集卷积网络和坐标注意力机制融合的反无人机系统图像识别方法。首先,运用自制设备采集了多种无人机在不同背景下的图片,建立数据样本;其次,设计针对无人机小样本识别的基于迁移学习、坐标注意力机制和密集卷积网络融合的网络TL-CA4-DenseNet-121、基于通道注意力机制融合的网络TL-SE4-DenseNet-121等网络,运用设计的网络对小样本进行识别,并进行对比,然后分别进行了基于不同位置和不同个数的坐标注意力模块和通道注意力模块的网络识别实验;最后,将识别效果最优的网络与经典卷积神经网络模型进行对比实验。实验结果表明,提出的TL-CA4-DenseNet-121网络识别效果优于其他网络,识别的平均准确率为97.93%,F1-Score为0.982 6,网络训练时间为6 832 s。结果表明了该网络在识别小样本无人机方面的优越性和可行性。

基于集成改进卷积注意力块的SAR图像目标分类算法

在合成孔径雷达(Synthetic Aperture Radar,SAR)图像中,目标的轮廓和细节通常比较复杂。传统的卷积神经网络(Convolutional Neural Network,CNN)只使用单一均值参数进行无差别的特征提取,不能很好地区分SAR特征之间的差异。为了解决此问题,文章提出了1种基于集成改进卷积注意力块(Improved Convolutional Block Attention Module,ICBAM)的SAR图像目标分类算法ICBAM_CNN。首先,该模块通过引入方差参数至传统CBAM模块中,设计了1种改进的CBAM注意力机制,有助于分类识别网络更好地学习SAR图像不同目标卷积层输出与通道注意力之间的差异信息,提升不同SAR目标特征的可分离性;然后,ICBAM设计了1种中心坐标注意力机制,能更好地捕捉SAR图像中目标的中心分布特征,有效抑制杂波对SAR目标分类影像的干扰;最后,为了提高效率,将改进后的ICBAM模块集成到CNN网络中,实现SAR图像目标分类。ICBAM_CNN深度融合了SAR图像目标的多层级特征,提升了SAR目标特征的可分离性,可实现SAR图像目标的高精度、高效率识别分类。通过MSTAR数据集进行实验,结果表明,相比于传统CBAM方法,改进ICBAM方法的精确率提升了2.44%,召回率提升了2.24%,F1-score提升了2.34%。

融合注意力与上下文信息的皮肤癌图像分割模型

为提高黑色素瘤分割性能,提出一种结合注意力机制和上下文信息的U-Net网络。以Resnet-34网络作为编码器,在跳跃连接中加入坐标注意力,通过捕捉精准的位置信息定位更准确的目标区域;设计上下文信息模块强化对前景特征的学习能力;加入高效通道注意力模块,重新校准权重并获得更高质量的分割图。在公共数据集ISIC 2017上验证改进模型,其结果表明,该模型召回率、F1分数达到85.29%、87.03%,与现有方法对比,在准确率、交并比、召回率、F1分数产生竞争性结果。

基于热力图和注意力机制的单目6D姿态估计算法

基于二阶段坐标解耦的单目6D姿态估计方法具有稳定、高效和训练速度快的特点,但在精度上还存在改进空间.提出了一种利用高斯热力图坐标回归和融合注意力的单目6D姿态估计算法.该算法在ResNet34骨干网络中引入融合注意力模块,使网络能够更好地学习物体的表面特征和空间信息;基于可微分空间坐标变换对平移量计算网络进行改进,能够更准确地预测坐标平移量.该算法使用基于密度层次化的聚类方法,建立点云的哈希索引,对所预测的3D点云进行约束,同时有效减少离群的3D采样点.在训练阶段,该算法使用合成渲染图像对LineMod数据集进行扩展,为网络训练提供丰富数据.实验结果表明,该方法的ADD(-S)指标和2D投影误差指标分别达到了93.27%和98.81%,相比基准方法CDPN分别提高了3.41%和0.79%,与PVNet和DPOD等比较新颖的算法对比显示出综合优越性.