多区域注意力的细粒度图像分类网络

目前细粒度图像分类的难点在于如何精准定位图像中高度可辨的局部区域以及其他辅助判别特征。提出一种多区域注意力的细粒度图像分类网络来解决这个问题。首先使用Inception-V3对图像特征进行提取,通过重复使用注意力擦除的方法使模型关注次要特征;然后通过背景去除以及上采样的方法获取图像更精准的局部图像,对提取到的局部特征进行位置统计,并以矩形框的方式获取图像整体,减少细节信息丢失;最后对局部与整体图像进行更加细致的学习。此外,设计联合损失函数,通过动态平衡难易样本和缩小类内差距的方法改善模型的识别效果。实验结果表明,该方法在公开的细粒度图像数据集CUB-200-2011、Stanford-Cars和FGVC-Aircraft上的准确率分别达到89.2%、94.8%、94.0%,相较于对比方法性能更优。

一种交叉区域注意力的高分辨率遥感建筑物提取算法

针对遥感图像中建筑物区域尺度跨度大且区域边界模糊导致分割精度低的问题,本文提出了一种基于交叉区域注意力的遥感建筑物分割算法.首先,设计了交叉自注意力模块和分组通道注意力模块用于建立遥感图像区域间和区域内特征的相关性表征,进而引导模型关注待分割目标的区域级细节特征与通道组选择能力;最后,针对分割结果缺乏空间相关性约束问题,提出一种区域一致性监督的损失函数,约束局部区域内像素标签分配的一致性.所提算法在WHU数据集上IoU、Precision、Recall、F1-score分别可达到91.2%、95.28%、95.4%和95.3%;在Massachusetts数据集上IoU、Precision、Recall、F1-score分别可达到74.6%、83.7%、86.9%和85.3%,各项指标均优于主流遥感图像建筑物分割算法.

基于区域注意力机制的有噪样本下中医舌色分类算法研究

目的由于舌色标注样本中常常包含有错误标签,这些噪声样本会导致舌色分类性能不高、模型泛化能力差等问题。因此,需要建立自动舌色分类模型,提升有噪标注样本下舌色分类的准确率,促进中医(TCM)舌诊客观化研究。方法从中医舌色分类的特点出发,提出了一种基于区域注意力机制的有噪样本下中医舌色分类方法。本方法的创新性包括两点:一方面,根据中医医生舌诊的习惯,提出了一种区域注意力机制,增强网络对于舌尖和舌两侧等舌色区域的特征提取能力,而抑制其他区域的特征;另一方面,针对噪声标注样本下的分类网络训练问题,设计了一种对称修正的交叉熵损失函数,用于对舌色分类网络进行优化训练,抑制噪声样本对分类性能的影响。结果在3个自建中医舌色分类数据集上的分类结果显示,准确率分别达到了94.96%、93.36%和93.92%,mAP分别达到了94.53%、93.05%和93.38%,Macro-F1分别达到了94.67%、93.16%和92.43%。结论设计的舌色分类方法能以较低的模型复杂度,显著提升分类精度,提升有噪声样本标注情况下的分类鲁棒性。

基于图嵌入和区域注意力的多标签文本分类

针对传统多标签文本分类模型未考虑标签之间以及标签与文本各个部分之间的相关性、低频标签预测效果不佳的问题,使用图嵌入和区域注意力技术来挖掘标签之间以及标签和文本之间的关系,提出了编码器图嵌入和区域注意力机制解码器模型来处理多标签分类任务.采用Bi-LSTM作为编码器,使用图嵌入技术生成标签嵌入矩阵;利用区域注意力机制结合单词级别与区域级别的信息,使得模型在预测每个标签时考虑文本不同部分的信息,挖掘了文本与标签之间的潜在关联;使用循环神经网络和多层感知机作为解码器结合随机策略梯度算法,减少训练损失,改善多标签分类效果.在AAPD和RCV1-V2多标签文本分类数据集上进行试验,根据数据集特征设置相关参数,以micro-F1和Hamming Loss作为评价指标,对比所提出模型与LP、卷积神经网络等9个经典模型.结果表明,所提出模型能够根据高频标签预测出低频标签,在2个数据集上的micro-F1和Hamming Loss均优于经典模型.

多通道多尺度的注意力机制单幅图像去雨方法

为了去除受雨天天气影响而出现在图像中的雨纹和雨线,本文提出了一种基于多通道多尺度的注意力机制单幅图像去除雨纹和雨线的方法,通过多尺度特征提取与网络融合,提取多尺度卷积神经网络不同通道的雨纹和雨线特征。首先利用双边滤波进行图像分解;然后对低频部分进行多尺度的特征提取与融合,并且使用区域注意力进一步提取图像的特征信息,同时对高频部分利用多尺度特征提取的卷积神经网络进行特征学习;最后将2部分相加,得到了去除雨纹和雨线更彻底的清晰图像,在合成数据集和真实数据集上分别与其他去雨方法进行对比分析。分析结果表明:本文去除雨纹和雨线后得到的图像更加清晰,并且图像的部分区域细节丢失更少,本文方法提升了去雨后的图像质量,从而改善了该方法在图像处理、计算机视觉和机器学习等领域的应用效果和性能。

基于区域注意力机制的遥感图像检索

遥感图像存在大量语义对象,相同的语义对象视觉差异较大,针对卷积神经网络(CNN)提取的全局特征不能准确描述图像内容的问题,提出了一种使用区域注意力机制的遥感图像检索方法。首先去除CNN的全连接层,将高层特征作为区域注意力网络的输入;然后在遥感图像数据集上分别训练CNN和区域注意力网络,提取具有区域关注度的图像特征;最后构建了一种多距离相似性度量矩阵并采用扩展查询以提高检索性能。实验结果表明,相比基于全局特征的遥感图像检索方法,本方法能有效抑制遥感图像背景和不相关的图像区域,在两大遥感实验数据集上的检索性能更好。

重点区域注意力学习的空对地目标检测算法

在空基对地目标检测背景下,由于对地成像视角单一、目标尺寸随成像高度变化以及背景干扰复杂等,现有深度学习目标检测算法难以取得令人满意的效果。基于此,提出一种重点区域注意力学习机制,用于增强特征图的表达能力,同时缓解复杂背景特征的干扰问题。首先,建立重点区域注意力学习机制,使网络能选择性地关注和利用图像中的目标区域特征;其次,通过设计区域注意和目标检测相耦合的损失函数,实现区域注意损失和目标检测损失的同步优化;最后,利用空对地目标检测数据集进行实验。结果表明,所提算法能有效地关注和利用重点区域的特征信息,减小背景信息的干扰,提高空对地目标检测的精度和抗干扰能力。

一种有效的MPEG视频运动注意力区域提取方法

提出了一种直接从MPEG压缩码流中提取运动注意力区域的方法,其核心思想是根据运动注意力区域本身的特性,利用位置、清晰度和运动矢量3部分信息以及相应的数学表达形式,构造出一个运动注意力参数,并在此基础上进行注意力区域的提取.由于该方法同时考虑了运动注意力区域在空间和时间两方面的特性,并且直接在压缩域中进行操作,因此在提取准确度和运算效率上均有较大提高.模拟结果表明,与现有仅考虑运动信息的提取方法相比,采用该方法提取的准确度可提高30%以上,基本上与人眼实际观测的结果相吻合;与传统的像素域中运动对象提取方法相比,运算时间可减少1/2左右,而且提取出的目标区域更加符合基于内容的视频分析要求.

基于视觉注意机制的彩色图像显著性区域提取

图像显著性区域提取是计算机视觉处理的重要步骤。结合人类视觉心理、生理模型,提出一种基于视觉注意机制的彩色图像显著性区域提取模型。通过改进的分水岭算法对彩色图像进行预分割,从而将原图像分成若干子区域,在此基础上运用提出的区域化空间注意力模型对各个子区域进行显著图计算,得到最终的显著性区域提取结果。实验结果表明,提出的显著性区域提取算法可以很好地从彩色图像中得到与视觉注意机制相一致的结果,且满足实时性要求,与传统方法相比,算法提取的区域更完整、更准确。

基于深度学习的快速长时视觉跟踪算法

在目标尺寸变化、遮挡和出视场等复杂长时视觉跟踪环境下,现有基于深度学习的视觉跟踪算法很难对目标进行实时准确的跟踪。针对该问题,提出一种快速的长时视觉跟踪算法,该算法由一个快速短时视觉跟踪算法和一个快速全局重检测模块组成。在基准算法SiamRPN中加入二阶通道与区域空间融合的注意力模块作为短时视觉跟踪算法,在保证快速性的同时,提高算法的短时视觉跟踪精确度和成功率;为使改进后的短时视觉跟踪算法具有快速的长时视觉跟踪能力,在算法中加入提出的基于模板匹配的全局重检测模块,该模块使用轻量级网络和快速的相似度判断方法,加快重检测速率。在OTB100、LaSOT、UAV20L、VOT2018-LT、VOT2020-LT等5个数据集上进行测试,实验结果表明,所提算法在长时视觉跟踪中具有优越的跟踪性能,平均速度达104帧/s。

基于Transformer的肺肿瘤三维CT图像分割

基于信息学技术自动分割病人的肺部CT图像,有助于医生对于肺癌患者的早期诊断,提取和整合图像区域间的空间关联,对于提升肺肿瘤分割性能是十分重要的。本文提出了一个新的基于Transformer的分割模型,用于肺肿瘤三维CT图像分割、学习和整合此类关联。本文分别设计了带有混合多头图像区域节点注意力的Transformer模块和类别注意力模块,学习并融合了肺部CT图像的空间层面和通道层面的信息。将新的基于Transformer的分割模型同其他较为先进的模型进行了对比实验,实验结果表明新的模型在骰子系数、交并比和豪斯多夫距离等方面优于其他模型。

基于图像-文本语义一致性的文本生成图像方法

近年来,以生成对抗网络(generative adversarial network,GAN)为基础的文本生成图像方法成为跨媒体融合研究的一大热门领域.文本生成图像方法旨在通过提取更具表征力的文本及图像特征,提升文本描述与生成图像之间的语义一致性.现有方法大多针对在图像全局特征与初始文本语义特征之间进行建模,忽略了初始文本特征的局限性,且没有充分利用具有语义一致性的生成图像对文本特征的指导作用,因而降低了文本生成图像中文本信息的表征性.其次,由于没有考虑到生成目标区域间的动态交互,生成网络只能粗略地划分目标区域,且忽略了图像局部区域与文本语义标签的潜在对应关系.为解决上述问题,提出了一种基于图像-文本语义一致性的文本生成图像方法ITSC-GAN.该模型首先设计了一个文本信息增强模块(text information enhancement module,TEM),利用生成图像对文本信息进行增强,从而提高文本特征的表征能力.另外,该模型提出了一个图像区域注意力模块(image regional attention module,IRAM),通过挖掘图像子区域之间的关系,增强图像特征的表征能力.通过联合利用这2个模块,使得图像局部特征与文本语义标签之间具有更高的一致性.最后,该模型使用生成器与判别器损失函数作为约束,以提升生成图像的质量,促进图像与文本描述的语义一致.实验结果表明,在CUB数据集上,与当前主流方法AttnGAN模型相比,ITSC-GAN模型的IS(inception score)指标增长了约7.42%,FID(Fréchet inception distance)减少了约28.76%,R-precision增加了约14.95%.大量实验结果充分验证了ITSC-GAN模型的有效性及优越性.

多区域融合注意力网络模型下的核性白内障分类

目的核性白内障是主要致盲和导致视觉损害的眼科疾病,早期干预和白内障手术可以有效改善患者的视力和生活质量。眼前节光学相干断层成像图像(anterior segment optical coherence tomography,AS-OCT)能够非接触、客观和快速地获取白内障混浊信息。临床研究已经发现在AS-OCT图像中核性白内障严重程度与核性区域像素特征,如均值存在强相关性和高可重复性。但目前基于AS-OCT图像的自动核性白内障分类工作较少且分类结果还有较大提升空间。为此,本文提出一种新颖的多区域融合注意力网络(multi-region fusion attention network,MRA-Net)对AS-OCT图像中的核性白内障严重程度进行精准分类。方法在提出的多区域融合注意力模型中,本文设计了一个多区域融合注意力模块(multi-region fusion attention,MRA),对不同核性区域特征表示进行融合来增强分类结果;另外,本文验证了以人和眼为单位的AS-OCT图像数据集拆分方式对核性白内障分类结果的影响。结果在一个自建的AS-OCT图像数据集上结果表明,本文模型的总体分类准确率为87.78%,比对比方法至少提高了1%。在10种分类算法上的结果表明:以眼为单位的AS-OCT数据集优于以人为单位的AS-OCT数据集的分类结果,F1和Kappa评价指标分别最大提升了4.03%和8%。结论本文模型考虑了特征图不同区域特征分布的差异性,使核性白内障分类更加准确;不同数据集拆分方式的结果表明,考虑到同一个人两只眼的核性白内障严重程度相似,建议白内障的AS-OCT图像数据集拆分以人为单位。

基于视觉信息积累的行人重识别网络

在以往的行人重识别方法中,绝大部分的工作集中于图像注意力区域的学习,却忽视了非注意力区域对最终特征学习的影响,如果在关注图像注意力区域的同时加强非注意力区域的特征学习,可进一步丰富最终的行人特征,有利于行人身份信息的准确识别。基于此,提出了视觉信息积累网络(VIA Net),该网络整体采用两分支结构,一个分支倾向于学习图像的全局特征,另一个分支则拓展为多分支结构,通过结合注意力区域和非注意力区域的特征逐步加强局部特征的学习,实现视觉信息的积累,进一步丰富特征信息。实验结果表明,在Market-1501等行人重识别数据集上,所提出的VIA Net网络达到了较高的实验性能;同时,在In-Shop Clothes Retrieval数据集上的实验证明:该网络也适用于一般的图像检索任务,具有一定的通用性。

基于小波变换的低照度图像增强方法

为提高图像中注意力区域提取的准确率,提出基于小波变换技术的低照度图像增强方法。利用特征图和信道注意力模型,提取低照度图像注意力区域。通过小波变换技术对低照度图像进行预处理。引进鲍威尔法增强图像细节,实现整体合成。通过对比实验证明,设计的增强方法提取成功率始终保持在99%以上,并能够有效提高图像中注意力区域提取的准确率,应用效果较好。