结合生成对抗网络及多角度注意力的图像翻译模型

本文提出一个新的无监督图像翻译模型,该模型结合了生成对抗网络和多角度注意力,称为MAGAN.多角度注意力引导翻译模型将注意力集中在不同域间最具有判别性的区域.与现存的注意力方法不同的是,空间激活映射一方面捕获通道间的依赖,减少翻译图像的特征扭曲;另一方面决定网络对最具判别性区域的空间位置的关注程度,使翻译的图像更具有目标域风格.在空间激活映射的基础上,结合类激活映射,可以获得图像的全局语义信息.此外,根据空间激活程度对图像特征信息的影响,设计不同的注意力结构分别训练生成器和判别器.实验结果表明,本文模型在selfie2anime、cat2dog、horse2zebra和vangogh2photo这4个数据集上的KID分数分别达到9.48、6.32、6.42和4.28,性能优于大部分主流模型,并且与基线模型UGATIT相比,在selfie2anime、cat2dog和horse2zebra这3个数据集上的距离值分别减少了2.13、0.75和0.64,具有明显的性能优势.

结合Swin及多尺度特征融合的细粒度图像分类

针对细粒度图像类间差异小、类内差异大等问题,提出了一种基于Swin及多尺度特征融合的模型(SwinFC)。基准骨干网络采用具有多阶段层级架构设计的Swin Transformer模型作为全新视觉特征提取器,从中获取局部和全局信息以及多尺度特征。然后在每个阶段的分支通道上嵌入融合外部依赖及跨空间注意力模块,以捕获数据样本之间的潜在相关性,同时捕捉不同空间方向上具有判别力的特征信息,进而强化网络每个阶段的信息表征。进一步地,引入特征融合模块将每个阶段提取的特征进行多尺度融合,促使网络学习更加全面、互补且多样化的特征信息。最后构建特征选择模块来筛选重要且具有辨别力的图像块,以此增大类间差异,减小类内差异,增强模型的判别力。实验结果表明,该方法在CUB-200-2011、NABirds和WebFG-496三个公开细粒度图像数据集上分别达到了92.5%、91.8%和85.84%的分类准确率,性能优于大部分主流模型方法,并且与基准模型Swin相比,分别提高了1.4、2.6和4.86个百分点的分类性能。

融合Wikipedia分类结构及显式语义特征的短文本检索

针对网络信息空间出现的大量短文本具有长度短、信息量少、特征稀疏、语法不规则等特点,传统信息检索技术无法有效地对其进行处理的问题,本研究以语义关联度为出发点,基于当前主流的语义知识源Wikipedia来研究短文本检索技术。根据Wikipedia页面中包含的分类结构信息,提出一种显式语义特征选择及关联度计算方法。在此基础上,提出一种低维显式语义空间下的短文本检索方法,并通过实验测试验证了该方法的可行性和有效性。研究结果表明,本研究与当前基于图论的方法和基于链接的方法相比,分别在评估指标MAP上提高了6%和4. 1%,在P@30上提高了10. 4%和5. 8%,在R-Prec上提高了6. 1%和3%。