基于反事实注意力学习的ResNeSt网络语种识别

深度学习方法在图像识别领域得到大量研究和应用,也逐渐被应用于语种识别。针对深度学习语种识别模型中所用二维特征图语种间相似度大,容易混淆的问题,提出基于反事实注意力学习的ResNeSt语种识别模型。在建立云南边境语种广播语音数据集的基础上,首先,提取MFCC、Fbank和语谱图作为FcaNet、ResNet和ResNeSt三种网络的输入,对比三种网络下不同信噪比不同语音特征的识别效果,得出在语种识别任务中综合表现最佳的网络模型ResNeSt和语音特征Fbank;接着,在识别效果最佳的ResNeSt网络模型中引入反事实注意力学习模块,利用反事实因果关系来衡量ResNeSt网络中注意力特征的质量,促使网络学习更加有效的注意力特征,以此提高网络训练效果。实验结果表明,加入反事实注意力学习后,Fbank特征语种识别率较基线系统提升1.61%,对于MFCC、Fbank和语谱图三种特征,基于反事实注意力学习的ResNeSt网络较基线ResNeSt网络平均提升1.33%。反事实注意力学习帮助注意力机制关注更多重要语种区分性信息,有效提升了网络模型在语种识别任务中的识别效果。

基于反事实注意力学习的无监督域自适应行人再识别

现有的无监督域自适应行人重新识别方法大多是将基于聚类的伪标签预测与特征微调相结合。由于域间存在差异,聚类过程中产生了不正确的伪标签,使伪标签存在一定的不可靠性,误导特征表示学习,从而影响域自适应模型的性能。基于此,首先设计一个新颖的基于反事实注意力学习的无监督域自适应网络,通过衡量注意力学习的质量对训练过程进行指导优化,促使模型关注更加精准的注意力特征,减少噪声伪标签的生成;其次提出了一种基于不确定性评估的噪声样本优化方法,通过测量基于平均教师方法的学生模型和教师模型输出特征之间的不一致性水平,将其作为目标域行人样本的不确定性分布,进而利用样本的不确定性对网络总体损失的各个部分进行合理加权,修正具有高不确定性的样本对模型总体损失的错误影响,进一步提升目标域的识别性能。实验数据表明,所提方法在源域DukeMTMC-reID/Market-1501和目标域Market-1501/DukeMTMC-reID上的实验结果都有显著提高,mAP和Rank-1分别达到了82.9%,93.6%和71.8%,84.4%。

基于互通道损失数据增强网络的细粒度图像分类

寻找与细微特征对应的区别性局部区域是解决细粒度图像分类问题的关键。近年来,通过弱监督数据增强网络(WS-DAN)进行细粒度分类取得了优异的效果,但其单一的交叉熵损失(CE-Loss)使得网络专注于全局判别性区域,而遗漏了一些局部判别性区域。针对这一问题,提出基于互通道损失(MC-Loss)的数据增强网络(MC-DAN),互通道损失能强制属于同一类别的特征通道更具有区分性。其次,引入反事实注意力机制(CAL),通过反事实干预来鼓励网络学习更多的注意力信息。此外,提出一种空间注意力和通道注意力相结合的注意力模块,以更好地关注图像中的对象区域。在3个公共数据集上的综合实验表明,该方法能有效实现分类。