结合数据增强的跨模态行人重识别轻量网络

现有的跨模态行人重识别方法中,轻量化网络的相关研究较少。考虑到硬件部署对轻量化网络的需求,提出新的跨模态行人重识别轻量网络。以Osnet为基础,进行特征提取器和特征嵌入器的拆分。同时使用数据增强操作,利用有限的数据集,最大程度提高了网络的鲁棒性。改进难样本三元组损失函数,在减少计算量的同时缩小模态间差异,提升网络识别准确率。提出的轻量化网络结构简单且效果显著,在SYSU-MM01数据集的全搜索模式下rank-1/mAP分别达到65.56%、61.36%,参数量仅为1.92×10^(6)。

基于用户偏好挖掘生成对抗网络的推荐系统

用户偏好挖掘是推荐系统研究中的关键问题,它对于改善推荐质量具有非常重要的作用。提出用户偏好挖掘生成对抗网络(UPM-GAN),从两个角度深入分析用户隐含偏好:基于三元组损失算法对用户评分矩阵进行处理,挖掘难分负样本,以更好地确立正样本,为准确刻画用户偏好奠定基础;基于奇异值分解(SVD++)算法构建UPM-GAN的生成模型,利用SVD++算法中的偏置信息及隐式参数描述用户隐含偏好,以提高评分预测精度。最后使用最新生成对抗网络(GAN)框架完成推荐系统训练,在MovieLens-100K、MovieLens-1M这两个主流数据集上展开实验仿真。实验表明UPM-GAN的Precision@K、均值平均精度(MAP)等多项指标均优于对比基线,且它还具有收敛速度快、训练过程平稳等优点。基于UPM-GAN的推荐系统具有一定实用价值。

基于改进三元组损失的伪造人脸视频检测方法

当前大部分伪造人脸检测技术使用深度学习来鉴别真实视频与伪造视频之间的特征差异,此类方法在未压缩视频上取得了不错的效果,但在检测经过压缩处理的视频时检测效果就会严重下降。针对此类问题,提出了基于改进三元组损失的伪造人脸视频检测方法。首先,使用伪影图生成器生成一幅伪影图来加深伪造人脸与真实人脸之间的特征差异;其次,使用改进的三元组损失来解决难例样本难以被正确检测的问题;最后,选用更适合人脸鉴伪的深度学习网络提取卷积特征。在FaceForensics++数据集上与目前领先的人脸鉴伪方法的对比表明,该方法检测准确率优于对比方法。

基于全局多粒度池化的可见光红外行人重识别

可见光红外行人重新识别是一种跨模态检索的问题。由于可见光和红外图像模态差异较大,能够精确的匹配行人仍然具有很大的挑战。最近的研究表明,利用池化描述身体部位的局部特征以及人图像本身的全局特征,即使在身体部位缺失的情况下,也能给出鲁棒的特征表示,但是简单的全局平均池化很难获取行人的细节特征。针对这个问题,提出一种新的全局多粒度池化的方法,利用全局平均池化和全局最大池化结合的方法,提取行人更多的背景和纹理信息。此外,传统的三元组损失在跨模态行人重识别上效果并不好。设计了一种新的跨模态三元损失,以优化类内和类间距离,并监督网络学习有区别的特征表示。通过实验证明了所提方法的有效性,并在RegDB和SYSU-MM01数据集上分别取得了88.01%Rank-1,79.26%mAP,和60.24%Rank-1,57.50%mAP的结果。

基于深度卷积的残差三生网络研究与应用

针对图像多分类任务,提出基于深度卷积的残差三生网络,旨在通过残差学习和距离比较来训练神经网络得到有效的特征表示。首先,设计了一个21层的深度卷积神经网络作为三生网络的嵌入网络,其中该卷积网络共连接6个块(block)。利用残差学习的方式,每个block的输出层由卷积层的输出和该block的输入共同组成,降低网络学习难度,避免网络出现退化问题。然后,每个block中采用相同拓扑结构分路的卷积层,拓宽网络的宽度。最后,在全连接层拼接了来自前面卷积层和block的输出,加强特征信息的传递。训练前,针对正负样本采用交叉组合的采样方法来增加有效训练样本量;训练期间,用样本中心点更换原点样本作为输入,能平均降低0. 5%错误率。在与其他三生网络的对比实验中,在MNIST、CIFAR10和SVHN数据库上达到最好的效果,在所有分类网络中,本文网络在MNIST上达到最好的效果,在CIFAR10和SVHN上表现优异。

基于改进困难三元组损失的跨模态行人重识别框架

为了提升跨模态行人重识别算法的识别精度,提出了一种基于改进困难三元组损失的特征学习框架。首先,改进了传统困难三元组损失,使其转换为全局三元组损失。其次,基于跨模态行人重识别中存在模态间变化及模态内变化的问题,设计了模态间三元组损失及模态内三元组损失,以配合全局三元组损失进行模型训练。在改进困难三元组损失的基础上,首次在跨模态行人重识别模型中设计属性特征来提高模型的特征提取能力。最后,针对跨模态行人重识别中出现的类别失衡问题,首次将Focal Loss用于替代传统交叉熵损失来进行模型训练。相比现有算法,在RegDB数据集实验中,所提框架在各项指标中均有1.9%~6.4%的提升。另外,通过消融实验证明了3种方法均能提升模型的特征提取能力。

基于动态卷积与注意力的多特征融合行人重识别

为能够准确利用图像中有效特征,提取判别性较高的信息区分特征相近的行人,提出一种基于动态卷积和注意力机制的多分支网络。将动态卷积核作用于ResNet50网络中,使动态卷积中的注意力机制与网络中的通道和空间注意力共同作用,通过不同分支得到相应局部特征,融合得到高判别性特征进行分类匹配。在CUHK03、DuckMTMC-reID、Market-1501数据集上进行验证实验,其结果表明了所提模型的优越性。