基于双流结构的跨模态行人重识别关系网络

针对可见光-红外跨模态行人重识别中模态差异导致的识别精确率低的问题,提出了一种基于双流结构的跨模态行人重识别关系网络(IVRNBDS)。首先,利用双流结构分别提取可见光模态和红外模态行人图像的特征;然后,将行人图像的特征图水平切分为6个片段,以提取行人的每个片段的局部特征和其他片段的特征之间的关系,以及行人的核心特征和平均特征之间的关系;最后,在设计损失函数时,引入异质中心三元组损失(HC Loss)函数放松普通三元组损失函数的严格约束,从而使不同模态的图像特征可以更好地映射到同一特征空间中。在公开数据集SYSU-MM01(Sun Yat-Sen University Multi Modal re-identification)和Reg DB(Dongguk Body-based person Recognition)上的实验结果表明,虽然IVRNBDS的计算量略高于当前主流的跨模态行人重识别算法,但所提网络在相似度排名第1(Rank-1)指标和平均精度均值(m AP)指标上都有所提高,提高了跨模态行人重识别算法的识别精确率。

基于孪生胶囊网络的伪造人脸视频检测方法

随着深度学习技术的发展,以换脸为代表的人脸伪造视频在互联网上广泛传播,对个人隐私和国家政治安全构成了严重威胁。针对传统基于有监督学习训练的伪造人脸检测方法面对新的伪造数据时存在泛化能力差的问题,提出基于孪生胶囊网络Siamese-Capsules的检测方法,通过结合无监督学习的思想,使用度量学习中的三元组损失和中心损失训练模型。在FaceForensics++伪造视频数据集上的实验结果表明,相较其他方法,Siamese-Capsules虽然在针对单一伪造类型的准确率上有所下降,但其泛化能力得到较大提升。

基于深度卷积的残差三生网络研究与应用

针对图像多分类任务,提出基于深度卷积的残差三生网络,旨在通过残差学习和距离比较来训练神经网络得到有效的特征表示。首先,设计了一个21层的深度卷积神经网络作为三生网络的嵌入网络,其中该卷积网络共连接6个块(block)。利用残差学习的方式,每个block的输出层由卷积层的输出和该block的输入共同组成,降低网络学习难度,避免网络出现退化问题。然后,每个block中采用相同拓扑结构分路的卷积层,拓宽网络的宽度。最后,在全连接层拼接了来自前面卷积层和block的输出,加强特征信息的传递。训练前,针对正负样本采用交叉组合的采样方法来增加有效训练样本量;训练期间,用样本中心点更换原点样本作为输入,能平均降低0. 5%错误率。在与其他三生网络的对比实验中,在MNIST、CIFAR10和SVHN数据库上达到最好的效果,在所有分类网络中,本文网络在MNIST上达到最好的效果,在CIFAR10和SVHN上表现优异。

基于双重模态距离约束的红外⁃可见光行人重识别

近年来,红外⁃可见光的行人重识别在视频监控、网络刑侦等领域应用广泛,这项任务的目的是匹配RGB摄像机和红外摄像机拍摄的同一行人。由于行人图像在RGB模态和红外模态下存在较大的差异,使得该任务具有一定的挑战性。文中提出一种混合交叉的双路径特征学习网络,同时提出一种新颖的整体约束和部分三元组⁃中心损失函数,用于更好表征行人的局部特征。该网络模型首先提取不同模态下的行人特征,然后将提取的特征水平切割为p个部件后映射到公共空间,最后通过模态特定身份损失、交叉熵损失以及提出的损失函数共同协作,提升整体性能。提出的损失函数首先利用整体约束,用于缩小不同模态的差异;然后,通过融合三元组损失和中心损失,用以扩大同一模态内不同类别间的差异,从而实现同一类别样本更接近其中心,同时远离其它类别中心。实验表明,该方法在SYSU⁃MM01和RegDB两个公共数据集上的性能优于其他方法。

基于非对称性对抗训练的多源域自适应智能故障诊断方法

使用传统域自适应方法对轴流风机进行跨工况故障诊断时,源域和目标域特征会相向靠拢从而改变训练好的源域特征分布;且当源域故障特征聚集在决策边界时,在域自适应后目标域故障特征同样聚集在决策边界,容易造成部分目标样本错分;此外单源域自适应会影响模型的泛化能力。针对上述问题,提出一种基于非对称性对抗训练的多源域自适应智能故障诊断方法,该方法使用三元中心损失减小源域故障特征的类内距离,增大其类间距离以提高目标样本的区分度;采用非对称性对抗训练方法实现目标域故障特征向源域单向移动;提取不同源域和目标域的域不变特征并输入各自故障分类器,使用余弦相似度对齐各分类器输出的同时施加对齐权重以提高模型的跨域诊断能力。通过试验证明,该方法在解决相关实际工业问题上成效显著。

结合一阶和二阶空间信息的行人重识别

针对行人重识别中行人检测误差引起的空间错位,基于局部的深度网络模型仅学习相邻局部关系,导致远距离局部相关性缺失,因此,提出了一种结合一阶和二阶空间信息的行人重识别算法。在主干网络上,学习一阶空间掩模对输入图像的空间权值进行微调,以减少背景干扰;通过二阶空间掩模对远距离的依赖关系进行建模,并将局部特征集成到依赖模型中,以获取全局特征表示。局部分支引入DropBlock对抽取的行人特征进行正则化,避免了网络模型过于依赖特定部位特征。训练阶段用标签平滑分类损失和引入正样本中心的三元组损失联合优化整个网络。在Market-1501和DukeMTMC-reID数据集上的实验结果表明,相比其他主流算法,本算法的行人重识别精度更高,且提取的行人特征判别性和鲁棒性更好。