基于类别注意实例归一化机制的人脸年龄合成

近年来,生成对抗网络(generative adversarial network,GAN)家族已在人脸年龄合成任务上取得了巨大的成功.然而,通过研究发现,在解决人脸年龄合成的问题时,即使是善于利用年龄先验信息的条件生成对抗网络(conditional generative adversarial network,CGAN),重要的人脸年龄相关信息在一程度上也会被丢弃.这是导致以CGAN为代表的GAN家族在人脸年龄合成上的性能到达瓶颈期的一个重要因素.为此,提出了一种类别注意实例归一化机制(class-aware instance normalization,CAIN).该机制能够灵活地嵌入到CGAN中,形成一种新的生成对抗网络模型,即CAIN-GAN.CAIN-GAN能够充分利用人脸年龄先验信息来进一步提高人脸年龄合成性能.在公开数据集上的实验结果表明,与其他几种GAN家族的方法对比,CAIN-GAN方法仅通过利用人脸年龄相关信息就能对人脸年龄合成性能进行提升.

基于归一化注意力机制的特征自适应融合目标跟踪算法

针对快速运动目标跟踪时图像的形变和低分辨率等问题,基于当前的孪生网络,提出一种基于归一化注意力机制的特征自适应融合目标跟踪算法。首先,通过轻量级的注意力机制抑制不太明显的权重,对注意力模块施加权重稀疏惩罚,并对主干网络最后4个特征层进行路径增强;其次,为捕捉在线跟踪过程中目标的外观变化,提升算法鲁棒性,提出了一种插件式的模板在线更新方法;最后,利用回归增强分类的方法完成对目标的跟踪。实验结果表明:该算法在OTB100,UAV123两个挑战性数据集上分别取得了63.3%和59.5%的较高成功率;同时,在外界光照变化、图像背景复杂、目标平面内旋转时,算法具有较强的鲁棒性。

一种轻量级掌静脉识别算法NEPVR

信息技术的进步催生了生物特征识别逐渐替代传统身份验证方法,尤其关注卫生、安全的掌静脉识别,然而在计算资源受限的情况下保持识别性能仍然是一项挑战。近年来,虽然深度学习架构Vision Transformer在模型性能上取得显著进展并在掌静脉识别领域逐渐得到应用,但是也因参数量问题限制了其适用范围。该文提出了一种手掌静脉识别算法(NAM-EfficientViT Based Palm Vein Recognition, NEPVR),采用了EfficientViT作为深度学习的高效轻量化网络以减少参数量的规模,并结合归一化注意力机制加强图像在通道和空间维度上对重要细节特征的提取,进而保持良好的识别性能。此外,NEPVR还融合了交叉熵和三元组损失函数作为在网络训练中的综合损失函数,以提高识别性能和模型收敛的稳定性。实验结果表明:将掌静脉信息编码为512维特征向量的方法识别性能最佳;在PolyU、CASIA与TongjiU数据集上进行的评估中,等误差率(EER)分别达到了0.067%、0.150%与0.085%,充分证明了该算法的有效性。

基于YOLOv7模型改进的轻量级鱼类目标检测方法

为了解决商业渔船电子监控系统中鱼类检测和识别依赖于人工完成的问题,提出一种基于YOLOv7的轻量级鱼类实时检测模型YOLOv7-MRN,将YOLOv7的骨干网络替换为MobileNetv3骨干网络,以降低运算量,并添加了感受野模块RFB来增强网络的特征提取能力;通过引入基于归一化的注意力机制模块NAM,重新设计颈部特征融合网络,以抑制无关紧要的权重。结果表明:在HNY768远洋渔船电子监控视频渔业数据集上,YOLOv7-MRN模型的mAP@0.5为86.5%,运算量仅为原模型YOLOv7的9.8%,模型在GPU和CPU上的推理速度分别提高了121.69%和219.09%;相较于其他模型,YOLOv7-MRN模型的实际检测效果更好,尤其是在强日光场景下。研究表明,本文中提出的YOLOv7-MRN模型对鱼类的检测效果好,消耗的计算资源更少,可将该模型部署在电子渔船监控系统中。

基于精细化多模态关联的自然语言句子在视频中的时序定位方法

通信技术和移动互联网的发展使多媒体数据逐渐渗透人们的生活,而视频作为其中一种最具表现力的内容表达方式,近年来受到了工业界和学术界的广泛关注.针对视频数据中背景信息较为冗余,所需分析浏览时间长的特点,本文介绍了自然语言句子在视频中的时序定位任务,即在视频中定位与给定自然语言句子语义相关的视频片段,这样人们可以通过提供明确简洁的文本描述在视频中迅速找寻所关注的特定内容,从而提高用户的视频浏览体验和搜索效率.传统方法往往以多模态匹配的框架来解决句子在视频中的时序定位问题,忽略了自然语言句子中的关键定位线索,更忽视了自然语言句子对于关联视频内部相关内容的重要指导作用,因而其时序定位准确率十分有限.为解决上述难题,本文提出了多模态共同注意力机制挖掘自然语言句子中与时序定位相关的重要语义细节,精细地构建句子中各单词和视频内容之间的语义关系.在此基础上,我们还提出了语义条件动态归一化机制,指导视频中与句子语义相关的局部视频内容紧密耦合,形成明确的视频片段边界,最后辅以细粒度的边界调整模块,进而获得更为精准和灵活的时序定位结果.在公开数据集上的实验验证了本文所提出的机制和方法的有效性.最后,本文还从引入视频中的音频信号、考虑弱监督环境下的时序定位问题,以及构建无偏见时序定位数据集这3个方面对自然语言句子在视频中的时序定位问题进行了未来研究方向的展望.