基于SPD-Conv结构和NAM注意力机制的鱼群小目标检测

为解决因水下成像环境退化导致图像分辨率较低,以及因鱼群目标较小等因素导致的检测精度不高的问题,提出了一种结合SPD-Conv结构和NAM注意力机制的改进YOLOv7检测算法。首先,采用Space-to-Depth(SPD)结构改进头部网络,取代了网络中原有的跨步卷积结构,保留了更多的细粒度信息,提升了特征学习的效率,提高了网络对低分辨率图像的检测效果。然后在网络中引入Normalization-based Attention Module(NAM)注意力机制,采用CBAM的模块集成方式,使用BN缩放因子来计算注意力权重,抑制了不显著的特征,提升了小目标检测的准确率。最后针对水下成像退化,对检测图片做反卷积预处理,减小了水下成像退化因素对检测造成的影响。实验结果显示,在WildFish数据集上模型的整体精度达到97.2%,与YOLOv7算法相比提升了7.6%,准确率提升了8.5%,召回率提升了9.8%,与Efficientdet,SSD,YOLOv5及YOLOv8算法相比,所提模型精度分别提升了12.6%,17.8%,4%及2.9%,在Aquarium数据集上模型的整体精度达到80.5%,相比Efficientdet,SSD,YOLOv5,YOLOv7及YOLOv8分别提升了18.4%,11.6%,6.9%,2.0%及2.7%,可以满足水下鱼群识别的需求。

融合Transformer和CNN的手掌静脉识别网络

针对手掌静脉特征提取识别精度不高问题,提出了掌静脉识别网络PVCodeNet。该网络设计了改进的BasicBlock和Transformer Encoder模块结合并运用扩大决策边界的损失函数AAM-Loss(additive angular margin loss)。该网络首次将Transformer Encoder模块成功用于掌静脉图像全局特征提取,改进的BasicBlock使用深度超参数化卷积Do-Conv取代传统卷积Conv进行特征提取使提取的特征更加具有区分性,该模块还加入规一化的注意力机制NAM模块,通过应用权重稀疏性惩罚项抑制不显著性特征的权值来提取图像在通道和空间域上重要的细节特征。在手掌关键点定位、ROI提取、图像增强方面作了详细描述,在特征向量维度、AAM-Loss参数设置方面做了详细实验,在PolyU数据库和自建库SEPAD-PV数据库上进行消融实验测试,EER均达到了0,成功实现了最高识别率的突破。为了验证该网络的泛化性能,还在具有相似纹理特征的掌纹数据库Tongji和指静脉数据库SDUMLA上进行验证,EER远远优于其他主流算法,充分证明了提出算法的优越性。

基于双重增强网络的跨模态行人重识别

针对异质样本差异、行人遮挡及背景干扰等造成的跨模态行人重识别(person re-identification, ReID)精度不高的问题,本文提出了一种基于通道与特征学习的双重增强网络(dual enhanced network, DEN)。首先从通道级出发,通过随机交换可见光通道来挖掘可见光与红外通道间的关系,增强模型对多模态样本变化的鲁棒性。其次从特征级出发,在模态共享网络前引入基于归一化的注意力模块(normalization-based attention module, NAM),通过惩罚贡献因子较小的权重来避免噪声对模态不变信息学习造成一定干扰。同时采用特征分离模块(feature separation module, FSM)来分离出身份相关特征与身份无关特征,有效提升了模型对异质样本的识别能力。最后联合难样本三元组和加权正则化损失对网络进行监督训练,从而约束行人特征学习。在RegDB数据集上,DEN的Rank1准确率和mAP分别达到了94.86%和90.10%的高水准。