基于联合深度统计特征对齐的鱼类目标识别方法

水下鱼类目标识别技术是认识海洋、经略海洋、向海图强的重要技术之一.基于深度学习的水下目标识别技术已成为研究热点,但是针对水下鱼类数据小样本甚至零样本识别性能亟待提高.本文基于迁移学习,提出了联合深度统计特征对齐(Joint Deep Statistical Feature Alignment, JDSFA)方法,解决小样本下的鱼类目标识别问题.以ResNet-50作为骨干网络,将均方和协方差纳入权重选择算法用来构建自适应损失函数,对齐源域和目标域之间的特征分布,联合源域损失与领域间的自适应损失,设计全局损失函数,建立深度学习识别模型,实现鱼类目标识别任务.利用公开的水下鱼类数据集QUT进行实验验证,相比目前代表性的DADAN、PMTrans、DSAN方法,JDSFA方法的鱼类识别性能分别提升了3.59%、4.96%、5.91%,结果表明了本文JDSFA方法的有效性,并对鱼类目标识别具有良好的应用价值.

深度联合语义跨模态哈希算法

哈希检索具有存储消耗低、查询速度快等优点,被广泛应用于跨模态检索研究,其中基于深度学习的跨模态哈希方法是热点研究问题.大多数深度哈希方法通常在多模态数据的特征关联性学习过程中忽略了数据内容的潜在相关性和语义判别性,从而导致哈希码的关联性不强,容易造成原始数据特征和神经网络特征的不兼容问题.针对以上问题,本文提出一种图像-文本深度联合语义哈希算法(Deep Joint-Semantic Hashing,DJSH).该方法使用两个神经网络分别提取图像和文本的细粒度特征,并为每个模态网络设计了哈希层和标签层,分别用于特征学习和标签预测.一方面,通过特征学习模块进行跨模态数据的深度特征学习,提出能够增强数据内容相似度和平衡数据分布的联合语义特征损失,同时基于拉普拉斯约束的图近邻结构能够保留原始数据的相似度排序;另一方面,通过引入标签预测和标签对齐技术,将有判别力的标签信息融入到图像与文本的跨模态网络学习中,确保哈希码的每一位具有不同类别的判别信息.在MIRFLICKR25K、NUS-WIDE和IAPR-TC12三个基准数据集上的实验结果表明,该模型较近年来先进的跨模态检索模型,具有更好的检索效果.